Internet Archiveで"We were unable to get the robots.txt document to display this page."と表示される件について。
そもそも既に無いのに、robots.txtなんてあるわけないでしょ!!と突っ込みつつ、仕様変更されたのかなーと呆然していたところに以下のスレッドを見つける。
it is a known issue that is currently being worked on.
ということで、既知の問題らしいから、しばらく様子見。
追記
なんとかなったみたい。