ものすごい勢いでクロールされている。

site:ja.opera-wiki.comでググればわかりますよ。
どうやらGoogleさん、MediaWikiの404なURLに対して「存在しないのだから、今度からアクセスしないね」じゃなくて、「存在しないけど、サイト全体は存在するから、もう一度来ますね」ってやり方らしい。だから、PukiWikiの独特なURI*1で何度も何度もアクセスしてきては、「ページがないんだけど？」って言ってくる。
その404なURLの数が有効なURLと比較して100:1にある場合、Googleさんはクロールしてくれないみたいです。PageRankが有ろうと無かろうと。

robots.txtで一括disallowにしたら見事にクロールしはじめたのを見て、「どうして試さなかった」と思った夏の午前。

*1:cmd=*とかplugin=*とかがある。