いよいよ訳がわからなくなってきました。
Craigslist が Oodle を拒絶した話は以前このブログでも取り上げましたが(10/15, 10/28)、Craigslist が今度は Google や Yahoo! を含む全ての検索サービスのクローラーを追い払う措置を取ってしまったようです。
話の出所は Search Engine Roundtable というフォーラムでの報告なんですが、確かに Craigslist の robots.txt を見るとサイトの多くの部分がクロール禁止になっている。
Craigslist を悪用するスパマーを排除するためだとか、クローラーのトラフィックだけで帯域が圧迫されていたんじゃないかとか、検索エンジンのキャッシュに残ると都合が悪いためだとか、いろいろと理由は憶測されていますが、どうもいまいち腑に落ちないところがあります。
いかにして検索結果の上位に載ろうかと必死になっている大多数のウェブ管理者を尻目にここまで余裕をかます Craigslist はなんだかアッパレな感じすらします。サーチエコノミーだ Web 2.0 だと大騒ぎする世の中でこうやって超然と構えてみるのも、2006年のウェブサービスの一つのあり方としてはありなんじゃないでしょうか。とか勝手なことを言っても真似できるもんではないけどね。
早く本当の理由を知りたいものです。
情報源