クリックで懸賞やお小遣い: ノウハウ習得でインカム増やそう! ネット収入への道に踏み出しませんか?
YST対策:ページ検索の"謎" 〜YST対策についての疑問を整理してみました〜
1 YSTの基本アルゴリズムはInktomi+HITS?
2 YSTはページ内要因を重視する?
3 ページキャッシュの"謎"(1)
4 ページキャッシュの"謎"(2)
5 リンクポピュラリティは重視されない?
6 Yahoo!にリンクを張ると効果がある?
7 過剰な相対リンク/被リンクはスパム?
8 Update Tim〜インデックス変動の"謎"
9 Update Tim〜新たなアルゴリズムへの布石?
10 Update Tim〜「基本に立ち返れ!」ってこと?

皆さんのサイトでは、YSTでのインデックス数が急減してはいませんか?
2005年4月1日の更新(「Update Tim」)以降、多くのサイトでインデックス数の急減を伴う"インデックス・ダンス"が起こっていますが、この原因は何でしょうか?
この現象は、Yahoo!Japanだけではなく米Yahoo!を含めたYST全体に及んでおり、多くのSEO対策のプロが原因や対策を突き止めようとしていますが、「これだ!」と云う決め手には至っていないようです。(少なくともネット上では)
と云うか、どちらかというと、お手上げ気味の論調が増えてきています。

こう云った状況のなかで、不遜にも素人が謎解きをしようと云うのですから、かなり的外れな内容になっているかも知れませんが、いろいろと情報を整理して見ると、もゃ〜〜っとした形が見えて来たような気もしています。
(例によって、間違っていたらゴメンナサイ ;^_^A)

この辺を説明する前に、まずはネット上で収集した情報を少し整理しておきたいと思います。

【現象面から見た整理】
ネット上で報告されている情報や、このサイトで観測された現象を整理して見ると、インデックスの削除には以下のような傾向があるように思われます。
かなり憶測に基く情報が多く、また何故削除されたかが全く解らないページも多数あるので鵜呑みにするのは危険ですが、原因や対策を検討するうえでは重要なヒントを秘めているはずです。

  (1)フィルターなどによってインデックスされないのではなく、インデックスされていたものが削除された。
  (2)サイト単位で急減することが多く、URL順などでサーチされて削除された可能性が高い。
  (3)削除と併行して追加されるページもあり、インデックスの入替えが行われているように見える。
  (4)削除されたり復活したりを繰り返すページがある。
  (5)URL変更の残骸など、重複コンテンツと見られるページが削除されている。
  (6)重複度の高いコンテンツ、過剰相互リンクなど、ブログ的な構造のページが削除され易い。
  (7)ブログ以外でも、本文(テキスト)の重複度が高い(オリジナリティーの低い)ページが削除され易い。
  (8)発リンク数に対して本文(テキスト)の少ない、サイト内のナビゲート的ページが削除されている。
  (9)4月1日以降にキャッシュ更新されていないページが削除された。
  (10)被リンク数が2個程度以下のページが削除され易い
  (11)個別のサイトでの急減にも係わらず、Yahoo!全体としてのインデックス数は削減されていないように見える。

【推定原因から見た整理】
ネット上の情報などから、今回の現象に限らず、ネット上の情報などから、"一般的な"インデックス減少の原因として考えられるものを拾い上げ、筆者(ジュチ)なりに整理した結果を以下に記します。
このうち、3番目(何らかのミス〜)については、流石に今回は違うだろうと思ってはいますが、一応の可能性として記載しておきます。

1. インデックス数を減らすことを目的として、意図的に削減した

(1)検索品質向上のためのクリーンアップ (ゴミ・インデックスの掃除)
(2)検索機能(検索アルゴリズム)の改良に向けた地均し
(3)ページ数の増大に伴うリソース軽減対策
2. アルゴリズムの変更により、結果としてインデックス数が削減された

(1)ブログ対策のための改良
(2)HITS(Hyperlink-Induced Topic Search)アルゴリズムの改良
(3)その他、検索品質向上や新たなビジネス展開のための改良
3. 何らかのミスや不具合により、不本意ながらインデックス数が減ってしまった

(1)アルゴリズムの設計ミス、または改修ミス
(2)データベースの破損など、運用上のミス

【Yahoo!関連のニュース】
Yahoo!からの公式発表や、カンファレンスなどにおける技術責任者の講演内容などから、特に気になったものを以下に記します。
上記の推定原因のうち、1番目(意図的に削減)または2番目(アルゴリズムの変更の結果)が原因とすると、その背景にYahoo!としての何らかの意図があるはずであり、今回の"謎"を解くうえで最も重要なヒントではないかと考えています。

2005年3月5日:Academed!A主催の「検索会議」での『検索エンジンが抱える4つの大きな課題』についての講演
Yahoo! Inc.インターナショナルサーチディレクター ヨンドン・ウォン氏
http://bb.watch.impress.co.jp/cda/event/8774.html
検索エンジンの開発に携る側から見た課題として、「スケールの問題」、「ユーザーのクエリーにマッチした情報の検出」、「情報のランキング」、「スパム」の4つをあげている。 Yahoo! Inc.における現時点での優先順位もこの順番と見られる。

2005年3月31日:Yahoo! Search blogでの『新インデックスのリリース』についての発表
Yahoo! Inc.製品管理担当検索ディレクター ティム・メイヤー氏
http://www.ysearchblog.com/archives/000095.html
3月31日の晩にこれがリリースされたことで「Update Tim」が始まった。 評価アルゴリズムの更新ではなく、検索用データベースに格納されているインデックスの構造や中味の変更であることを示唆している。

2005年5月27日:Yahoo! Nextにて『Yahoo! Mindset』のベータ版を公開
http://internet.watch.impress.co.jp/cda/news/2005/05/30/7799.html
「ユーザーのクエリーにマッチした情報を検出」することと、今後の検索エンジン・ビジネスを展開するうえで、分岐点となるかも知れない製品。
Mindsetを機能させるためには、各ページについて商業的情報かどうかをスコアリングした情報が必要であり、これが新インデックスに切替えることになった主要因と思われる。