「Update Tim」に関してですが、実は「ＹＳＴ投入以来の最も大きなアップデート」ではなかったのかと思っています。
と云うのは、あまり注目はされていませんが、インデックスの変動以外にも以下のような気になる現象が起こっており、
『検索エンジンが抱える4つの大きな課題』に代表されるような技術的課題に対して、本格的に手を打ち始めたように"妄想"できるからです。
| １． |
"Ｇｈｏｓｔ-Ｌｉｎｋ Ｆｉｌｔｅｒ"が消えた！ |
|
"Ｇｈｏｓｔ-Ｌｉｎｋ Ｆｉｌｔｅｒ"なるものについては、［過剰な相互リンク/被リンクはスパム？］で説明していますが、この「フィルター」的現象はまさに2005年4月1日に消滅しています。 （"Ｇｈｏｓｔ-Ｌｉｎｋ"自体は残っています）
「"動的なページ"からのリンクを評価する際の"バグ"ではないか」との推測をしていましたが、"バグ"と云うよりも
"HITSアルゴリズムの脆弱性"（下記）に起因する現象の可能性もあり、2005年4月1日の更新でこれに手が打たれたのかも知れません。
クローリングの分担とリンク情報の管理の仕方が変更されたような現象があり、この結果として"バグ"が解消されたように思えます。 |
| ２． |
［キャッシュ］が減っている！？ |
|
ｌｉｎｋ：の特別構文検索を暫く続けていたので判ったのですが、ｌｉｎｋ：の特別構文検索結果（ＳＥＲＰｓ）として表示される各ページの［キャッシュ］表記が減ってきています。
（ページキャッシュそのものではなく、［キャッシュ］と云う表記についての現象です）
この表記は2005年4月1日以前では、ほぼ100%付加されていましたが４月中旬〜５月初旬の掛けて減り始め、今では［キャッシュ］が付いているものの方が少なくなっています。
このサイトの場合、インデックスの急減は5月初旬(10日？)頃から起こっており、この現象とも何らかの関係があるのではないかと疑っています。
「新たなアルゴリズム」のためだけではなく、スケール問題に対処するためのより効率的なデータベースを目指して、インデックス、ページキャッシュ、リンク情報などの持ち方を変えてきているのかも知れません。 |
つまり、今回のインデックス変動は、スパムフィルターのような局所的なアルゴリズムの変更ではなく、ＹＳＴ全体に及ぶかなり大掛かりな変更に付随した現象であり、それがためにＳＥＯ対策のプロの方々でも原因を絞り込めていないのではないでしょうか？（多分、ここで整理したよりも、もっと多くの不可解な現象が起こっていると思います）
では、インデックス急減の対策はどうすれば良いのでしょうか？
原因の推定がどこまで合っているかにもよりますが、
［新たなアルゴリズムへの布石？］のようなことが原因であれば、大半のページは一時的に削除されただけなので、多少時間が掛るかも知れませんが、時間がたてば再度インデックスされるはずです。
静観する時間的な目安については、
検索エンジン考さんの４０日（及び８０日）周期説がおもしろいです。
逆に、削除されたままで復帰しないページについては、サイトのリンク構造やページのオリジナリティーを見直すなど、少し基本に立ち返った対策が必要かと思います。
つまり、「インデックス・クローラーを呼込み、インデックスされ易くする」ことと、「Webページとしての有用度を高め、削除され難くする」ことの両面からの対策が必要と云うことです。
まあ、これだけだとあんまりなので、筆者（ジュチ）が行っている実験（と云うよりも悪あがき？）を以下に記します。
あまり効果は期待できませんが、ごく簡単に出来るものもあるので、ダメモトで試して見てはいかがでしょうか？
| （１） |
サイトの全ページを上書き更新し、再度アップロードする |
| （２） |
トップページ以外の主要ページ（リンク構造上のノード）に対し、１週間ほど上記を繰り返す |
| （３） |
トップページ以外の主要ページ（リンク構造上のノード）に対し、掲示板などを利用して外部リンクを張る |
| （５） |
トップページからの直リンクを増やし、下位ページへのリンクを浅くする （６月１5日現在未実施） |
| （６） |
テンプレート（類似構造のページのコピー）を使って作成したページのなかの重複するテキスト文字を数文字変更する （６月１5日現在未実施） |
これが効いたかどうか不明ですが、６月１０日ころから少しずつインデックス数が増えてきています。
時間がたって自然復帰しただけなのかも知れませんが、ページ単位で見ると消えたり復活したりしているのもあり、まだまだ腑に落ちないことも多いので、暫く実験を続けるつもりです。
補足： HITSアルゴリズムの脆弱性（弱点）
| １． |
リンク評価するためのベースセット（母集団）に本来のトピックにはまったく関係のないページが含まれ、そうしたページが密なリンク構造である場合、探したいトピックとはかけ離れたページに高い評価を与えてしまう。
（topic drift 問題） |
| ２． |
クエリーが曖昧なもの、あるいは「多義語」の場合には、正確な結果が得られないこともある。 |
| ３． |
局所的なリンクの変動の影響を受け易く、例えば、Webコミュニティのリンクにノードを追加したり削減したりすると、ハブやオーソリティーのスコアが劇的に変動する。 |
| ４． |
小規模から中規模なWebページのリンク構造解析に有効であるが、反復計算を行うため大規模な構造解析にはあまり向いていない。
（性能を確保するための対策が必要） |
