世界中には１００万を超えるインターネットのホームページがあるといわれています。
四六時中休まずに世界中のホームページを探して記事を取り込むサーチロボットができて、この大量の記事を取り込むことは不可能ではなくなりました。

また、高速の全文検索システムでこの膨大な記事から指定したキーワードを持つ記事をすべて瞬時に検索することもできます。
しかし、この中から興味のある記事だけを探すのは大変な作業です。なぜなら１００万件の記事から検索すると、思い付くキーワードをいろいろ使って絞り込んでも、数百件の記事を検索結果として出してしまうことが珍しくありません。当然利用者は記事数が多すぎて読みきれないので検索に失敗したとして投げ出してしまいます。そのようなことにならないためには、何かうまい絞り込み手段が必要です。

絞り込みの手段として

　絞り込みの手段として、まず思い付くのは権威のある出典の記事だけが重要であるとして、それ以外の出典の記事を削除する方法です。
特定の機関の情報だけを注視していたい場合には有効な手段です。
しかし、インターネットの記事を扱うには出典の数だけでも膨大な数にのぼります。それをすべて評価し、評価基準を更新していくとなると大変な作業です。注意深く評価しないと取り出す記事が偏ってしまう恐れもあります。
　次に思い付くのは、統計的な手法により記事中のキーワードの数と、そのキーワードを持っている記事の数とを元にしたＴＦ・ＩＤＦという方式法やそれを発展させた方式ががあります。　

ここで述べるのは、記事を文法的に解析して、各記事のなかでの重要度(score)を評価しながらキーワードを抽出する方法です。大きな辞書を持った形態素解析（文章を単語に分解する）が必要になります。全文検索の一つの方式として記事のなかから名詞を自動的に抽出して、すべてをインデックスとする方式がありましたが、これを発展させた方式です。自然言語を解析する処理なので解析の失敗を完全になくすことはできませんが、利用者が辞書に追加していけば精度は上げられます。重要度を評価する方式はいろいろ提案されています。すべてのスタイルの文章に有効な決定的な方法は今のところありませんが、調査したい記事の種類や目的によって手法を使い分ければそれなりの成果は得られるようです。

重要度を評価する方法

不要な言葉は取り出さない

　システムの能率をよくするだけでなく、不要な記事を取り出すのを防ぐために、余分なキーワードを取り出さないようにします。ここでもまた調査したい記事の種類や、目的によって、どのような言葉を削除するかが決まります。

　この方式は、前にも述べたように記事中に未知語があったときにキーワードを取り出しそこなう弱点がありますが、構文解析やシソーラスと組み合わせてより高度の情報検索システムを作るための最有力の技術です。将来利用者が本当に必要な記事だけを検索できるシステムを実現するという夢に向かって努力していきます。