Information Filtering on Micro-blogging Services - ut_ymgc @ サーベイ

ABSTRACT

Twitterからはリッチでリアルタイムな情報が多く入手できるが、フィルタリングツールがないために、全てのツイートを受信している。本研究では、リストに注目してツイートをフィルタリングするシステムを提案する。リスト内ではあるトピックに特化したツイートが発信されるが、ノイズも多くある。本システムではリストからのノイズを取り除く。時系列情報や、ツイートに含まれるリンクを利用する。実験によると、本システムは８５から９５パーセントの精度を実現した。

INTRODUCTION

Twitterからあるトピックに関する情報を検索するのは難しい

• ユーザは一つのチャネルを用いて情報発信をするため
  • 様々な目的に応じたツイートを発信する（会話、ジョーク、情報の共有）
  • ユーザが受信しているツイートのうちのいくらかは欲しているものではない
• フォローしているユーザからのツイートは一つのフィードとしてまとめられるため
  • ユーザは様々な興味をもっていて、その興味に応じて様々なユーザをフォローしている
  • 様々なトピックのツイートがひとまとめにされてしまう。

上記二つ目の問題点を解決するためにTwitterはリスト機能を提供した

• リストは一つのフィードととらえることが出来る。
• 良いリストは情報源として用いられる。

リストは一つのトピックの情報を得るために用いることが出来るが、以下の二つのノイズがある

• ユーザは様々なトピックに関する情報発信をするため、リストに関連しないトピックの情報発信をすることもある
• Twitter全体を通じてのトレンド。これらはどのようなリストにも登場する。

以上より、ツイートをフィルタリングする機能が必要。しかし、マイクロブログのコンテンツをフィルタリングするのには以下に挙げる課題がある

• 短いテキスト
  • 短いテキストを分類するのは難しい
• トピック推定
  • トピックの粒度がいろいろあるため、むずかしい
• 単語の揺らぎ
  • 略語やスラングを含むため、語彙が大きくなり、wikipediaやwordnetで対応できない
  • どの単語がキーワードで、どの単語が一般的な単語なのかを判別しなくてはならない。
    • 言語が違うため、ストップワードリストは使えない。
• 語彙の変化
  • 例えば、新しい映画、製品、イベントの名前などが突如現れ、すぐに話題になる。
  • そのため、語彙は静的ではなく、常に変化する
• 異なる言語

本研究では、リストを用いた情報フィルタリングシステムを提案する

• リストから発信されるツイートのうち、リストのトピックに合致しないものを除去
• リストは類似する興味を持つユーザの集合になっている

リストのメイントピックを抽出する

• メイントピックに関する単語は頻出、Twitter全体においてのトレンドに関する単語も頻出
  • リスト内での頻度と、全体での頻度を比較してスコアリングする
  • 頻度はリアルタイムに計算できる
• ツイートがリストのメイントピックとどれだけ似ているかを測る
  • ツイートが短いという問題点は、ツイートに含まれるURLを用いることで回避する

リスト内のツイートを適合、非適合に分類する

• 分類器には以下の四つの特徴を用いる
  • ツイートのテキストの特徴
  • ユーザのコミュニティの特徴
  • 時系列の特徴
  • リンクの特徴
• 分類器は各リストにつき一つ作成する
• 分類器は動的な変化に対応できる

RELATED WORK

Text Classification and Filtering

テキスト分類は以下の二つの方法に分けられる

• コンテンツベース
  • テキストから抽出した情報を用いる
• ソーシャルベース
  • 他のユーザがテキストに付加した注釈を用いる

テキストフィルタリングは、適合または非適合へのテキスト分類と考えることが出来る。

短いテキストの分類をする手法はいくつかある

• wikipediaを用いる手法
• サーチエンジンを用いる手法
• トピックモデルを用いる手法（LDAを用いている）
• コーパスベース、知識ベースでテキストの類似度を測る手法

Twitter Related

いっぱいある

Filtering as a Classification Problem

TFつかってる