アットウィキロゴ

Chasen

palmkitで統計的な言語モデルを作成する場合の,前処理となる行程. 日本語を形態素に分けるためのツール.今となってはmecabが主流である.

  • インストール

          ものすごくはまったのでメモ.環境はwindowsである.
          準備として「darts」や「iconv」をいれる.
          いれなくていい場合もあるので,適宜開発環境に応じて.

          まずは「./configure」であるが,ここがまずツボ.
          自分のwindowsでは何故か色々見つけてくれなかったので,予め教えた.

 ./configure --with-darts=c:/darts-0.32/ LIBS='-liconv'

          で見事通った.
          chasenのwikiでは「./configure」後に「lib」ディレクトリのmakefileをいじると指示されていたが通らなかったので,こんな感じに書いてみたところ,成功.

          ちなみに「darts」も教えてあげないと,よくわからないエラーの嵐に見舞われた.んー.
          あとは,通常通りにやればいい.

 make
 make install

          ちなみにこんな感じ.

  • 辞書のインストール

          chasenに付属の辞書はipadicというもので,更新が数年前で終わっている.
          なので、現在も更新が続いているunidicを用いている.

          unidicをベースとした辞書を作成することで,最新のワードなどにも対応できたりするので,
          そのためのコンパイル方法をまとめておく.


          chasenやmecabとの文字コードの統一が必要(詳細は付属PDF)である.

(chasenの場合)

 ./configure --with-encoding=s   (SJIS)
 ./configure --with-encoding=e   (EUC)
 make
 make install

          みたいな感じで辞書はできあがる.

          辞書を変更すると,飛躍的に解析性能(語彙数も)が向上する.
          また,未知語(辞書が知らない単語達)の語彙追加も容易に行える術を手に出来るので,便利.

最終更新:2011年12月06日 22:58