palmkitで統計的な言語モデルを作成する場合の,前処理となる行程. 日本語を形態素に分けるためのツール.今となってはmecabが主流である.
ものすごくはまったのでメモ.環境はwindowsである.
準備として「darts」や「iconv」をいれる.
いれなくていい場合もあるので,適宜開発環境に応じて.
まずは「./configure」であるが,ここがまずツボ.
自分のwindowsでは何故か色々見つけてくれなかったので,予め教えた.
./configure --with-darts=c:/darts-0.32/ LIBS='-liconv'
で見事通った.
chasenのwikiでは「./configure」後に「lib」ディレクトリのmakefileをいじると指示されていたが通らなかったので,こんな感じに書いてみたところ,成功.
ちなみに「darts」も教えてあげないと,よくわからないエラーの嵐に見舞われた.んー.
あとは,通常通りにやればいい.
make make install
ちなみにこんな感じ.
chasenに付属の辞書はipadicというもので,更新が数年前で終わっている.
なので、現在も更新が続いているunidicを用いている.
unidicをベースとした辞書を作成することで,最新のワードなどにも対応できたりするので,
そのためのコンパイル方法をまとめておく.
chasenやmecabとの文字コードの統一が必要(詳細は付属PDF)である.
(chasenの場合)
./configure --with-encoding=s (SJIS) ./configure --with-encoding=e (EUC) make make install
みたいな感じで辞書はできあがる.
辞書を変更すると,飛躍的に解析性能(語彙数も)が向上する.
また,未知語(辞書が知らない単語達)の語彙追加も容易に行える術を手に出来るので,便利.