Kouhei Sutou
kou****@clear*****
2012年 2月 24日 (金) 13:45:00 JST
須藤です。 In <20120****@ist*****> "[groonga-dev,00703] MeCabとの組合わせについて" on Fri, 24 Feb 2012 12:36:57 +0900 (JST), Masaharu YOSHIOKA <yoshi****@ist*****> wrote: > データベース構築の際に、最新のMeCab0.993を使うとおおむね問題ないのです > が、Mecab 0.98を使うと、下記のエラーが出ます。 > > /usr/local/lib/ruby/gems/1.9.1/gems/rroonga-1.3.1/lib/groonga/record.rb:70:in `[]=': invalid argument: too long key: (5455): #<Groonga::VariableSizeColumn id: <272>, name: <Articles.contents>, path: </home/data/wnews/groonga/wnews.db.0000110>, domain: <Articles>, range: <Text>, flags: <>> (Groonga::InvalidArgument) > pat.c:751: grn_pat_add() うーん、トークナイズした結果が5455バイトの文字列になるのは考 えづらいのでMeCabがうまくトークナイズできていないような気が します。とすると、怪しいのが辞書の設定です。 おそらく、↑のエラーが発生するときに設定しているテキストは把 握していると思いますので、以下のようにmecabコマンドでわかち 書きできているか確認してもらえますか？ % echo "問題のあるテキスト" | mecab -- 須藤 功平 <kou****@clear*****> 株式会社クリアコード <http://www.clear-code.com/> (03-6231-7270) プログラミングが好きなソフトウェア開発者を募集中: http://www.clear-code.com/recruitment/
