Kouhei Sutou
kou****@clear*****
2013年 9月 26日 (木) 11:56:33 JST
須藤です。 In <CANM+****@mail*****> "[groonga-dev,01818] Re: mecabトークナイザでのtoo long sentenceの回避方法について" on Thu, 26 Sep 2013 08:16:53 +0900, Naoya Murakami <visio****@gmail*****> wrote: > すいません。もう一度ソースを見直してみたところ、だめだめな点に気づいたので、 > 修正したら、これまで、corrupted double-linked listが発生してたところで、 > 再現しなくなりました。 いえいえ、直ってよかったです。 > ちゃんとgrntestで分割処理を動きを確認することにより、ループの最後の処理がうまく終わってなくて、 > 複数回、無駄な処理がやられていることに気づけました。 > （無駄な分かち書きはされず、うまくいくケースもあったので、前は気づきませんでした。） > > https://github.com/naoa/groonga-tokenizer-customized/blob/master/test/suite/mecablong/TokenMecabLong.actual > > また、放置していたpartofspeech系の処理で生じていたメモリリークもすぐに確認することができて、 > 便利でした。 grntestがお役にたててよかったです！ -- 須藤 功平 <kou****@clear*****> 株式会社クリアコード <http://www.clear-code.com/> (03-6231-7270) groongaサポート: http://groonga.org/ja/support/ パッチ採用はじめました: http://www.clear-code.com/recruitment/ コミットへのコメントサービスはじめました: http://www.clear-code.com/services/commit-comment.html
