Shingo Kawamura
sh.ka****@gmail*****
2007年 7月 4日 (水) 18:40:35 JST
河村です。 > 同じ内容のレコードが100万件ということでしょうか? > > つまり、「預金」「部門」については、10個×100万件で > 1000万回程度インデックス対象に含まれる感じでしょうか? はい。その通りです。 #実際には39万件しか入りませんでしたので、390万回ですが > 現状ではSEN_IO_FILE_SIZEを512MBにされているということでしたが、 > これを大きくするとひょっとすると効果があるかも知れません。 始めはデフォルトの1GBで使用していたのですが、 MapViewOfFileでERROR_NOT_ENOUGH_MEMORY（8） が発生してしまったので、512MBにしていました。 ひとまず今考えているのが、 ・/3GBスイッチを入れて実行してみる（論理空間が関係なければ無駄になりそうですね） ・SEN_IO_FILE_SIZEを1GBにしたモジュールで実行してみる ・INITIAL_N_SEGMENTSの値を増やして実行してみる ・MAX_N_INDEX_CACHEの値を増やしてみる くらいですが、お話を伺う限り2つめ以外はあまり意味ないかもしれませんね… ----- Original Message ----- From: <morit****@razil*****> To: <ludia****@lists*****> Sent: Wednesday, July 04, 2007 4:39 PM Subject: [Ludia-users 64] Re:CreateIndexでエラー > 森です。 > >> 一レコードに同じ「預金」という単語が10個以上あるような30KBなCSVデータを >> #他に「部門」とかの単語も同数ありますが >> とりあえずテストとして100万レコード挿入している感じです。 > > 同じ内容のレコードが100万件ということでしょうか? > > つまり、「預金」「部門」については、10個×100万件で > 1000万回程度インデックス対象に含まれる感じでしょうか? > > もしそうでしたらINITIAL_N_SEGMENTSの数を変えてもちょっと厳しいかも知れないです。 > > 現状ではSEN_IO_FILE_SIZEを512MBにされているということでしたが、 > これを大きくするとひょっとすると効果があるかも知れません。 > > ストップワード機能みたいなのをつけた方がいいんでしょうかねぇ。。 > >> とりあえず、今日の夜間バッチで >> INITIAL_N_SEGMENTSの数値を多めにして実行してみようかと思っています。 >> >> >> >> ----- Original Message ----- >> From: <morit****@razil*****> >> To: <ludia****@lists*****> >> Sent: Wednesday, July 04, 2007 2:10 PM >> Subject: [Ludia-users 62] Re:CreateIndexでエラー >> >> >> > >> > 森です。 >> > >> > ひょっとすると論理空間の枯渇による問題ではないかも知れません。 >> > >> >> エラーが発生した際に以下のログが出力されています。 >> >> --senna.log >> >> 07/02:00:28:47.528|A| io_win_map(8191, 180227160) failed!! >> > >> > 特定の単語グループに該当する転置インデックスのサイズが180MBに達している >> > ように見えます。 >> > >> > INITIAL_N_SEGMENTSの値がいくつになっているか教えて下さい。 >> > >> > また、文書の特性として特定の単語が非常に高頻度に現れたりするようなことが >> > >> > あったりするでしょうか? >> > >> > -- >> > mori >> > >> > _______________________________________________ >> > Ludia-users mailing list >> > Ludia****@lists***** >> > http://lists.sourceforge.jp/mailman/listinfo/ludia-users >> >> _______________________________________________ >> Ludia-users mailing list >> Ludia****@lists***** >> http://lists.sourceforge.jp/mailman/listinfo/ludia-users >> > -- > mori > > _______________________________________________ > Ludia-users mailing list > Ludia****@lists***** > http://lists.sourceforge.jp/mailman/listinfo/ludia-users
