任务单 #10259

半角空白をはさむ未知語の出現に対する処理
开放日期: 2007-04-07 17:57 最后更新: 2007-07-03 16:01

报告人:
属主:
类型:
状态:
关闭
组件:
(无)
里程碑:
(无)
优先:
1 - Lowest
严重性:
5 - Medium
处理结果:
Fixed
文件:

Details

半角空白をはさんで2つの未知語があると、ChaSen が返っ
てこなくなるよう
です。以下の入力で再現できます。

------------------------------------------------------
----------------
ヰ ヱ
------------------------------------------------------
----------------

unidic でも ipadic でも確認しました。

なお、unidic には半角文字を登録していないため、

------------------------------------------------------
----------------
Developmental Psychology
------------------------------------------------------
----------------

のような入力でも同様の現象が生じます。この入力に対す
る ipadic の動作も
謎で、

------------------------------------------------------
----------------
D ディー D 記号-アルファベット
e イー e 記号-アルファベット
v ブイ v 記号-アルファベット
e イー e 記号-アルファベット
l エル l 記号-アルファベット
o オー o 記号-アルファベット
p ピー p 記号-アルファベット
m エム m 記号-アルファベット
e イー e 記号-アルファベット
n エヌ n 記号-アルファベット
t ティー t 記号-アルファベット
a エイ a 記号-アルファベット
l エル l 記号-アルファベット
Psychology 未知語
EOS
------------------------------------------------------
----------------

のように、前半部分だけアルファベット連続に解析されま
す。

任务单历史 (3/5 Histories)

2007-07-03 14:42 Updated by: masayu-a
评论
Logged In: YES
user_id=13000

以前小木曽さんから報告があった「半角空白をはさんで2つの未
知語があると
ChaSen が返ってこなくなる」という問題ですが、tokenizer.c の
バグのようで
す。添付のパッチで直ります。

すみませんが、修正後の Windows のバイナリをどこかに置いても
らえますか。


千葉大学文学
部 行動科学科


伝 康晴




diff -rc chasen-2.4.0/lib/tokenizer.c chasen-
2.4.0a/lib/tokenizer.c
*** chasen-2.4.0/lib/tokenizer.c Mon Mar 26 01:45:12
2007
--- chasen-2.4.0a/lib/tokenizer.c Wed Jun 27 12:18:55
2007
***************
*** 156,161 ****
--- 156,162 ----
if (is_anno2(anno, str, cursor))
break;
}
+ type[0] = cursor; /* 2007/06/26 YD */
return cursor;
}

***************
*** 164,169 ****
--- 165,171 ----
cursor += tok->mblen(str + cursor, len -
cursor)) {
if (anno_no != NULL &&
is_anno(tok, str + cursor, len - cursor) >=
0) {
+ type[head] = cursor - head; /* 2007/06/26 YD
*/
return cursor;
} else {
state = tok->get_char_type(tok, str + cursor,
len - cursor);
2007-07-03 14:57 Updated by: masayu-a
  • 处理结果 Update from to Accepted
2007-07-03 14:59 Updated by: masayu-a
  • 处理结果 Update from Accepted to Fixed
2007-07-03 16:01 Updated by: masayu-a
  • 优先 Update from 5 - Medium to 5 - Medium
  • 状态 Update from 开启 to 开启
2007-07-03 16:01 Updated by: masayu-a
  • Ticket Close date is changed to 2007-07-03 16:01
  • 优先 Update from 5 - Medium to 1 - Lowest
  • 状态 Update from 开启 to 关闭

Attachment File List

No attachments

编辑

You are not logged in. I you are not logged in, your comment will be treated as an anonymous post. » 登录名