论坛: POPFile 全般 (Thread #12427)

POPFILE 0.22.4UBのトラブル? (2006-09-24 13:46 by cozynom #25086)

amatubuさん、POPFILE 0.22.4のUB版ありがとうございました。
その後、PopfileMgrと交互に使っていろいろ試していたのですが、再起動を繰り返すうちにPOPFILE 0.22.4UBが動かなくなってしまいました。
具体的には

*メールソフトがPOPFILE経由でメールを受信しようとするとマウスカーソル以外動かなくなってしまう。この場合、Mac自体をリセットしなければならなくなってしまう。
*POPFileコントロールセンターは正常に接続される場合もあれば接続できない事もある。

困り果ててamatubuさんのHPを参考にアンインストールしたのですがいくつかのファイルが存在しない事に気がつきました。

/usr/local/bin/sqlite
/usr/local/include/sqlite.h
/usr/local/lib/libsqlite.0.8.6.dylib
/usr/local/lib/libsqlite.0.dylib
/usr/local/lib/libsqlite.a
/usr/local/lib/libsqlite.dylib
/usr/local/lib/libsqlite.la

以上の7つのファイルが見当たりません。
初めから無いのか何らかの理由で消えたのかは定かではありませんが、不具合の原因なのでしょうか?

なお、一度アンインストールした後に再度インストールしたところ最初は問題なく使えていたのですが、やはり上記と同様に動作しなくなってしまいました。

お手数をお掛けして申し訳ありません。
お時間のあるときで構いませんのでよろしくお願いいたします。

RE: POPFILE 0.22.4UBのトラブル? (2006-09-24 17:34 by masaki-t #25091)

僕のところでも同様の問題が生じました。
どうやら特定のPOPサーバにアクセスしようとする時(?)に、メモリリソースを大量に消費してしまい、その結果、全体的な動作が遅くなるようです。
ただし、似たような別のPOPサーバにアクセスする時にはそのような現象が起きないようなので、すこし不可解ですが。
回复到 #25086

RE: POPFILE 0.22.4UBのトラブル? (2006-09-24 18:00 by amatubu #25093)

ご報告ありがとうございます。確かに不思議ですね。

私の環境では再現しないため何が原因かわかりませんが、
http://popfile.sourceforge.net/cgi-bin/wiki.pl?JP_TroubleShooting/PrepareLog
を参考にログを取得してみていただけますでしょうか。

Perl モジュール等を Universal Binary としてビルド
した以外は何も変わらないはずですので、モジュールの
ビルド方法になにか問題があるのでしょうかね……。
回复到 #25091

RE: POPFILE 0.22.4UBのトラブル? (2006-09-25 12:23 by masaki-t #25098)

しばらくの間、症状が再現しなかったのでトラブルを生じた際のログが確認できなかったのですが、また症状が再発したようですので、その時のログ(/Library/PopFile/ 内の~.logの内容)を貼付けておきます。
 ログ中のサーバーのアドレスは、popserver1~4と書き換えてあります。なお現在トラブルを生じるのはpopserver1となっているサーバーに接続する時です。
 ログの内容を見ると、PopFileを起動する時にエラーが出ているようですが、何か関係あるのでしょうか?

2006/9/25 11:59:59 179: bayes: 733: Attempting to connect to dbi:SQLite:dbname=./popfile.db (1)
2006/9/25 11:59:59 179: bayes: 739: Using SQLite library version 2.8.12
2006/9/25 11:59:59 179: wordmangle: 88: Failed to open stopwords file
2006/9/25 11:59:59 179: WARNING: POPFile may require Perl module IO::Socket::Socks; it is needed for "Socks Proxy Support".[0a]WARNING: POPFile may require Perl module XMLRPC::Transport::HTTP; it is needed for "XML-RPC Server Support".[0a]
2006/9/25 12:07:02 235: bayes: 733: Attempting to connect to dbi:SQLite:dbname=./popfile.db (1)
2006/9/25 12:07:02 235: bayes: 739: Using SQLite library version 2.8.12
2006/9/25 12:07:02 235: pop3: 513: Connected to popserver1:110 timeout 60
2006/9/25 12:07:02 236: bayes: 733: Attempting to connect to dbi:SQLite:dbname=./popfile.db (1)
2006/9/25 12:07:02 236: bayes: 739: Using SQLite library version 2.8.12
2006/9/25 12:07:02 236: pop3: 513: Connected to popserver2:110 timeout 60
2006/9/25 12:07:02 237: bayes: 733: Attempting to connect to dbi:SQLite:dbname=./popfile.db (1)
2006/9/25 12:07:02 237: bayes: 739: Using SQLite library version 2.8.12
2006/9/25 12:07:02 237: pop3: 513: Connected to popserver3:110 timeout 60
2006/9/25 12:07:02 238: bayes: 733: Attempting to connect to dbi:SQLite:dbname=./popfile.db (1)
2006/9/25 12:07:02 238: bayes: 739: Using SQLite library version 2.8.12
2006/9/25 12:07:03 237: pop3: 668: POP3 proxy done
2006/9/25 12:07:03 179: mq: 258: Done with 237 (3 to go)
2006/9/25 12:07:03 238: pop3: 513: Connected to popserver4:995 timeout 60
2006/9/25 12:07:05 238: pop3: 668: POP3 proxy done
2006/9/25 12:07:05 179: mq: 258: Done with 238 (2 to go)
2006/9/25 12:07:12 236: pop3: 668: POP3 proxy done
2006/9/25 12:07:12 179: mq: 258: Done with 236 (1 to go)
2006/9/25 12:08:50 179: mq: 258: Done with 235 (0 to go)
回复到 #25093

RE: POPFILE 0.22.4UBのトラブル? (2006-09-25 21:17 by amatubu #25118)

ログファイルの内容を確認いただきありがとうございます。
ログを見ると、

2006/9/25 12:07:02 235: pop3: 513: Connected to popserver1:110 timeout 60

に対応する POP3 proxy done が存在しないようですから、
確かにこの接続について問題が起こっていることは確かな
ようですね。
しかし、このログからはそれ以上わかりません。
ログレベルを「2」にしていただいてもう一度ログを
とってみていただけないでしょうか。

また、POPFile を停止させてから、Terminal で

cd /Library/POPFile
sudo perl -Ilib popfile.pl
(管理者パスワードを入力)

として POPFile を起動していただくと、Terminal 上に
エラーが記録されるかもしれません。

ログに記録されているエラーと警告についてですが、
まず 3 行目の

2006/9/25 11:59:59 179: wordmangle: 88: Failed to open stopwords file

については、SSL モジュールインストーラのバグでした。
すみません。これから修正しようと思います。
おそらく、/Library/POPFile に「stopwords.old」という
ファイルがあると思いますので、お手数ですが、
POPFile を終了させてから Terminal で

cd /Library/POPFile
sudo cp stopwords.old stopwords
(管理者パスワードを入力)

を実行し、stopwords を作成してください。それで
このエラーが解消されると思います。

次に、4 行目の

2006/9/25 11:59:59 179: WARNING: POPFile may require Perl module IO::Socket::Socks; it is needed for "Socks Proxy Support".[0a]WARNING: POPFile may require Perl module XMLRPC::Transport::HTTP; it is needed for "XML-RPC Server Support".[0a]

ですが、これは Socks プロキシや XML-RPC のために
必要なモジュールが存在しないという警告ですので、
それらの機能を使用しないのであれば無視していただいて
かまいません。
回复到 #25098

RE: POPFILE 0.22.4UBのトラブル? (2006-09-26 00:34 by masaki-t #25123)

トラブルを生じるアカウント宛に空メールを送信し、そのPOPサーバでメールを受信しようとすると、問題が発生します。受信するメールがない時には問題は発生しませんでした。(これは当たり前かも知れませんが、一応念のため。)

sudo perl -Ilib popfile.plとして、PopFileを再起動し、問題のPOPサーバからメールを受信しようとした時にターミナルに表示されたメッセージを貼付けます。
なお、POPサーバでのユーザ名(USER_NAME)、POPサーバのアドレス(POPSERVER1)、僕のパソコンのIP(IP_ADRESS)、僕のパソコンの(HOST_NAME)、僕の名前(MY_NAME)というように置換しています。

メッセージの一番後ろのところあたりが問題のようです。一番最後のメッセージの時間(23:52:11)と、その前の時間(23:50:23)の間はPopFileがメモリを占有し、その他の動作を受け付けなくなります。

2006/9/25 23:50:19 300: bayes: 733: Attempting to connect to dbi:SQLite:dbname=./popfile.db (1)
2006/9/25 23:50:20 300: bayes: 739: Using SQLite library version 2.8.12
2006/9/25 23:50:21 300: pop3: 301: +OK POP3 POPFile (v0.22.4) server ready[0d][0a]
2006/9/25 23:50:21 300: pop3: 194: Regexps: ^USER XXXXXX
2006/9/25 23:50:21 300: pop3: 209: Command: --USER XXXXXX--
2006/9/25 23:50:21 300: mq: 377: post LOGIN (USER_NAME)
2006/9/25 23:50:21 300: mq: 392: sending post LOGIN (USER_NAME) to parent GLOB(0x98490)
2006/9/25 23:50:21 265: mq: 377: post LOGIN (USER_NAME)
2006/9/25 23:50:21 265: mq: 384: queuing post LOGIN (USER_NAME)
2006/9/25 23:50:21 265: mq: 386: LOGIN queue length now 0
2006/9/25 23:50:21 265: mq: 128: Message LOGIN (USER_NAME) ready for delivery
2006/9/25 23:50:21 265: mq: 131: Delivering message LOGIN (USER_NAME) to html
2006/9/25 23:50:21 300: pop3: 513: Connected to POPSERVER1:110 timeout 60
2006/9/25 23:50:21 300: pop3: 551: Connection returned: +OK POPSERVER1 POP3 service (iPlanet Messaging Server 5.2 HotFix 2.09 (built Nov 18 2005)) <4517ecae.402aabc8@POPSERVER1>[0d][0a]
2006/9/25 23:50:21 300: pop3: 295: auth plaintext
2006/9/25 23:50:21 300: pop3: 301: USER XXXXXX
2006/9/25 23:50:21 300: pop3: 658: Read slurp data +OK Name is a valid mailbox[0d][0a]
2006/9/25 23:50:21 300: pop3: 301: +OK Name is a valid mailbox[0d][0a]
2006/9/25 23:50:21 300: pop3: 209: Command: --PASS XXXXXX--
2006/9/25 23:50:21 300: pop3: 301: PASS XXXXXX
2006/9/25 23:50:21 300: pop3: 658: Read slurp data +OK Maildrop ready[0d][0a]
2006/9/25 23:50:21 300: pop3: 301: +OK Maildrop ready[0d][0a]
2006/9/25 23:50:21 300: pop3: 209: Command: --STAT--
2006/9/25 23:50:21 300: pop3: 301: STAT[0d][0a]
2006/9/25 23:50:21 300: pop3: 658: Read slurp data +OK 2 3376[0d][0a]
2006/9/25 23:50:21 300: pop3: 301: +OK 2 3376[0d][0a]
2006/9/25 23:50:21 300: pop3: 209: Command: --UIDL--
2006/9/25 23:50:21 300: pop3: 301: UIDL[0d][0a]
2006/9/25 23:50:21 300: pop3: 658: Read slurp data +OK unique-id listing follows[0d][0a]1 1055-1107312682[0d][0a]2 1056-1107312682[0d][0a].[0d][0a]
2006/9/25 23:50:21 300: pop3: 301: +OK unique-id listing follows[0d][0a]
2006/9/25 23:50:21 300: pop3: 209: Command: --LIST--
2006/9/25 23:50:21 300: pop3: 301: LIST[0d][0a]
2006/9/25 23:50:21 300: pop3: 658: Read slurp data +OK scan listing follows[0d][0a]1 1604[0d][0a]2 1772[0d][0a].[0d][0a]
2006/9/25 23:50:21 300: pop3: 301: +OK scan listing follows[0d][0a]
2006/9/25 23:50:21 300: pop3: 209: Command: --RETR 1--
2006/9/25 23:50:21 300: pop3: 301: RETR 1[0d][0a]
2006/9/25 23:50:21 300: pop3: 658: Read slurp data +OK 1604 octets[0d][0a]Return-path: <USER_NAME@POPSERVER1>[0d][0a]Received: from vchk (vchk [130.34.11.100]) by POPSERVER1[0d][0a] (iPlanet Messaging Ser
2006/9/25 23:50:21 300: pop3: 301: +OK 1604 octets[0d][0a]
2006/9/25 23:50:21 300: history: 284: reserve_slot selected random number 670504157
2006/9/25 23:50:21 300: history: 284: reserve_slot selected random number 550501055
2006/9/25 23:50:21 300: history: 284: reserve_slot selected random number 213767308
2006/9/25 23:50:21 300: history: 311: reserve_slot returning slot id 9
2006/9/25 23:50:22 300: bayes: 658: Read slurp data ver 5.2 HotFix 2.09 (built Nov 18 2005))[0d][0a] with ESMTP id <0J65009IXKT9KO@POPSERVER1> for[0d][0a] USER_NAME@ims-ms-daemon; Mon, 25 Sep 2006 23:41:33 +0900
2006/9/25 23:50:22 300: bayes: 658: Read slurp data (JST)[0d][0a]Received: from [IP_ADRESS][0d][0a] (HOST_NAME [IP_ADRESS]) by vchk.tains.tohoku.ac.jp[0d][0a] (iPlanet Messaging Server 5.2 HotFix 2.09
2006/9/25 23:50:22 300: bayes: 658: Read slurp data (built Nov 18 2005))[0d][0a] with ESMTP id <0J6500CG6KT8K4@vchk.tains.tohoku.ac.jp> for[0d][0a] USER_NAME@POPSERVER1; Mon, 25 Sep 2006 23:41:32 +0900 (JST)[0d][0a]Da
2006/9/25 23:50:22 300: bayes: 658: Read slurp data te: Mon, 25 Sep 2006 23:41:32 +0900[0d][0a]From: MY_NAME <USER_NAME@POPSERVER1>[0d][0a]Subject:[0d][0a]To: =?ISO-2022-JP?B?GyRCREVFRBsoQiAbJEI/Pzx5GyhC?=[0d][0a] <USE
2006/9/25 23:50:22 300: bayes: 658: Read slurp data R_NAME@POPSERVER1>[0d][0a]Message-id: <577202C3-54BE-467C-92B0-E1151539E931@POPSERVER1>[0d][0a]MIME-version: 1.0 (Apple Message framework v752.3)[0d][0a]X
2006/9/25 23:50:23 300: bayes: 658: Read slurp data -Mailer: Apple Mail (2.752.3)[0d][0a]Content-type: text/plain; charset=ISO-2022-JP; delsp=yes; format=flowed[0d][0a]Content-transfer-encoding: 7bit[0d][0a]Original-recipient: rfc
2006/9/25 23:50:23 300: bayes: 658: Read slurp data 822;USER_NAME@POPSERVER1[0d][0a][0d][0a][0d][0a]-------------------------------------------------[0d][0a] [1b]$BDEED!!??<y[1b](B (MY_NAME)[0d][0a][0d][0a] [1b]$B")[1b](B980-8578[0d][0a]
perl(300) malloc: *** vm_allocate(size=102400) failed (error code=3)
perl(300) malloc: *** error: can't allocate region
perl(300) malloc: *** set a breakpoint in szone_error to debug
2006/9/25 23:52:11 265: mq: 258: Done with 300 (0 to go)
回复到 #25118

RE: POPFILE 0.22.4UBのトラブル? (2006-09-26 01:45 by amatubu #25124)

再びログをありがとうございます。
まさしく、

perl(300) malloc: *** vm_allocate(size=102400) failed (error code=3)
perl(300) malloc: *** error: can't allocate region
perl(300) malloc: *** set a breakpoint in szone_error to debug

という部分がエラーの内容のようですね。
エラーの意味はちょっとわかりませんが、どうも 100KB のメモリを
確保しようとしたところでエラーが起こっている(メモリを食い
つぶして確保できなくなっている?)ような感じです。
エラーの意味も含めてちょっと調べてみます。
回复到 #25123

RE: POPFILE 0.22.4UBのトラブル? (2006-09-26 12:36 by amatubu #25129)

エラーについて少し調べてみました。
やはり、メモリ不足で仮想メモリの確保ができなかったという
ことのようです。
これはおそらく、なんらかの原因でメモリを食いつぶして
しまい、メモリの確保ができなかったということなので
しょう。

エラーメッセージには、デバッグのためには szone_error
にブレークポイントを設定しろと書かれていますが、
おそらく原因はメモリを確保している部分というよりは
その前にメモリをどんどん消費してしまう部分でしょう
から、ここから追求するのは難しそうな感じです。

特定のアカウントでだけ問題が起こるということです
から、
saiki さんが前に書かれていることと重複しますが、

・そのアカウントと他のアカウントの違い
 (SSL 使用の有無など)
・問題の起こるアカウントでは常に問題が起こるのかどうか
・言語設定を English にして POPFile を再起動しても
 同じ問題が起こるかどうか(この状態で受信したメール
 は UI 上で文字化けします)

について確認いただけますでしょうか。
回复到 #25124

RE: POPFILE 0.22.4UBのトラブル? (2006-09-27 20:15 by masaki-t #25159)

amatubuさま、saikiさま、cozynomさま
本業の方が立て込んでまして、返事が遅れてしまいました。
トラブルの発生条件に関してなのですが、

1.トラブルが起きるアカウントとその他のアカウントの違い
 トラブルは、特定のアカウントにのみ現在見られます。このトラブルの起きるアカウントは、普通の(?)POPサーバで、SSLは使っていません。しかし、同様の別のPOPサーバで、SSLを使っていないものには問題が発生しません。

2.問題の起こるアカウントでは常に問題が起こるのかどうか
 トラブルが生じるのは実際にメールを受信する時のみです。サーバーに問い合わせて新着メールがない時には問題が起きません。

3.言語設定を English にして POPFile を再起動しても
 同じ問題が起こるかどうか
 言語をEnglishにし、POPFile を再起動してもトラブルは発生しました。

4.どのような内容のメールを受信した時にトラブルが生じるのか。
 ここでやっと少し進展がありました。メールの内容に、日本語の文字が含まれている場合にのみ、トラブルが発生するようです(受信することができない)。空メールの場合、または、アルファベットのみからなるメールの場合は、問題なく受信できました。
 このことは、言語設定を英語にした場合も同様でした。

以上から、日本語の処理に関する部分でトラブルが生じている模様です。しかし、なぜ特定のアカウントでのみトラブルが生じるのかということについては、原因が分かっていません。

現在のところ分かっていることは以上です。

また、返事が遅れるかも知れませんが、どうぞよろしくお願いいたします。

回复到 #25129

RE: POPFILE 0.22.4UBのトラブル? (2006-09-28 13:00 by amatubu #25171)

情報ありがとうございます。

SSL の使用/不使用とは関係なさそうですね。

日本語の処理については、言語設定が「Nihongo」に
なっているときにだけ行われますので、「English」に
変更して POPFile を再起動すれば日本語処理は行われ
ないはずです(その間に受信したメールは、POPFile の
履歴タブで件名等が文字化けして表示されているはずです)。

ですから、言語設定が English の状態であれば、
日本語で書かれたメールを受信しても関係ないはず
なのですが・・・。

もう一度、言語設定を English にして POPFile を
再起動してから日本語で書かれたメールを受信してみて
いただけますか?
回复到 #25159

RE: POPFILE 0.22.4UBのトラブル? (2006-09-28 14:30 by masaki-t #25173)

すみません、「システム」の言語設定を英語するのだと勘違いしておりました。
「PopFile」の言語設定を英語にして、PopFileを再起動して、再度試してみたところ、日本語を含むメールを受信する時にもトラブルは発生しませんでした。
回复到 #25171

RE: POPFILE 0.22.4UBのトラブル? (2006-09-30 11:22 by amatubu #25194)

情報ありがとうございます。
説明不足ですみません。書かれているとおり、POPFile の言語設定でした。

やはり日本語処理の部分で問題が発生しているようですので、
Kakasi のビルド方法を見直してみました。

これでうまくいくかどうかわかりませんが、Kakasi のビルド方法を
見直して作ったファイル、その他モジュールの最新バージョンを
含めたインストーラを作成してみました。

http://idisk.mac.com/amatubu/Public/POPFile/POPFile-0.22.4ub.dmg.gz
こちらをお試しいただければ幸いです。
回复到 #25173

RE: POPFILE 0.22.4UBのトラブル? (2006-10-02 01:41 by masaki-t #25223)

対応ありがとうございます。
新しいビルドをインストールし、再起動しましたが、残念ながらトラブルは発生しました。

しかし、トラブルの発生パターンには変化があるかも知れません。
インストール後は、利用する4つのPOPアカウント(yahoo mailとg-mailアカウントを含む)の全てでトラブルが生じるようになりました。

受信するメールが、空の場合やアルファベットの場合は問題なく受信できる他に、「ひらがな」のみからなるメールも受信できるようです。(前のビルドでは「ひらがな」のみが受信できたかどうかは、確認していませんでした。)
「漢字」を含むメールを受信しようとする時には、以前同様メモリが使い尽くされてしまい、動作が鈍くなります。
回复到 #25194

RE: POPFILE 0.22.4UBのトラブル? (2006-10-03 00:31 by amatubu #25242)

レポートありがとうございます。
やはり日本語処理のところで問題が生じているようですね。

こちらでもあれこれ調べてみたところ、どうやら辞書
ファイルの問題らしいことがわかってきました。
ppc 用でも i386 用でも内容は同じだろうと思い込んで
いたのですが、その生成部分と読み込み部分を見ると、
オフセットや単語数のバイトオーダーが異なるようです。

ということで、おそらく辞書ファイルを i386 用に
用意したものに入れ替えれば動くのではないかと思い
ます。ですが、ちょっと用意できる状態ではない
ので、もしよろしければ、PopfileMgr のパッケージ
内にある i386 用の辞書ファイルを使ってみて
いただけますでしょうか。
(PopfileMgr を右クリックしてパッケージの内容を
表示させ、Contents/Resources/i386/share/kakasi/kanwadict を、/usr/local/share/kakasi/ にコピーして、
kanwadict ファイルを上書きしてください。PopfileMgr
のディスクイメージをマウントした状態で、Terminal から
sudo cp /Volumes/PopfileMgr-1.2.0-0.22.4/PopfileMgr.app/Contents/Resources/i386/share/kakasi/kanwadict /usr/local/share/kakasi/
を実行するというのでもいいと思います。

これでもし問題が解決するようでしたら、その方向で
新しいインストーラを作成しようと思います。
回复到 #25223

RE: POPFILE 0.22.4UBのトラブル? (2006-10-03 10:39 by yahonda #25247)

こんにちは。

> こちらでもあれこれ調べてみたところ、どうやら辞書
> ファイルの問題らしいことがわかってきました。
> ppc 用でも i386 用でも内容は同じだろうと思い込んで
> いたのですが、その生成部分と読み込み部分を見ると、
> オフセットや単語数のバイトオーダーが異なるようです。

これは、いわゆるエンディアンの違いによるものでしょうか。

PowerPC - Big Endian
Intel - Little Endian

Universal Binaryの仕組みの中で、
ことなるエンディアンのファイルをひとつにまとめる
ような機能があるのかと思い、ちょっと探してみましたが、この資料までしか見つかりませんでした。

http://developer.apple.com/jp/documentation/MacOSX/Conceptual/universal_binary/universal_binary_byte_swap/chapter_4_section_1.html#//apple_ref/doc/uid/TP40002217-CH243-TPXREF101

けっこう大変ですね。
回复到 #25242

RE: POPFILE 0.22.4UBのトラブル? (2006-10-03 12:51 by amatubu #25250)

> これは、いわゆるエンディアンの違いによるものでしょうか。

そのとおりです。辞書ファイルの生成、読み込みとも、
ヘッダ部分は fwrite、fread で一括書き込み/読み込み
をしており、そこで書き込み/読み込みされるデータは
int 型のメンバ 2 つからなる構造体の配列ですから、
エンディアンの違いによる影響を受けることになります。

> Universal Binaryの仕組みの中で、
> ことなるエンディアンのファイルをひとつにまとめる
> ような機能があるのかと思い、ちょっと探してみましたが、この資料までしか見つかりませんでした。

情報ありがとうございます。

とりあえずは、インストール時に動作環境の CPU を
調べて辞書ファイルにパッチを当てる(幸い内容が
異なるのはヘッダ部分だけのようですから、ヘッダ
部分を別に用意したものと差し替える)という方向で
対応しようかなと考えています。

他にも何かいい方法があるかもしれないので調べて
みようと思います。
回复到 #25247

RE: POPFILE 0.22.4UBのトラブル? (2006-10-03 11:30 by saiki #25249)

kakasi の辞書の問題だとすると、kakasi をコマンドラインで実行
した際にもエラーが起きるはずですね。
POPFile を使う前に kakasi のテストをすると良いと思います。

適当な日本語のテキストファイル (文字コードは EUC) を用意して、
コマンドラインから、

$ kakasi -w -ieuc -oeuc < $file
# ターミナルの文字コードは EUC にしてください。

で正常に分かち書きが行われるでしょうか?
また、POPFileMgr に入っている i386 用の辞書に置き換えた場合
はどうでしょうか?
回复到 #25242

RE: POPFILE 0.22.4UBのトラブル? (2006-10-03 12:53 by amatubu #25251)

> kakasi の辞書の問題だとすると、kakasi をコマンドラインで実行
> した際にもエラーが起きるはずですね。

そのとおりですね。
おそらく同じように問題が起こるはずです。
回复到 #25249

RE: POPFILE 0.22.4UBのトラブル? (2006-10-04 16:11 by masaki-t #25276)

>PopfileMgr
のディスクイメージをマウントした状態で、Terminal から
sudo cp /Volumes/PopfileMgr-1.2.0-0.22.4/PopfileMgr.app/Contents/Resources/i386/share/kakasi/kanwadict /usr/local/share/kakasi/
を実行するというのでもいいと思います。
ご指示の通りに、辞書ファイルをPopFileMgrの辞書ファイルと置き換えました。全てのアカウントで、日本語を含むメールを受信するときにもトラブルは発生しない模様です。
 どうやら問題解決みたいですね!原因究明ご苦労さまです。IntelCPUとPowerPCでは、データの読み込みや書き込みの仕方が違うために、辞書ファイルの形式に微妙な違いが必要ということでしょうか。

 cozynomさま
 スレッドを立ち上げていただきありがとうございました。無精なものでスレッドが無かったら問題を放置していたかもしれません。
 saikiさま、amatubuさま
 適切なご指示と対応ありがとうございました。新しいUB版のリリースをお待ちしております。

それでは失礼します。
回复到 #25242

RE: POPFILE 0.22.4UBのトラブル? (2006-10-04 18:55 by amatubu #25282)

動作報告ありがとうございます。
無事原因がわかり、安心しました。
これから新しいインストーラを準備しようと思います。
いろいろと調べていただきましてありがとうございました。

> IntelCPUとPowerPCでは、データの読み込みや書き込みの仕方が違うために、辞書ファイルの形式に微妙な違いが必要ということでしょうか。

そのとおりです。
通常であれば、辞書ファイルを作成した環境でそのまま
動けばよい、ということなのでしょうが、ユニバーサル
バイナリのようにどちらの環境でも動くプログラムと
なると、様々な対応が必要となってくるようです。
回复到 #25276

RE: POPFILE 0.22.4UBのトラブル? (2006-09-25 19:30 by cozynom #25111)

amatubuさん、masaki-tさん、こんばんは。

POPFILE 0.22.4UBをインストールし直して、以下の事を試してみました。

1.Mac OS Xを再起動 - 問題なし
2.Boot Campを使ってWin XPを起動->Mac OS Xを起動 - 問題なし
3.2.を再度行う - トラブル発生
4.ログを見たところ
2006/9/25 12:15:44 694: wordmangle: 88: Failed to open stopwords file
という文字列を発見。
5.「POPFILE」フォルダを確認したところ「stopwords」というファイルがなかったので、PopfileMgrから移植(こんなこと許されますか?)して再起動 - 問題なし
6.Boot Campを使ってWin XPを起動->Mac OS Xを起動 - トラブル発生
7.今度は「POPFILE」フォルダに「stopwords」が存在する事を確認。

Boot Campが怪しそうな気もしますが...。
masaki-tさんはBoot Campお使いですか?
回复到 #25093

RE: POPFILE 0.22.4UBのトラブル? (2006-09-25 22:13 by amatubu #25121)

saiki さんも書かれていますが、Boot Camp はおそらく
関係ないと思います。

stopwords の件については、別に書きました通り SSL
モジュールのインストーラのバグです。すみません。
stopwords.old をリネームしていただくか、ほかから
コピーしていただいて問題ありません。

以前も書きましたが、問題が発生したときのログファイルを
確認していただけますでしょうか。
(ログレベルは「2」で)
http://popfile.sourceforge.net/cgi-bin/wiki.pl?JP_TroubleShooting/PrepareLog

また、POPFile を終了させてから、

cd /Library/POPFile
sudo perl -Ilib popfile.pl
(管理者パスワードを入力)

で POPFile を起動させ、何かエラーなどが記録されないか
どうか確認してみていただけますでしょうか。
回复到 #25111

RE: POPFILE 0.22.4UBのトラブル? (2006-09-26 14:23 by cozynom #25133)

amatubuさん、こんにちは。
お手数をお掛けしております。

cd /Library/POPFile
sudo perl -Ilib popfile.pl
の結果です。

POPFile Engine loading

Loading...
{core: config history logger mq}
{classifier: bayes wordmangle}
{interface: html xmlrpc}
{proxy: nntp pop3 smtp}
{services: imap}

POPFile Engine v0.22.4 starting

Initializing...
{core: config history logger mq}
{classifier: bayes wordmangle}
{interface: html xmlrpc}
{proxy: nntp pop3 smtp}
{services: imap}

Starting...
{core: config history logger mq}
{classifier: bayes wordmangle}
{interface: html}
{proxy: pop3}
{services:}

POPFile Engine v0.22.4 running

ログファイルですが600行近くあります。
全て掲載するわけにはいかないと思いますのでどの辺から掲載すれば良いのかご指示いただければと思います。

よろしくお願いいたします。
回复到 #25121

RE: POPFILE 0.22.4UBのトラブル? (2006-09-26 23:42 by amatubu #25146)

ログについてありがとうございます。

Terminal から POPFile を実行した際のログですが、
問題が起こるまでこのまま使ってみていただいて、
そのときに何か記録されていないかを確認してみて
ください。

ログファイルについては、かなり長いということ
ですので、圧縮していただいて amatubu@mac.com まで
送っていただけますでしょうか。
こちらで確認してみようと思います。

また、

・問題が起こるアカウントと他のアカウントの違い
 (SSL 使用の有無など)
・問題の起こるアカウントでは常に問題が起こるのかどうか
・言語設定を English にして POPFile を再起動しても
 同じ問題が起こるかどうか(この状態で受信したメール
 は UI 上で文字化けします)

についてご確認ください。
回复到 #25133

RE: POPFILE 0.22.4UBのトラブル? (2006-09-27 14:44 by cozynom #25150)

amatubuさん。

ログファイル送らせていただきました。
また、確認すべき事項についても了解いたしました。

よろしくお願いいたします。
回复到 #25146

RE: POPFILE 0.22.4UBのトラブル? (2006-09-27 19:34 by amatubu #25158)

ログ拝見しました。
メール受信中に何か問題が起こっていることは確かな
ようですが、残念ながらログからはどこが原因なのか
まではわかりませんでした。

お手数ですが、ほかに書きましたことについて、確認を
お願いします。
回复到 #25150

RE: POPFILE 0.22.4UBのトラブル? (2006-09-27 22:48 by cozynom #25161)

amatubuさん。
確認事項の結果をお知らせいたします。

当方のメール環境は
*Thunderbird - 1.SSL
*PowerMail - 1.SSL 2.SSL 3.non-SSL
*Entourage - 1.non-SSL 2.non-SSL 3.non-SSL
となっております。

・問題が起こるアカウントと他のアカウントの違い
  2回起こりました。
  1回目 Thunderbirdにだけ起こり、他の組み合わせでは問題なし。
  2回目 PowerMailで1.のアカウントにアクセスする際に起こったように見えました。他の組み合わせでは問題なし。
1回目、2回目ともEntourageには起こりませんでした。
・問題の起こるアカウントでは常に問題が起こるのかどうか
  前問の通り常に起こるわけではないようです。
  ただし、一度起こるとそのアカウントは再起動するまで治りません。
・言語設定を English にして POPFile を再起動しても同じ問題が起こるかどうか
  起こりました。
回复到 #25158

RE: POPFILE 0.22.4UBのトラブル? (2006-09-28 12:57 by amatubu #25170)

情報ありがとうございます。

SSL の使用と関係があるのかとも思いましたが、
masaki-t さんの書き込みでは SSL 不使用でも問題が
起こっているようですので、特に関連性はなさそうな
感じですね。

また、言語設定を English に変えて POPFile を
再起動したあとでも起こるということですので、
日本語処理と関係があるということでもなさそう
ですね。

問題が起こらない場合でも、perl のメモリ消費量が
どんどん増えていったりしていますか?
回复到 #25161

RE: POPFILE 0.22.4UBのトラブル? (2006-09-29 16:33 by cozynom #25188)

amatubuさん。

その後の状況です。
以下のような環境で再テストしました。

送信するのは
*Thuderbird(Gmail) - Boot CampでWindowsXPを起動し、日本語のタイトル、内容でメールを送信。

受信するのは
*Thunderbird - 1.SSL
*PowerMail - 1.SSL 2.non-SSL 3.SSL
 (1.2.3.の順でサーバーにアクセスします。)
です。

まず、お詫びしなければいけないのは前の発言でEnglish環境でも起こると書きましたが、環境を変えたつもりが「適用」ボタンを押し忘れNihongo環境のままになっておりました。
申し訳ありませんでした。

そこでEnglish環境に変更された事を確認し、WindowsのThuderbirdからメール送信。Macに戻ってメールを受信するというテストをしてみることにしました。
結果は、

 *Thunderbird - 1.SSL では受信できました。
 *PowerMail - 1.SSL 2.non-SSL 3.SSL でも受信できました。

次いでNihongo環境に変更し、WindowsのThuderbirdからメール送信。Macに戻ってメールを受信するというテストをしてみました。
結果は、

 *Thunderbird - 1.SSL では受信できませんでした。
 *PowerMail - 1.SSL 2.non-SSL 3.SSL
  1.SSLにアクセスした時点で止まってしまいました。受信はできません。

ついでにNihongo環境でPowerMailの2.non-SSL 3.SSLにのみWindowsのThuderbirdからメールを送ったところ
  2.non-SSLへのメール受信が完了し3.SSLにアクセスした時点で止まってしまいました。

トラブルが発生した状態で(システムは再起動せず)English環境に変更してPOPFILEを停止、再起動したところ同じ結果になりました。

また、トラブル発生時にアクティビティーモニターでCPUとメモリの状態を確認したところ
 CPU 99%前後 メモリ 450~800MB
となっておりました。

この結果を見る限りNihongo環境でSSL受信した場合にトラブルが発生しているよう思われますが、
 *masaki-tさんの報告ではnon-SSLでもトラブルが発生するとの事。
 *Nihongo環境 + SSL受信でもトラブルが発生しない場合がある事。
から、何か別のファクターが関与している可能性があるのではないかと思われます。
回复到 #25170

RE: POPFILE 0.22.4UBのトラブル? (2006-09-30 11:23 by amatubu #25195)

情報ありがとうございます。
また、いろいろまとめていただきましてありがとうございます。

やはり日本語処理の部分で問題が発生しているようですので、
Kakasi のビルド方法を見直してみました。

これでうまくいくかどうかわかりませんが、Kakasi のビルド方法を
見直して作ったファイル、その他モジュールの最新バージョンを
含めたインストーラを作成してみました。

http://idisk.mac.com/amatubu/Public/POPFile/POPFile-0.22.4ub.dmg.gz
こちらをお試しいただければ幸いです。
回复到 #25188

RE: POPFILE 0.22.4UBのトラブル? (2006-10-02 16:06 by cozynom #25232)

amatubuさん。
saiki-tさん同様、残念ながら状況に変化はありませんでした。
とりあえず報告させていただきます。
回复到 #25195

RE: POPFILE 0.22.4UBのトラブル? (2006-10-03 00:33 by amatubu #25243)

情報ありがとうございます。

https://sourceforge.jp/forum/message.php?msg_id=25242
にお試しいただきたいことを書かせていただきましたので、
もし可能でしたらお試しいただけますでしょうか。
回复到 #25232

RE: POPFILE 0.22.4UBのトラブル? (2006-10-04 14:28 by cozynom #25275)

2度試みましたがトラブルは発生しませんでした!
しばらくこのまま使い続けてみます。
回复到 #25243

RE: POPFILE 0.22.4UBのトラブル? (2006-10-04 18:56 by amatubu #25283)

動作報告ありがとうございます。
無事うまく動いているようで安心しました。
これから新しいインストーラを準備しようと思います。

また何か起こりましたら教えてください。
ご協力ありがとうございました。
回复到 #25275

RE: POPFILE 0.22.4UBのトラブル? (2006-10-04 21:10 by cozynom #25285)

amatubuさん、masaki-tさん、saikiさん。
長期間にわたりいろいろとお世話になりました。おかげさまでPOPFileはその後も順調に動いております。
本当にありがとうございました。また、ご迷惑をおかけする事があろうかと思いますが、その際にはまたおつきあいをお願いいたします。
回复到 #25283

RE: POPFILE 0.22.4UBのトラブル? (2006-09-24 17:51 by amatubu #25092)

ご報告ありがとうございます。
正しく動作する場合もあるということですよね。うーむ。

とりあえずは、
http://popfile.sourceforge.net/cgi-bin/wiki.pl?JP_TroubleShooting/PrepareLog
を参考にログを取得してみるくらいでしょうか。

また、POPFile がなにかエラーを起こしているのであれば、
いったん POPFile を停止させてから Terminal を起動して、
cd /Library/POPFile
perl -Ilib popfile.pl
として POPFile を起動させることによってエラーなどが
確認できるかもしれません。

sqlite 関係のファイルについては、POPFile 自体を動かす
ためには不要ですのでアーカイブには含めていません。
もしこれが原因ならば、動いたり動かなかったりすることは
なく、常に動かないはずですし。

大変申し訳ありませんが、ログファイル等を確認して
いただけますでしょうか。
回复到 #25086

RE: POPFILE 0.22.4UBのトラブル? (2006-09-25 20:39 by saiki #25114)

stopwords は明示的に作成しない限り作成されないと思います。
私の PopfileMgr の設定フォルダには未だに stopwords ファイル
はありません。cozynum さんの場合は PopfileMgr にデータを移行
する前に stopwords ファイルを作っていたんだと思います。
stopwords の役割は POPFile が無視する単語のリストなので、ファ
イルがない場合は「無視する単語なし」としてそのまま動作してい
るようです。
http://popfile.sourceforge.net/cgi-bin/wiki.pl?JP_HowTos/Backup

また、Boot Camp は Mac OS X 起動時には起動していないはずです
から、特に問題になることはないように思います。

・問題のあるアカウントはランダムなのか、そうではないのか?
・アカウントの接続形態は PLAIN, APOP, SSL なのか?
・そのとき受け取るはずのメールはどのようなものだったか?
・言語を英語にしたら(日本語固有の処理が飛ばされます)どうな
るか?

といったあたりから問題を絞り込んでみてはどうでしょうか?
回复到 #25086

RE: POPFILE 0.22.4UBのトラブル? (2006-09-25 22:05 by amatubu #25120)

> stopwords は明示的に作成しない限り作成されないと思います。

私が作成したインストーラを使用している場合には、
POPFile のアーカイブに含まれている stopwords が
そのまま使われています(ユーザフォルダ = POPFile
フォルダとなっているため)。

このファイルは、一般的な英単語などを spam に大量に
使うことによってその単語の入ったメールが spam に分類
されるようにしむけ、スパムフィルタを欺くといった
攻撃に対処するなどの目的に使われるものです。
ですから、POPFile フォルダにある stopwords ファイルを
ユーザフォルダにコピーして使うのがよいのではないかと
思います。

http://www.virusbtn.com/spambulletin/archive/2006/02/sb200602-poison
などが参考になるでしょうか。
回复到 #25114

RE: POPFILE 0.22.4UBのトラブル?(修正版インストーラ) (2006-10-05 00:35 by amatubu #25304)

cozynom さん、masaki-t さん、いろいろと調べていただきまして
ありがとうございました。

わかった情報(辞書ファイルの問題)をもとに、新しいインストーラを
作成してみました。
http://idisk.mac.com/amatubu/Public/POPFile/POPFile-0.22.4ub.dmg.gz

どうぞお試しください。

内容的には、インストール後、CPU の種類を調べ、Intel CPU で
あれば、辞書ファイルの内容を一部差し替えるというものです。
インストーラのサイズ、実行時のパフォーマンスを考えてこの
手法をとりました。

これでうまくいくとよいのですが。
回复到 #25086

RE: POPFILE 0.22.4UBのトラブル?(修正版インストーラ) (2006-10-05 14:25 by cozynom #25315)

amatubuさん。
修正版インストーラ使ってみました。
Nihongo環境で問題なくメールを受信する事ができました。
ありがとうございました。
回复到 #25304

RE: POPFILE 0.22.4UBのトラブル?(修正版インストーラ) (2006-10-06 01:21 by amatubu #25321)

動作報告ありがとうございます。
うまく動いたようで安心しました。

近いうちにリリースファイルも差し替えようと思います。
ありがとうございました。
回复到 #25315