From tatenaga ＠ gmail.com  Mon Feb 14 19:29:23 2011
From: tatenaga ＠ gmail.com (yosuke takadate)
Date: Mon, 14 Feb 2011 19:29:23 +0900
Subject: [Ultramonkey-l7-users 374] Re:
	=?iso-2022-jp?b?bDd2c2QbJEIlVyVtJTslOSQsTW4kQSRrTGRCahsoQg==?=
Message-ID: <AANLkTimjYVO9+z74RfjbGb5ETK8PHnq8zXBhOzgbgJJ9@mail.gmail.com>

高舘と申します。

表題の件、coreファイルを解析しましたので
追加でご報告します。


(1)ログレベルdebugで落ちる場合
  下記のパッチは適用済みです。
  http://sourceforge.jp/projects/ultramonkey-l7/lists/archive/develop/20100802/000627.html

    Program terminated with signal 6, Aborted.
    #0  0x00002b4625f54265 in raise () from /lib64/libc.so.6
    #1  0x00002b4625f55d10 in abort () from /lib64/libc.so.6
    #2  0x00002b4625f8e84b in __libc_message () from /lib64/libc.so.6
    #3  0x00002b462600d10f in __stack_chk_fail () from /lib64/libc.so.6
    #4  0x000000000041e92a in l7vs_service_remove_conn
(srv=0x6f632a206e6e6f63, conn=0x5f7376376c207463) at service.c:1410
    #5  0x0000000000424db3 in l7vs_conn_destroy (conn=0x5de2bd0) at conn.c:549
    #6  0x000000000040c999 in l7vs_iomux_poll (timo=<value optimized
out>, blocking=-1) at iomux.c:752
    #7  0x000000000040bd04 in main (argc=2, argv=0x7fff4aabbde8) at l7vsd.c:429

バッファオーバーフローを検知してのAbortでしょうか？
こちらは更に調査しておりますが、解決は厳しい状況です。



(2)ログレベルwarnで落ちる場合

    Program terminated with signal 6, Aborted.
    #0  0x00002b30736de265 in raise () from /lib64/libc.so.6
    #1  0x00002b30736dfd10 in abort () from /lib64/libc.so.6
    #2  0x00002b307371884b in __libc_message () from /lib64/libc.so.6
    #3  0x00002b307372030f in _int_free () from /lib64/libc.so.6
    #4  0x00002b307372076b in free () from /lib64/libc.so.6
    #5  0x000000000042dc82 in l7vs_conn_send (iom=0x1130e980,
dest_fd=<value optimized out>) at conn.c:2923
    #6  0x000000000042e78f in l7vs_conn_sending (iom=0x1130e980,
another_iom=0x1130e960) at conn.c:1690
    #7  0x000000000042f55f in l7vs_conn_rs_callback (iom=0x1130e980)
at conn.c:2014
    #8  0x000000000040c8f8 in l7vs_iomux_poll (timo=<value optimized
out>, blocking=-1) at iomux.c:773
    #9  0x000000000040bd04 in main (argc=2, argv=0x7fff6800c0f8) at l7vsd.c:429

2重freeでしょうか？
if文をはさめば解決するかもしれません。


似たような問題が発生した方、回避方法など知見をお持ちの方がいましたら
ご教示頂けたらと思います。

よろしくお願い致します。

On Wed, 9 Feb 2011 16:25:44 +0900
yosuke takadate <tatenaga ＠ gmail.com> wrote:

> 高舘と申します。
> l7vsdプロセスが落ちるという問題が発生しており
> 原因を調査中です。
>
>
> 環境
>   CentOS5.5 (2.6.18-194.32.1.el5xen x86_64)
>   UltraMonkey-l7 2.1.3
>   起動モード: non-blocking
>   heartbeatによるHA構成
>    -l7vsdはクローンで正副2台で稼働
>    -レプリケーションは有効
>
> 設定
>   ※設定ファイルを別途添付させて頂きます
>
> 発生頻度
>   ほぼ1日に1回のペース
>   アクセスがあまりない時期に落ちることはありませんでしたが
>   定量的なアクセスの増加時に発生するようになりました
>
> ログ
>   ログレベルはすべて"warn"レベルにしておりましたが、
>   停止前にログは出力されておりませんでした。
>   一度"debug"レベルに変更してみたのですが、別の問題（恐らく下記URLが原因↓）で
>   l7vsdプロセスが停止してしまう状況となりログからの調査が難しくなっております
>   http://sourceforge.jp/projects/ultramonkey-l7/lists/archive/develop/20100802/000627.html
>
>
>
> 現在、起動モードをブロッキングモードに変更し、CoreDump設定を
> 投入して静観中です。
>
> 似たような問題が発生した方、回避方法など知見をお持ちの方がいましたら
> ご教示頂けたらと思い、ご連絡させて頂きました。
>
> よろしくお願い致します。