From toshinobu.kobayashi ＠ jig-saw.com Fri Dec 25 20:43:06 2015 From: toshinobu.kobayashi ＠ jig-saw.com (=?UTF-8?B?5bCP5p6XIOW5tOS8uA==?=) Date: Fri, 25 Dec 2015 20:43:06 +0900 Subject: [Ultramonkey-l7-users 611] Re: =?utf-8?b?bDd2c2QodmVyIDMuMS4yKeOBjOeqgeeEtuWBnOatouOBlw==?= =?utf-8?b?44G+44GX44Gf?= In-Reply-To: <567CE44C.8050205@jig-saw.com> References: <567CE44C.8050205@jig-saw.com> Message-ID: <567D2BCA.6010309@jig-saw.com> コミュニティの皆様 お世話になっております。 ジグソーの小林と申します。 掲題の件のDumpファイルのトレース結果を記載させていただきます。 ------------------------------------------------------------- ...... 読み込み Loaded symbols for /usr/lib64/l7vs/sched_lc.so Core was generated by `/usr/sbin/l7vsd'. Program terminated with signal 6, Aborted. #0 0x00007fc605a7a625 in raise () from /lib64/libc.so.6 (gdb) bt #0 0x00007fc605a7a625 in raise () from /lib64/libc.so.6 #1 0x00007fc605a7be05 in abort () from /lib64/libc.so.6 #2 0x00007fc605ab8537 in __libc_message () from /lib64/libc.so.6 #3 0x00007fc605abde66 in malloc_printerr () from /lib64/libc.so.6 #4 0x00007fc605ac09b3 in _int_free () from /lib64/libc.so.6 #5 0x00007fc5ff1a1ef6 in boost::xpressive::detail::regex_impl::~regex_impl() () from /usr/lib64/l7vs/protomod_sessionless.so #6 0x00007fc5ff1a21f2 in boost::detail::sp_counted_impl_p >::dispose() () from /usr/lib64/l7vs/protomod_sessionless.so #7 0x00000000004c42d9 in boost::detail::shared_count::~shared_count() () #8 0x00007fc5ff1913dd in boost::intrusive_ptr >::~intrusive_ptr() () from /usr/lib64/l7vs/protomod_sessionless.so #9 0x00007fc5ff18cd8a in l7vs::http_protocol_module_base::find_http_header(char const*, unsigned long, std::basic_string, std::allocator > const&, unsigned long&, unsigned long&) () from /usr/lib64/l7vs/protomod_sessionless.so #10 0x00007fc5ff1dacb0 in l7vs::protocol_module_sessionless::handle_client_recv(boost::thread::id, boost::array const&, unsigned long) () from /usr/lib64/l7vs/protomod_sessionless.so #11 0x0000000000575c7b in l7vs::tcp_session::up_thread_client_receive(l7vs::tcp_session::TCP_PROCESS_TYPE_TAG) () #12 0x0000000000571941 in l7vs::tcp_session::up_thread_run() () #13 0x000000000052303e in l7vs::session_thread_control::upstream_run() () #14 0x00007fc607792d47 in thread_proxy () from /usr/lib64/libboost_thread-mt.so.5 #15 0x00007fc6058329d1 in start_thread () from /lib64/libpthread.so.0 #16 0x00007fc605b308fd in iopl () from /lib64/libc.so.6 #17 0x0000000000000000 in ?? () ------------------------------------------------------------- #5、protomod_sessionless.so の辺りで何かありましたでしょうか。 l7vsdのログには出力が無かったのでこちらを記載させていただきました。 大変お手数ですが、何分かりましたらご教授いただけますでしょうか。 On 2015/12/25 15:38, 小林 年伸 wrote: > コミュニ ティの皆様 > > お世話になっております。 > ジグソーの小林と申します。 > > 掲題の件についてご質問させていただいてよろしいでしょうか。 > > ■事象 > ロードアベレージが突然 200/1分 近くになりl7vsdのプロセスがダウン > 発生時のCPU使用率は2?3%ほどだったが > Diskの書き込み待ちが発生していたよう > これまでも突然ロードアベレージが高くなる(30/1分程度)時間があり > その時もやはりDiskの書き込み待ちが発生していた。 > クラスタ構成となっていて、待機・停止している側では > 書き込み待ちは発生していないのでl7vsdが原因と考えております。 > > 既出のもので上のような症状はありましたでしょうか。 > > 又、l7vsdのプロセスでDiskへの書き込みが発生する部分として > 何が考えられますでしょうか。例えば一時ファイルなど > もし分かればその部分をtmpfsとしてメモリ空間に持っていくことも > 検討しております。 > > 停止時にcore_dumpも出力するようにしていたのですが > 如何せんサイズが重いので必要でしたら特定の部分のみを > 取り出して添付するように致します。 > > お手数ではございますが、何卒ご確認よろしくお願いいたします。 > > ■以下は設定構成となります。 > ・UML7ver. ultramonkeyl7-3.1.2-1 > ・OS CentOS6.6 (Xen仮想マシン) > ・CPU 8 > ・MEM 16GB > ・構成 > HTTPをUltraMonkeyでバックエンド3台にlcで振り分け > backendはapache2.2 > > ・l7vsd設定 > --------------------------------------------- > [logger] > l7vsd_log_filename = "/var/log/l7vs/l7vsd.log" > l7vsd_rotation = "size" > l7vsd_max_backup_index = "10" > l7vsd_max_filesize = "2048M" > l7vsd_accesslog_rotate_type = "size" > l7vsd_accesslog_rotate_max_backup_index = "10" > l7vsd_accesslog_rotate_max_filesize = "2048M" > l7vsd_network = "warn" > l7vsd_network_qos = "warn" > l7vsd_network_bandwidth = "warn" > l7vsd_network_num_connection = "warn" > l7vsd_network_access = "warn" > l7vsd_mainthread = "warn" > l7vsd_virtualservice = "warn" > l7vsd_virtualservice_thread = "warn" > l7vsd_session = "warn" > l7vsd_session_thread = "warn" > l7vsd_realserver = "warn" > l7vsd_sorryserver = "warn" > l7vsd_module = "warn" > l7vsd_replication = "warn" > l7vsd_replication_sendthread = "warn" > l7vsd_parameter = "warn" > l7vsd_logger = "warn" > l7vsd_command = "warn" > l7vsd_start_stop = "warn" > l7vsd_system = "warn" > l7vsd_system_memory = "warn" > l7vsd_system_endpoint = "warn" > l7vsd_system_signal = "warn" > l7vsd_system_environment = "warn" > l7vsd_snmpagent = "warn" > l7vsd_protocol = "warn" > l7vsd_schedule = "warn" > l7vsadm_log_filename = "/var/log/l7vs/l7vsadm.log" > l7vsadm_rotation = "size" > l7vsadm_max_filesize = "2048M" > l7vsadm_max_backup_index = "10" > l7vsadm_parse = "warn" > l7vsadm_operate = "warn" > l7vsadm_config_result = "warn" > l7vsadm_common = "warn" > l7vsadm_logger = "warn" > l7vsadm_parameter = "warn" > l7vsadm_module = "warn" > l7vsadm_protocol = "warn" > l7vsadm_schedule = "warn" > [l7vsadm] > cmd_interval = 1 > cmd_count = 10 > con_interval = 1 > con_count = 1 > [l7vsd] > maxfileno = 65535 > [virtualservice] > session_thread_pool_size = 32 > throughput_calc_interval = 500 > [session] > server_connect_timeout = 61 > --------------------------------------------- > > ・l7directord設定 > --------------------------------------------- > virtual = 10.83.13.46:80 > real = 〓バックエンド01〓:80 masq 10 > real = 〓バックエンド02〓:80 masq 10 > real = 〓バックエンド03〓:80 masq 10 > module = sessionless --forwarded-for > scheduler = lc > qosup = 125M > qosdown = 125M > checktype = connect > service = http > quiescent = no > checkcount = 2 > session_thread_pool_size = 1800 > maxconn = 0 > --------------------------------------------- > スレッドのプール数を稼ぐためにスタックトレースのサイズを > l7vsdのプロセスのみデフォルトの10MBから3MBに変更しています。 > > > -- -------------------------------------------- ジグソー株式会社 小林　年伸 E-mail：toshinobu.kobayashi ＠ jig-saw.com Tel：011-737-0240 Fax：011-737-0241 〒060-0808 北海道札幌市北区北8条西3丁目32番 From toshinobu.kobayashi ＠ jig-saw.com Fri Dec 25 15:38:04 2015 From: toshinobu.kobayashi ＠ jig-saw.com (=?UTF-8?B?5bCP5p6XIOW5tOS8uA==?=) Date: Fri, 25 Dec 2015 15:38:04 +0900 Subject: [Ultramonkey-l7-users 612] =?utf-8?b?bDd2c2QodmVyIDMuMS4yKeOBjOeqgeeEtuWBnOatouOBl+OBvg==?= =?utf-8?b?44GX44Gf?= Message-ID: <567CE44C.8050205@jig-saw.com> コミュニティの皆様 お世話になっております。 ジグソーの小林と申します。 掲題の件についてご質問させていただいてよろしいでしょうか。 ■事象 ロードアベレージが突然 200/1分 近くになりl7vsdのプロセスがダウン 発生時のCPU使用率は2?3%ほどだったが Diskの書き込み待ちが発生していたよう これまでも突然ロードアベレージが高くなる(30/1分程度)時間があり その時もやはりDiskの書き込み待ちが発生していた。 クラスタ構成となっていて、待機・停止している側では 書き込み待ちは発生していないのでl7vsdが原因と考えております。 既出のもので上のような症状はありましたでしょうか。 又、l7vsdのプロセスでDiskへの書き込みが発生する部分として 何が考えられますでしょうか。例えば一時ファイルなど もし分かればその部分をtmpfsとしてメモリ空間に持っていくことも 検討しております。 停止時にcore_dumpも出力するようにしていたのですが 如何せんサイズが重いので必要でしたら特定の部分のみを 取り出して添付するように致します。 お手数ではございますが、何卒ご確認よろしくお願いいたします。 ■以下は設定構成となります。 ・UML7ver. ultramonkeyl7-3.1.2-1 ・OS CentOS6.6 (Xen仮想マシン) ・CPU 8 ・MEM 16GB ・構成 HTTPをUltraMonkeyでバックエンド3台にlcで振り分け backendはapache2.2 ・l7vsd設定 --------------------------------------------- [logger] l7vsd_log_filename = "/var/log/l7vs/l7vsd.log" l7vsd_rotation = "size" l7vsd_max_backup_index = "10" l7vsd_max_filesize = "2048M" l7vsd_accesslog_rotate_type = "size" l7vsd_accesslog_rotate_max_backup_index = "10" l7vsd_accesslog_rotate_max_filesize = "2048M" l7vsd_network = "warn" l7vsd_network_qos = "warn" l7vsd_network_bandwidth = "warn" l7vsd_network_num_connection = "warn" l7vsd_network_access = "warn" l7vsd_mainthread = "warn" l7vsd_virtualservice = "warn" l7vsd_virtualservice_thread = "warn" l7vsd_session = "warn" l7vsd_session_thread = "warn" l7vsd_realserver = "warn" l7vsd_sorryserver = "warn" l7vsd_module = "warn" l7vsd_replication = "warn" l7vsd_replication_sendthread = "warn" l7vsd_parameter = "warn" l7vsd_logger = "warn" l7vsd_command = "warn" l7vsd_start_stop = "warn" l7vsd_system = "warn" l7vsd_system_memory = "warn" l7vsd_system_endpoint = "warn" l7vsd_system_signal = "warn" l7vsd_system_environment = "warn" l7vsd_snmpagent = "warn" l7vsd_protocol = "warn" l7vsd_schedule = "warn" l7vsadm_log_filename = "/var/log/l7vs/l7vsadm.log" l7vsadm_rotation = "size" l7vsadm_max_filesize = "2048M" l7vsadm_max_backup_index = "10" l7vsadm_parse = "warn" l7vsadm_operate = "warn" l7vsadm_config_result = "warn" l7vsadm_common = "warn" l7vsadm_logger = "warn" l7vsadm_parameter = "warn" l7vsadm_module = "warn" l7vsadm_protocol = "warn" l7vsadm_schedule = "warn" [l7vsadm] cmd_interval = 1 cmd_count = 10 con_interval = 1 con_count = 1 [l7vsd] maxfileno = 65535 [virtualservice] session_thread_pool_size = 32 throughput_calc_interval = 500 [session] server_connect_timeout = 61 --------------------------------------------- ・l7directord設定 --------------------------------------------- virtual = 10.83.13.46:80 real = 〓バックエンド01〓:80 masq 10 real = 〓バックエンド02〓:80 masq 10 real = 〓バックエンド03〓:80 masq 10 module = sessionless --forwarded-for scheduler = lc qosup = 125M qosdown = 125M checktype = connect service = http quiescent = no checkcount = 2 session_thread_pool_size = 1800 maxconn = 0 --------------------------------------------- スレッドのプール数を稼ぐためにスタックトレースのサイズを l7vsdのプロセスのみデフォルトの10MBから3MBに変更しています。 -- -------------------------------------------- ジグソー株式会社 小林　年伸 E-mail：toshinobu.kobayashi ＠ jig-saw.com Tel：011-737-0240 Fax：011-737-0241 〒060-0808 北海道札幌市北区北8条西3丁目32番