Yuriyo Ige
ige****@playe*****
2012年 6月 7日 (木) 12:50:55 JST
菅谷様 色々すみません。 先方のサーバーは、ログインURLを叩くことで擬似ログインができるとのことですので、 ログインの問題ではないようです。 クロールURLはポート指定がされているので、もしかしたらポート指定の問題なのでしょうか…？ なお、wgetでのコンテンツの取得はできています。 fessのログを見ると、 WARN org.seasar.framework.container.assembler.BindingTypeShouldDef - Skip setting property, because property(httpClientContext) of org.seasar.robot.client.http.HcHttpClient not found WARN org.seasar.framework.container.assembler.BindingTypeShouldDef - Skip setting property, because property(proxyAuthScheme) of org.seasar.robot.client.http.HcHttpClient not found WARN org.seasar.framework.container.assembler.BindingTypeShouldDef - Skip setting property, because property(cookieStore) of org.seasar.robot.client.http.HcHttpClient not found WARN org.seasar.framework.container.assembler.BindingTypeShouldDef - Skip setting property, because property(httpClientContext) of org.seasar.robot.client.http.HcHttpClient not found WARN org.seasar.framework.container.assembler.BindingTypeShouldDef - Skip setting property, because property(proxyAuthScheme) of org.seasar.robot.client.http.HcHt WARN org.seasar.framework.container.assembler.BindingTypeShouldDef - Skip setting property, because property(cookieStore) of org.seasar.robot.client.http.HcHttpClient not found という行が出力されています。 ちなみに、fess.outの方には特にwarnログはありませんでした。 何かお気づきの点がございましたら、ご教示お願い致します。 2012年6月6日 6:09 Shinsuke Sugaya <shins****@yahoo*****>: > 菅谷です。 > > Fess をインストールしたサーバーからwgetやcurlなどで > 対象コンテンツが取得できるか、確認してみると良いと思います。 > あとは、ログを確認してみると良いと思います。 > > http://fess.sourceforge.jp/ja/6.0/config/logging.html > > よろしくお願いいたします。 > > shinsuke > > 2012年6月5日 19:04 Yuriyo Ige <ige****@playe*****>: >> 色々すみません。 >> あれから別セグメントのIPを試しているのですが、 >> fessサーバのシェルからはtelnetの接続やpingの疎通ができますが、 >> fessでのクロールができません。 >> >> クロールしたいサーバーは以下になりますが、 >> >>>>>> eth0：グローバルIP…112.24.125.111（管理画面等はこちらからアクセス） >>>>>> eth1：ローカルIP…192.168.100.100 >>>>>> >>>>>> クロール先：ローカルIP…192.168.101.111 >>>>>> （192.168.100.xxxから192.168.101.xxxへのスタティックルートは設定済み） >> >> eth1と同一セグメントへのサーバ（コチラは認証なしです）へのクロールも失敗します。 >> >> グローバルIPを設定してしまったfessで、別nicでのローカルへのクロールはできないのでしょうか…？ >> それとも、根本的に私がクロールの設定を間違えているのでしょうか？ >> >> お手数ですが、ご教示のほどよろしくお願いいたしま。 >> >> >> 2012年6月2日 17:40 Shinsuke Sugaya <shins****@yahoo*****>: >>> 菅谷です。 >>> >>>> sso proxyですが、どこかにドキュメントはありますでしょうか…？ >>> >>> ないです。すいません…。Fess の案件で >>> フォーム認証が必要な場合は SSO Proxy を >>> 提案・利用していますが、SSO Proxy も >>> 独立した OSS プロダクトとしてまとめて >>> いこうとは思うものの、ソースは公開して >>> いますが、時間がなくて、いまいち情報を >>> まとめきれていません…。 >>> >>>> パラメータを投げる形になっています。 >>> >>> リクエストヘッダーでも可能であるならば >>> http://fess.sourceforge.jp/ja/7.0/admin/requestHeader-guide.html >>> の設定で可能です。 >>> >>>> それと、別セグメントのIPの件はいかがでしょうか？ >>> >>> Fess サーバーからアクセス可能であれば、 >>> 別セグメントなどは影響はないと思います。 >>> >>> よろしくお願いいたします。 >>> >>> 菅谷 >>> >>> 2012年6月2日 17:21 Yuriyo Ige <ige****@playe*****>: >>>> ありがとうございます。 >>>> 基本はフォーム認証ですが、一々クロール時にフォームログインをしてられないので、 >>>> パラメータを投げる形になっています。 >>>> >>>> sso proxyですが、どこかにドキュメントはありますでしょうか…？ >>>> fessと組み合わせて使用する際の使用方法など、 >>>> 今MLの過去ログを検索していますが、proxyで検索しても2010年の２月のログにしか無く、 >>>> 求めているものと違うようなので… >>>> >>>> それと、別セグメントのIPの件はいかがでしょうか？ >>>> >>>> ご教示のほど、よろしくお願い致します。 >>>> >>>> >>>> 2012年6月2日 6:06 Shinsuke Sugaya <shins****@yahoo*****>: >>>>> 菅谷です。 >>>>> >>>>>> ログイン認証はアクセスURLで擬似的にセッションを張る方式です。 >>>>> >>>>> 上記は具体的にはどうのようなものになるのでしょうか？ >>>>> Fess 自体でサポートするのは、BASIC認証、Digest認証、 >>>>> NTLM認証になります。フォーム認証は、別プロダクトとして >>>>> リリースできてませんが、SSO Proxy というのを >>>>> https://github.com/marevol/sso-proxy >>>>> に置いてあるので、リバースプロキシ的に自動認証するので >>>>> これ経由でクロールできると考えています。 >>>>> >>>>> よろしくお願いいたします。 >>>>> >>>>> shinsuke >>>>> >>>>> 2012年6月1日 21:40 Yuriyo Ige <ige****@playe*****>: >>>>>> はじめまして。 >>>>>> >>>>>> >>>>>> fessをsolrのクローラーとして使用したくて導入しました。 >>>>>> ひとまず、通常のwebクロール上は問題ないのですが、 >>>>>> 別セグメントのIPへのクロール及びログイン認証の部分で詰まっています。 >>>>>> >>>>>> やりたいこととしては、以下のとおりです。 >>>>>> >>>>>> ＜前提＞ >>>>>> サーバーに対して以下のIPが振られているものとします。 >>>>>> （IPは架空のものです） >>>>>> >>>>>> eth0：グローバルIP…112.24.125.111（管理画面等はこちらからアクセス） >>>>>> eth1：ローカルIP…192.168.100.100 >>>>>> >>>>>> クロール先：ローカルIP…192.168.101.111 >>>>>> （192.168.100.xxxから192.168.101.xxxへのスタティックルートは設定済み） >>>>>> >>>>>> クロール先はログイン権限別に表示するコンテンツが決まっており、 >>>>>> そのコンテンツ毎にクロールを行う必要があります。 >>>>>> ログイン認証はアクセスURLで擬似的にセッションを張る方式です。 >>>>>> >>>>>> >>>>>> この状態でfessから上記クロール先へクロールすることは可能なのでしょうか？ >>>>>> 可能な場合は、認証部分も含めどのように設定すればよろしいでしょうか？ >>>>>> >>>>>> 何卒ご教示のほど、よろしくお願い致します。 >>>>>> >>>>>> _______________________________________________ >>>>>> Fess-user mailing list >>>>>> Fess-****@lists***** >>>>>> http://lists.sourceforge.jp/mailman/listinfo/fess-user >>>>> >>>>> _______________________________________________ >>>>> Fess-user mailing list >>>>> Fess-****@lists***** >>>>> http://lists.sourceforge.jp/mailman/listinfo/fess-user >>>> >>>> _______________________________________________ >>>> Fess-user mailing list >>>> Fess-****@lists***** >>>> http://lists.sourceforge.jp/mailman/listinfo/fess-user >>> >>> _______________________________________________ >>> Fess-user mailing list >>> Fess-****@lists***** >>> http://lists.sourceforge.jp/mailman/listinfo/fess-user >> >> _______________________________________________ >> Fess-user mailing list >> Fess-****@lists***** >> http://lists.sourceforge.jp/mailman/listinfo/fess-user > > _______________________________________________ > Fess-user mailing list > Fess-****@lists***** > http://lists.sourceforge.jp/mailman/listinfo/fess-user
