[Tep-j-general] Re: Yahoo 検索について (ページのインデックス化)

Back to archive index

NOBI nobi2****@nobi*****
2004年 7月 12日 (月) 15:20:15 JST


はまださん

早速フォローをいただきましてありがとうございました。

このContributionに期待しつつこれからいろいろと試行錯誤
してみようと思います。

今後ともよろしくお願いします。

NOBI

> 
> こんにちわ。
> 
> On Sat, 10 Jul 2004 11:04:55 -0700
> NOBI <nobi2****@nobi*****> wrote:
> 
> > 永田さんの使用しているSpiderkillerはまだでしたので早速組み込んで
> > みました。これはそのまま(デフォルトのまま)使用していますが
> 
> 当方も先刻Spiderkillerを組み込みました。
> 
> コレ、確か「セッションハイジャック対策」のときに一度組み込んだハズなんで
> すが、調べてみるとしっかり外してました。
> 
> なぜ一度組み込んだものを外したのか記憶に無いんですけど…(^^;;
> 
> 現在、スゴイ勢いでMSNbotがosCにアクセスしてきてます。Y!Slurpもかなりのハ
> イペース→早速Spiderkilllerの効果が出てるのかな??
> 
> > configurファイルのほうはなにか手を加えたほうが良いですか?
> > YSTに関しては特にセットされていないようなのですが・・。
> 
> /catalog/includes/spider_configure.phpをみると
> 
> >  $spider_agent[] = "spider";
> >  $spider_agent[] = "bot"; 
> >  $spider_agent[] = "crawler"; 
> 
> とりあえずUAに↑この文字列が含まれてるものを「一般的ロボット」とみなし、
> その他上記条件に適合しないUAを個別に指定してるようです。
> 
> GooglebotやMSNbotは上記条件に適合するので大丈夫。
> 
> YSTについては
> 
> >   $spider_agent[] = "slurp"; //Inktomi
> 
> の記述が有りますんで、当面は大丈夫だと思います。
> 
> 今後クローラーのUAが変われば手を入れなきゃいけませんけど。
> 
> はまだ
> 





Tep-j-general メーリングリストの案内
Back to archive index