いんくとみ
29 January 2006 (Sunday) 12:04 AM

ほんとになんとなく,サーバスペースで提供してくれているアクセスの生ログを見ていたら,
/SlurpConfirm404/knuddel/lemm1st/lazyjane.htm
/SlurpConfirm404/mbell/post_17.htm
/SlurpConfirm404/lumiere.htm
/SlurpConfirm404/poetry_index.htm
/SlurpConfirm404/dietlinks.htm
/SlurpConfirm404.htm
/SlurpConfirm404/Chocolate/_184564510/jump.htm
/SlurpConfirm404/wopmisasp/photothumb/TrumpetSeance.htm
/SlurpConfirm404/utter/_1374600176.htm
/SlurpConfirm404/auth/rule.htm
などという気持ち悪いURLを指定している謎なアクセスが・・・
LazyなJaneなんて人も知らないしdietもしてないしpoetryな要素なんて無いし,どっかのサイトと混線しているのか,いかがわしいアタックなのか,ていうかそんなことあるのか?でもところどころにlemm1stとかphotothumbとかrule.htmとか見覚えのある特徴的な文字列もあったりして,あながち間違いではないのかも,と思ってUAをよくよく見てみると
Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)
となっている,ドメインもinktomisearchだし,なんだ,単なるヤフーのロボットじゃん.しかしながら意味不明ですよ.
Yahooともあろうものが,NaverBot(今はrobots.txtに "User-Agent: NaverBot* \n Disallow: /" を指定しているのでもう来なくなったけど)並に酷いクロールをしていってるのかと思ってたら違う模様.
UAにあるURLにアクセスしてみると クローラーの説明ページである,ただし英語.
その中に,"Why is your crawler is asking for strange URLs that have never existed on my site?" つまり「なんで人のサイトで変なURLをリクエストしやがるのか?」という問いと答え,つまりQ&Aがあった.
答えのページには,
Your crawler is asking for strange URLs that have never existed on my site, like /piopio/darkness-halo-bottom-camera.htm. Are you looking on the wrong host?
Some web servers send a site navigation page or other response page with a "HTTP 200 OK" response instead of a "HTTP 404 Not Found" result for page-not-found conditions. To check on web server handling of page-not-found conditions, Slurp will occasionally send deliberately odd URLs built from random words to sites from which no 404 results have been seen. These URLs are built intentionally to not match any actual content at the site. We save information on the web server response to requests for non-existent pages so we can correctly recognize and remove obsolete URLs in our search database.
A Slurp check for 404 results from a web server consists of requests for up to 10 such URLs. The check for 404 behavior is not a normal part of Slurp site refresh, so such requests will be rare.
ええと,存在しないURLを指定したのに「HTTP 200 OK(リクエスト成功)」を返すサーバがたまにあるのだけれど,そういうサーバの挙動を判断して,存在しないページを検索結果から削除するために10個の変な(404エラーになるであろう)URLをリクエストしてるんす.たまにね.
というようなことか.そのたまたまがウチの場合は今日だったのね,むしろなんとなくラッキー.
ていうか,いつもこういう感じのURLをリクエストよこすんであれば,むしろ SlurpConfirm404 というディレクトリを作成してテキトーな名前のファイルをたくさん置いといてあげますよ.偶然ヒットしたらいったい検索結果がどうなるのかが楽しみですウヒヒ
そうそう,404エラーと言えば404魂ここ?
トラックバック
このエントリーのトラックバックURL:
http://idlingspace.com/mtcgi/mt-tb.cgi/75
コメント
[2006/1/30(月曜日) 19:07] mono[2006/1/30(月曜日) 23:32] hima関係ないけど跡カウント700です・・・
[2006/1/31(火曜日) 21:20] monoすいません多分ムリです_| ̄|○
これというのも PSP版Lemmingsのせいだ!と思ってみる.
[2006/2/ 1(水曜日) 01:33] himaお!カウンタの回りが遅くなりました!!
[2006/2/ 2(木曜日) 20:13] mono遅くなっても痕500・・・タスケテ(TT
ただいま最終の追い込み中です.
[2006/2/ 2(木曜日) 23:10] hima助けるって言ってもアクセスしないくr(ry
そんなひどいことはしませんよ!
[2010/7/30(金曜日) 07:55] Mcclain22THELMAギャース!!もうあと200・・・早いよう(TT
よぉしmonoさん,ここは一肌脱いで下さい
MTのプラグイン作成とかさぁ・・ちょちょいとPerlいじればいいだけd(ry
ウソですよゆっくりやります
Do you recognize that this is high time to get the loans, which would realize your dreams.
