Я иногда херею от яндекс ботов... Мало того что я в аддурилку ничего не добавлял и этот бот сам пришел, так ещё этот дурик ищет robots.txt у меня в папке
cgi-bin. Где логика? Что яндекс-бот хотел там найти? Это кусок лога с нового дора по педикам:
«GET /robots.txt HTTP/1.1» 200 151 «-» «Yandex/1.03.003 (compatible; Win16; D)»
«GET /robots.txt HTTP/1.1» 200 151 «-» «Yandex/1.03.003 (compatible; Win16; D)»
«GET /cgi-bin/robots.txt HTTP/1.1» 404 — «-» «Yandex/1.03.003 (compatible; Win16; D)»
«GET /cgi-bin/robots.txt HTTP/1.1» 404 — «-» «Yandex/1.03.003 (compatible; Win16; D)»
«GET /cgi-bin/robots.txt HTTP/1.1» 404 — «-» «Yandex/1.03.003 (compatible; Win16; D)»
Для справки:
Yandex/1.03.003 (compatible; Win16; D) робот, обращающийся к странице при добавлении ее через форму «Добавить URL»


