И так, как и обещал, опишу 1 день.
Так как я живу не в России, то у меня ещё до сих пор 1 день, до второго дня ещё 30 минут есть, да и так лучше брать стату по заходам ботов на наших хомячков.
Напоминаю, что мы проводим вот этот эксперимент и имеем два «хомячка», оба на одинаковом шаблоне и оба (так для прикола) содержат ссылки на гугл и яндекс.
Вот наш первый хомячек, это у нас ГС:
И вот у нас уже хомячек №2, он же дорвей:
как видим разницы особой нет визуально, оба имеют похожую структуру, у обоих вверху кнопка и у обоих есть сайтмап на хтмл и в xml.
У обоих хомячков сейчас есть морда в индексе, которая проиндексина быстроботом. Сначала была только морда парковки, но потом яндекс исправился и засунул уже морду ГСа и ДОРа в индекс. Спасибо дядя быстробот.
Теперь отчет по ботам:
ГС:
«Yandex/1.01.001 (I)» — побывал 15 раз, но без толку, всё время обращался только к «/» (главной странице) и к robots.txt
«Googlebot/2.1» — к нам не пришел, обидно, ждем его завтра в гости
«Леваки (Другие боты)» — заходил «ia_archiver-web.archive.org», захавал robots.txt и ушел, ну и нахуй он пошел, он нам не нужен.
ДОР:
«Yandex/1.01.001 (I)» — побывал 16 раз, в принципе тоже без толку, всё время обращался только к «/» (главной странице) и к robots.txt и уже в конце захавал 1 страницу... ну что же яша, пробуй, если понравилось, то приходи ещё.
«Googlebot/2.1» — суровый чувак... зашел, и тупо начал хавать дор, захавал 300 страниц + карту сайта, за что ему респект огромный.
«Леваки (Другие боты)» — заходил «ia_archiver-web.archive.org», захавал robots.txt и ушел, ну и нахуй он пошел, он нам не нужен.
Вот так. Напомню, что я ещё нигде не спамил наших хомячков, поэтому и такая низкая нагрузка от яндекса.
ЗЫ: Завтра буду звать Раму, тот чувак нормальный, заходит, хавает тупо всё и при следующем АПе уже дор в выдаче 
Заебато. Гоша дор захавал, а на ГС хуй клал
Автор: Webpsyhopat дата: июля 15, 2009