Индексирование сайтов поисковыми системами

С момента создания проходит определённое количество времени перед тем, как сайт замечают поисковые системы, начав его активно индексировать.
 

Мы расскажем о поведении различных поисковых систем на сайтах. Изучать их алгоритмы, довольно интересно, особенно когда много о поисковых системах читаешь.
 

Получается своего рода практика, которая постоянно сопоставляется теории, что позволяет делать новые интересные выводы о том, как же проходит сам процесс индексирования и ранжирования документов в разных поисковых системах.

Мы думаем, логично рассказывать появление поисковых систем в хронологическом порядке.
 

Первым  сайт посещает Google, проиндексировав все страницы сайта. Это естественно, у Google самая быстрая индексация новых сайтов.
 

Помимо подачи заявки на добавление сайта в интерфейсе веб-мастеров Google, одновременно иногда ставят прямую ссылку с главной страницы для надёжности процесса индексации. Примерно через неделю-две сайт появится в индексе этой поисковой системы.
 

Вот что можно сказать об особенностях индексации сайтов этой поисковой системой:
 

Робот посещает сайты реже, чем это делают наши "отечественные" поисковые роботы. Было замечено, что Googlebot приходит не чаще, чем раз в 3 дня (на проверку файла robots.txt приходит чаще), что, собственно, и отображается в Интерфейсе веб-мастеров Google.
 

Причём, каждый визит робота сопровождается кэшированием информации в хронологическом порядке. Этот хронологический порядок сохраняется при апдейтах поисковой выдачи системы.

Мы провели своего рода эксперимент: через определённые промежутки времени менял заголовок Title. Удивительно то, что Google запомнил хронологию их изменения и выдавал с каждым апдейтом порядковые title (а также содержание самой страницы), присвоенные странице в разные промежутки времени.
 

Также была замечена ещё одна особенность Google: один раз мы забыли по какой-то причине упомянуть запрет индексации одной из директорий сайта, что привело к её индексации. Сколько бы мы не меняли текст в robots.txt данная директория не исчезала из результатов поиска. Единственный действенный метод удаления ненужных проиндексированных страниц находится в центре веб-мастеров Google, чем мы и воспользовался.
 

С индексацией в поисковой системе  "Яндекс" бывает гораздо сложнее. Форма добавления ресурса на сайте "Яндекса" хоть и бывает заполнена в тот же день, что и форма Google, однако сайт в индексе не появляется (даже несмотря на наличие внешних ссылок на сайт).
 

Иногда проблему помогает решить простая и в то же время эффективная вещь: добавление RSS-ленту в сервисе blogs.yandex.ru

И это сработsdftn: сначала приходит робот-индексатор rss, а за ним, как по цепочке, основной индексирующий робот Yandex/1.01.001 (compatible; Win16; I).

В следующий апдейт поисковой выдачи  сайт уже бывает в индексе этой поисковой системы. Примерно  после 3-х недель с момента запуска проекта.

Как ведёт себя "Яндекс" на сайте?

Робот почти каждый день в поисках новой информации, индексирует её, в последствии она отображается в списке проиндексированных страниц. Обновления раннее проиндексированных страниц сайта проходят реже, чем включения новых страниц на сайте.

"Рамблер", третья по популярности в Рунете поисковая система. Индексация сайтов происходит довольно медленно. Рекомендуем добавлять проекты в  Рамблер-Top 100. А также написать письмо в службу поддержки Рамблера о том, что домен  является русскоязычным.
 

После включения сайта в индекс, робот "Рамблера" появляется на сайте почти каждый день по несколько раз. Каждое обновление страницы или добавление новой незамедлительно отражались в индексе на следующий день после добавления информации на сайт (Проиндексированные страницы находились очень хорошо по тегу title).
 

Yahoo довольно быстро находит сайты, даже если не заполнять форму добавления ресурса. После публикации ресурса в Интернете сайты находят где-то через 3 недели.
 

Поисковая система появляется как правило довольно редко. Раз в 2 недели. Новые страницы исправно добавляются в индекс. Трафик  с него очень мал.
 

Bing тоже сайты находит сам, без заполнения формы, по внешним ссылкам. Индексирует  сайты редко, но в отличие от Yahoo, корректно это сделал с первого раза. Трафик  с него очень мал.

Еще существуют  поисковыми системами WebAlta и Gogo.ru.