Как прикормить робота?
Если сайт присутствует в поисковой выдаче, значит он находится в базе поисковой системы. Это значит, что робот поисковой системы уже заходил на сайт, перебрал все его страницы и занес информацию о них в базу данных. После этого поисковый алгоритм выстраивает сайты от наиболее релевантных поисковому запросу к наименее релевантным. Этот процесс называется ранжированием. В топе окажутся сайты, которые поисковик на тот момент посчитал наиболее соответствующими конкретному поисковому запросу. Например, поисковая выдача по слову "кот" будет преимущественно информационной, а по фразе "кот цена" - коммерческой. Алгоритм ранжирования постоянно меняется, особенно это относится к Яндексу, в Гугле алгоритмы более стабильные и "инертные".
Как происходит индексация сайта?
Принцип действия робота напоминает обычный браузер. Робот сканирует содержимое страницы в исходном коде и сохраняет результаты на серверах. Затем с этими данными начинает работать алгоритм. Для того, чтобы выстроить базу данных, робот должен обойти все сайты. Только после наполнения базы выстраивается поисковый индекс и выкатывается апдейт. Для сбора и обработки данных нужно много вычислительной мощности, а это сервера, которые стоят денег. Именно по таким техническим и экономическим причинам апдейты в Яндексе происходят относительно редко. В Гугле апдейты не фиксируются, но происходят часто. Бывает, что изменения на сайте входят в индекс Гугла за 2-3 дня.
Роботы бывают разные и могут зайти на сайт непредсказуемо и независимо друг от друга. Узнать о посещении роботом сайта можно в панели вебмастера. Там написано, что на сайте побывал робот, но не написано, какой именно робот. Вот какие существуют роботы в Яндексе:
- основной индексирующий робот;
- робот, который индексирует rss-ленту для поиска по блогам;
- робот, который индексирует только картинки;
- быстрый робот;
- робот, "простукивающий" страницы сайта на доступность;
- определяющий страницы с версткой для мобильных устройств;
- робот, делающий снимок страницы;
- индексатор Яндекс-Видео;
- индексатор комментариев;
- индексатор favicons.ico;
- робот Рекламной Сети Яндекса;
- робот Яндекс Вебмастера;
- робот Яндекс Каталога;
- антивирусный робот;
- робот Яндекс Маркета;
- робот, определяющий зеркала сайтов;
- робот Яндекс Справочника.
Как прикормить поискового робота?
Все хотят, чтобы изменения на сайте быстрее попадали в индекс. Например, на сайте обновилось описание главной страницы, поменялись метатеги title, description, появились новые страницы с товарами, обновлен дизайн или структура каталога. Обычно, если владельцы сайта задумываются над такими вопросами, то у них уже все в порядке с индексацией. Плохо обстоят дела у тех, кто не занимается своим сайтом и не делает никаких обновлений. Когда сайт только появился, робот о нем еще не знал. Прошло время, он зашел на него и проиндексировал. Затем он заходил на сайт приблизительно раз в месяц и каждый раз никаких изменений не видел.Естественно, если нет изменений, то какой смысл часто заходить на такой сайт? И робот все реже начинает посещать его. Со временем интервалы увеличиваются, а поисковая система убеждается в том, что сайт заброшенный. Раскачать такую ситуацию можно не сразу, обычно на это уходит примерно полгода-год регулярной работы над сайтом, включая контент и оптимизацию.
Прикормить поискового робота можно регулярными обновлениями на сайте, это могут быть новости, акции, смена описаний товаров, метатегов на разных страницах, появление новых страниц, разделов, фотографий к товарам.
Робот раз за разом будет заходить на сайт, привыкнет к тому, что сайт "живой", и начнет чаще на него заходить. Страницы начнут быстрее попадать в индекс, тогда как у ваших конкурентов месяцами будет висеть в индексе старая информация, и, соответственно, их позиции будут ниже. Мы в Visual Media рекомендуем своим клиентам регулярно добавлять информацию на сайт, но не стоит это делать лишь только для роботов, информация должна быть интересной для людей.
К примеру, на новостных сайтах роботы буквально живут. Такие роботы называются быстророботы. Именно поэтому свежие новости попадают в индекс поисковых систем очень быстро, за считанные минуты или часы. На обычном коммерческом сайте у вас не получится "завести" такого быстроробота, так как четко отличают новостные сайты от остальных.
