Индекс

Процесс добавления страниц любого сайта в БД (индекс) поисковой системы называется индексацией. Индексацию можно как ускорить, так и запретить совсем — в зависимости от целей оптимизатора, а также самого сайта. В первом случае сайт добавляется в аддурилку, во втором — вносятся изменения в файл robots.txt, который в понятной форме доносит до роботов поисковой системы, какие страницы нужно добавлять в индекс, а какие — нет (это называется запрет на индексацию). Можно также провести внешнюю оптимизацию сайта, закупив ссылок, но это тема отдельного поста.

В настоящее время интернет — наиболее динамичный и стремительный источник перемещения информации различного типа по всему миру, поэтому индекс обновляется все чаще и в этом ему помогает быстроробот поисковой системы. Так, «горячие новости» могут быть добавлены в выдачу (представление индекса для пользователя с учетом ранжирования по запросу) вне очереди, будь то это результаты футбольных матчей или важные политические события. Порой этим пользуются оптимизаторы подогревая интерес поисковых ботов определенным образом — все для того, чтобы добыть заветные объемы трафика без конкуренции как можно быстрее и дешевле.

Итак, проранжированные страницы (см. увеличение PR сайта) из индекса аккуратно оформляются в выдачу и предстают перед пользователем. Но современный индекс отличается от того, каким он был даже 5 лет назад. Прямо в выдаче (т.е. на странице поисковика) пользователь может получить информацию (введя соответствующий запрос): о курсе валют, о погоде, краткие факты (в выдачу Google например добавляется специальной блок Википедии), о ценах на товары, о фирмах в городе — все примеры и не перечислить.

Помимо этого, проиндексированные страницы кэшируются поисковиками (кэш периодически обновляется) и в выдаче всегда можно посмотреть последнюю сохраненную в кэше копию страницы.