В данной главе вы узнаете, о том, как добиться корректной индексации сайта, что нужно сделать, чтобы поисковая система включила страницы вашего сайта в список доступных для поиска, и как можно управлять индексацией страниц.
1. Прежде всего каждый вебмастер должен изучить справочные разделы на сайтах поисковых машин: "Яндекс, часто задаваемые вопросы, добавление и индексация сайта" (http://webmaster.yandex.ru/faq.xml), "Как сделать, чтобы Ramblerнаходил мои документы?" (http://www.rambler.ru/doc/recommendations.shtml), "Google: справочный центр для вебмастеров" (http://www.google.ru/support/ webmasters/).
2. В статье Андрея Иванова "Подготовка сайта для индексирования в поисковых системах", размещенной на сайте http://www.ashmanov.com/pap/ivsprep.phtml, описаны все необходимые действия, которые проводятся на сайте перед добавлением его в поисковые машины.
3. Сергей Людкевич и Евгений Бсипов из компании Промо.Текарт собрали и описали часто совершаемые ошибки вебмастеров в статье "Наиболее часто встречающиеся ошибки, препятствующие хорошему ранжированию сайта в поисковых машинах. Пути их решения", размещенной на сайте http://www.promo-techart.ru/analysis/ errors.htm.
4. Понятия, термины и определения, применяемые в Сети, можно посмотреть на сайте "Интернетско-русский разговорник" по адресу http: / /terms. yandex. ru/.
Влияние внутренних факторов на ранжирование страниц сайта в поисковых системах часто недооценивается специалистами по поисковому продвижению, а также вебмастерами, занимающимися продвижением сайта. Хотя именно работу с внутренними факторами можно выполнять достаточно оперативно и результативно. В отличие от работы с внешними ссылками возможность влиять на внутренние факторы всегда доступна вебмастеру. Например, вебмастер может самостоятельно выявить страницы, которые не нужно индексировать, и настроить соответствующим образом файл robots. txt.
Технические вопросы функционирования сайта и взаимодействия с роботами поисковых систем можно и нужно решать еще на этапе проектирования сайта до начала его разработки. Это позволит избежать возможных проблем и минимизировать дальнейшие доработки, часто дорогостоящие, превращающие оптимизацию сайтов в "работу над ошибками".
Поведением роботов поисковых систем в пределах сайта можно управлять. Мы рассмотрим лишь некоторые методы управления роботами поисковых систем.
Не все страницы на сайте имеет смысл отдавать на индексацию поисковому роботу. Например, если у вас есть форум, то служебные страницы поиска, карточек пользователей или списков участников, скорее всего, не будут иметь такой полезной информации, которую кто-то будет искать через поисковик. На форуме есть более важные и интересные страницы с обсуждениями и мнениями участников, — поэтому именно они должны быть проиндексированы в первую очередь.
Второй пример — версии страниц для печати. Вы наверняка видели на многих сайтах, где публикуются статьи или новости, ссылку на версию для печати — это страница с тем же самым текстом, но без навигационных ссылок, рекламы и другой лишней информации. Если человек попадет на такую страницу из результатов поиска, он увидит только текст статьи или новости, но не сможет перейти на другие страницы сайта, так как на ней нет меню.
Из главы "Предложение и поиск информации в Интернете" вы узнали, почему важно, чтобы сайт появился в результатах поиска. Для этого поисковая система должна включить страницы сайта в свой индекс. Об устройстве поисковиков вы прочитали в предыдущей главе. Теперь поговорим о том, как сделать так, чтобы робот поисковика беспрепятственно проиндексировал ваш сайт, а также о том, как можно управлять поведением поискового робота на сайте. Можно выделить несколько факторов, которые оказывают значительное влияние на индексацию страниц сайта и дальнейшее ранжирование ссылок на документы в результатах поиска на поисковых системах. Рассмотрим их подробно.