Выше уже упоминалось о том, что для того, чтобы сайт появился в
результатах поиска, система должна его проиндексировать. Это означает,
что поисковый робот зайдет на ваш сайт, проведет анализ содержащейся
информации и занесет ее в базу данных системы.
После помещения страницы в индекс поисковика, она уже будет отражаться
в результатах выдачи по соответствующим запросам. Если ее нет в
индексе, следовательно, поисковик о ней ничего не знает и,
соответственно в результатах поиска она появиться не может.
Для того чтобы поисковая система проиндексировала какой-либо сайт, нет
ничего сложного. Любой ресурс среднего размера, имеющий информацию на
нескольких десятках страниц, в большинстве случаев правильно
индексируется поисковиками. Но все же рекомендуется обратить внимание
на следующие пункты.
- Чтобы поисковая система узнала о новом сайте есть два способа.
Во-первых, самостоятельное добавление вручную адреса через специальную
форму поисковика. Используя этот способ, автор сайта сам сообщает
поисковой системе о своем появлении. Остается только ждать очереди на
индексацию. Причем добавить нужно только главную страницу, об остальных
система узнает, пройдя по ссылкам.
Во-вторых, предоставить поисковому роботу самому обнаружить новый сайт
и внести в свой индекс. А найти сайт поисковик сможет только по внешним
ссылкам, сделанным на данный сайт. Этот способ будет даже быстрее
первого, нужно всего лишь получить одну или несколько ссылок с других
ресурсов.
Время, которое придется ждать пока сайт проиндексируют, зависит от
конкретной поисковой системы. Оно может продлиться 2 – 3 дня, а может и
затянуться на две недели. Самая быстрая поисковая система, в плане
индексации новых сайтов, является Google.
- Сайт должен подружиться с поисковиками. Для этого нужно соблюдать
несколько правил.
Желательно, чтобы структура сайта позволяла осуществлять доступ с
главной страницы к любой другой, не больше, чем за три перехода по
ссылкам. Если не получается, то необходимо составить карту сайта.
Необходимо избегать ошибок, о которых упоминалось выше (применение
идентификаторов сессий, навигация с помощью скриптов, не
продублированная обычным способом и др.).
Для полной индексации страницы, необходимо, чтобы объем текста на ней
не превышал 200 кб. Если текста будет больше, проиндексированы будут
только те самые 200 кб, начиная с верху страницы. Если вы не хотите
индексировать все страницы или какие-то отдельные части, для этого
существует специальный файл robots.txt, который позволяет управлять
поисковым роботом. С помощью него можно запретить индексацию некоторых
страниц или наоборот разрешить. Для запрета на индексацию частей
страницы существует специальный тег «NOINDEX», но он читается только
российскими поисковиками.
Помните, что количество проиндексированных страниц вашего сайта может
поменяться. Происходит это вследствие того, что базы данных поисковых
систем постоянно изменяются, обновляются, некоторые записи исчезают, а
затем появляются снова.
Поэтому рекомендуется время от времени отслеживать индексацию своего
сайта, например, при помощи лог-файлов сервера. В них отмечаются все
визиты поисковиков.
При исчезновении страницы, нужно установить причину. Часто это бывает
из-за недоступности сервера. Поисковый робот просто не смог получить к
нему доступ при попытке индексации. После того, как сервер
восстанавливается, сайт должен быть возвращен в индекс в течение
некоторого времени.