Индексация страниц сайта в Яндексе и Google

Перед тем, как ваш сайт будет находиться по определенным запросам (быть в серпе) в Яндексе– необходимо, чтобы он был проиндексирован Яндексом.

Как правило, сначала в базу поисковой системы заносится морда сайта – главная страница сайта. Затем, постепенно, робот заносит в свою поисковую базу весь сайт. Если вы создали новый сайт, вы можете выполнить индексацию сайта самостоятельно, это все лишь один из способов сказать роботу Яндекса, что появился новый сайт.

Сделать это можно по адресу http://webmaster.yandex.ru/addurl.xml

Индексация сайта в Google делается тут http://www.google.ru/addurl/

Добавить свой сайт в Рамблер выполняется здесь http://www.rambler.ru/doc/add_site.shtml

Если ваш сайт совсем новый – добавьте главную страницу сайта, этого будет достаточно. Все остальное робот выполнит автоматически, по внутренним или внешним ссылкам.

Как проверить индексацию сайта?

Проверить индексацию сайта в Яндексе можно тут http://webmaster.yandex.ru/check.xml. Введите в форму Url (адрес сайта) для проверки.

Для того, чтобы проверить нахождение сайта в Рамблере, зайдите на http://www.rambler.ru/doc/add_site.shtml.

Если ваш сайт уже проиндексирован, ничего существенного больше делать не нужно, роботы поисковых систем сами найдут и проиндексируют другие страницы сайта.

В среднем, время на индексацию сайта Яндексом составляет от 7 -14 дней, возможно и немного больше. Но если после месяца ваш сайт так и не проиндексирован Яндексом, напишите в службу поддержки поисковой системы, либо обратитесь к нам.

Запрет индексации сайта в Яндексе

Запретить индексацию сайта в Яндексе, а так же в других поисковых системах, можно. Имеется два способа:

Первый способ - прописать в файле robots.txt следующую команду и закачать его на фтп сервер сайта:

User-agent: *

Disallow: /

В этом случае, вы запретите индексацию сайта во всех поисковых машинах. Если хотим запретить индексацию сайта в Яндексе, пишем так:

User-agent: Yandex

Disallow: /

Косая черта означает, что запрет на индексацию сайта будет применен ко всему сайту в целом. Если хотим запретить к индексации сайта отдельные страницы сайта, указываем их в строке Disallow:

User-agent: Yandex

Disallow: /index.php?option=com_content&task=view&id=93&Itemid

Disallow: /index.php?option=com_content&task=view&id=37&Itemid

Второй способ, чтобы запретить индексацию сайта – это использовать тег noindex. В коде страницы выделяем текст - любой текст - на слова любой текст стоит запрет индексации. Если хотим запретить индексацию всего сайта – выделяем этим тегом от body до /body весь программный код сайта.