Робот Googlebot – это программа, разработанная Google, для сканирования Интернета.

Сканирование – это процесс, в ходе которого робот Googlebot обнаруживает новые и обновленные страницы для добавления в индекс Google.

Google использует большую сеть компьютеров, чтобы извлечь или "просканировать" содержание миллиардов веб-страниц. Робот Googlebot использует следующую алгоритмическую процедуру - компьютерные программы определяют сайты, которые нужно сканировать, частоту сканирования и количество извлекаемых страниц на каждом сайте.

Процедура сканирования начинается с получения списка URL-адресов веб-страниц, который создается на основе результатов предыдущих сеансов сканирования. Его дополняют данные из файлов Sitemap, предоставленных веб-мастером. Просматривая каждый из этих сайтов, робот Googlebot находит на каждой странице ссылки (SRC и HREF) и добавляет их в список страниц, подлежащих сканированию. Все новые и обновившиеся сайты, а также неработающие ссылки помечаются для обновления в индексе Google.

Как понравиться Googlebot и чем привлечь его внимание?

Рассмотрим каким образом робот Googlebot работает с вашим сайтом?

Робот Googlebot не должен обращаться к сайту чаще, чем раз в несколько секунд . Это относится к большинству сайтов. Но из-за задержек сети в короткие периоды времени эта частота может оказаться несколько выше. Как правило, робот Googlebot должен загружать только одну копию каждой из страниц. Если робот Googlebot загружает страницу несколько раз, это может быть вызвано остановкой и перезапуском поискового робота.

Робот Googlebot предназначен для распределенной работы на нескольких компьютерах.

Это обеспечивает рост эффективности и масштабирования системы по мере роста сети.

Кроме того, для повышения пропускной способности сети некоторые поисковые роботы запускаются на компьютерах, расположенных рядом с индексируемыми сайтами.

Поэтому в ваших журналах могут быть записаны обращения от нескольких компьютеров в домене google.com с роботом Googlebot, указанным в качестве агента пользователя.

Цель работы робота заключается в том, чтобы просканировать как можно больше страниц на сайте за один раз, не снижая пропускной способности сервера. Запросить изменение скорости сканирования.

Блокирование содержания вашего сайта от робота Googlebot.

Практически невозможно держать веб-сервер в секрете, не публикуя ссылки на него.

Как только кто-нибудь перейдет по ссылке с вашего "секретного" сервера на другой сервер, его URL, переданный в теге источника ссылки, может быть сохранен и опубликован на другом веб-сервере в журнале источников ссылок. Также в сети имеется множество устаревших и  неработающих ссылок. Если кто-нибудь опубликовал неверную ссылку на ваш сайт или не обновил ссылки (не отразив изменений на вашем сайте), робот Googlebot попытается обратиться к вашему сайту по неверной ссылке.

Если вы хотите заблокировать сканирование содержания своего сайта роботом Googlebot, то для этого существует целый ряд возможностей. Например, можно заблокировать доступ к файлам и каталогам на сервере с помощью файла robots.txt.

После создания файла robots.txt может пройти некоторое время, пока робот Googlebot обнаружит эти изменения. Если робот Googlebot по-прежнему сканирует содержание, которое было заблокировано в файле robots.txt, проверьте, в правильном ли местоположении находится этот файл.

Он должен находиться в корневом каталоге сервера (например, www.myhost.com/robots.txt).

Обратите внимание, что если этот файл находится в подкаталоге, то он не будет иметь никакого действия.

Если возникнет необходимость просто избавиться от ошибки "файл не найден" в журнале веб-сервера, создайте пустой файл robots.txt. Если нужно заблокировать роботу Googlebot возможность перехода по ссылкам на страницы сайта, то можно воспользоваться метатегом nofollow.

Чтобы заблокировать для робота Googlebot возможность перехода по конкретной ссылке, добавьте в нее атрибут rel="nofollow".

Советы от Петра Берестенко.

Проверьте, что файл robots.txt работает нормально. Инструмент Проверка файла robots.txt в составе Инструментов для веб-мастеров позволяет точно увидеть, как робот Googlebot будет  интерпретировать содержание файла robots.txt. Для Google агентом пользователя является Googlebot.

Инструмент Просмотреть как Googlebot в составе Инструментов для веб-мастеров позволяет понять, как именно робот Googlebot "видит" ваш сайт. Это может оказаться полезным при устранении неполадок с содержанием сайта и его появлением в результатах поиска.

Как проверить сканируется ли сайт?

Робот Googlebot находит сайты, переходя по ссылкам от страницы к странице. На странице  Ошибки сканирования в Инструментах для веб-мастеров перечислены неполадки, найденные роботом Googlebot во время сканирования вашего сайта. Рекомендуется регулярно просматривать ошибки сканирования и вовремя реагировать на возникающие проблемы.

Если вы хотите, чтобы содержание вашего приложения AJAX отображалось в результатах поиска, рекомендуется сделать его доступным для сканирования и индексирования.

Если файл robots.txt работает правильно, но на сайте нет посетителей, проверьте возможные причины низкой эффективности содержания при поиске.

Как робот борется со спамерами.

IP-адреса, которые использует робот Googlebot, время от времени меняются. Лучший способ определить обращение робота Googlebot – по агенту пользователя (Googlebot). С помощью обратного DNS-запроса можно проверить, действительно ли робот, который обращается к вашему серверу, является роботом Googlebot.

Робот Googlebot и все распространенные поисковые системы выполняют директивы в файле robots.txt, но некоторые роботы и спамеры этого не делают. Сообщить Google о спаме.

У Google имеется ряд других агентов пользователей, например Feedfetcher (агент пользователя Feedfetcher-Google). Поскольку запрос Feedfetcher является результатом явного запроса пользователя, добавившего фид на свою Главную страницу Google или в Google Reader, а не автоматическим действием, как у роботов, Feedfetcher не следует правилам в файле robots.txt.

Наша компания специализируется на разработке вэб-сайтов, их продвижению, производстве видео-роликов и презентаций. SiteInPack – признанный лидер в сфере разработки эффективных Интернет-сайтов и их продвижения в сети Интернет.
Большинство наших заказов поступает от компаний, пришедших по рекомендациям прежних клиентов.
Нами разработано более 200 проектов различной сложности.
Наш опыт работы — 5 лет.
Наша миссия — повышение конкурентоспособности бизнеса клиента.

Наш проект - "Сайт Малый бизнес" был разработан специально для людей, которые уже ведут малый и средний бизнес. Мы предлагаем индивидуальное решение и неповторимость для Вашего будующего интернет сайта. Чтобы узнать больше - нажмите на ГЛАЗ