1. Что такое Googlebot?
2. Шесть принципов для оптимизированного сайта Googlebot
3. 1. Не становись слишком модным.
4. 2. Делайте правильные вещи с вашим robots.txt.
5. 3. Создайте свежий контент.
6. 4. Оптимизация бесконечной прокрутки страниц.
7. 5. Используйте внутреннюю ссылку
8. 6. Создайте sitemap.xml
9. Анализ эффективности Googlebot на вашем сайте
10. Ошибки сканирования
11. Статистика ползания
12. Просмотреть как Google
13. Заблокированные URL
14. Sitemaps
15. Параметры URL
16. Заключение

Вы знаете все о поисковой оптимизации - важность хорошо структурированного сайта, релевантных ключевых слов, соответствующих тегов, технических стандартов, а также большого и большого количества контента. Но, скорее всего, вы мало думаете об оптимизации робота Googlebot.

Оптимизация робота Googlebot - это не то же самое, что оптимизация поисковой системы, потому что она идет глубже. Поисковая оптимизация больше ориентирована на процесс оптимизации запросов пользователей. Оптимизация робота Googlebot направлена ​​на то, как сканер Google получает доступ к вашему сайту.

Конечно, есть много совпадений. Тем не менее, я хочу сделать это важное различие, потому что есть фундаментальные способы, которыми это может повлиять на ваш сайт. Сканируемость сайта является важным первым шагом к обеспечению его поиска .

Что такое Googlebot?

Googlebot - это поисковый робот Google, который сканирует сеть и создает индекс. Это также известно как паук. Бот сканирует каждую страницу, к которой ему разрешен доступ, и добавляет ее в индекс, где он может быть доступен и возвращен поисковыми запросами пользователей.

мой анимированная инфографика о том, как работает Google показывает, как пауки выбирают сеть и индексируют информацию.

Вся идея о том, как робот Googlebot сканирует ваш сайт, имеет решающее значение для понимания оптимизации робота Google. Вот основы:

1. Googlebot тратит больше времени на сканирование сайтов со значительным поиском страниц. Время, которое робот Googlebot предоставляет вашему сайту, называется бюджетом на сканирование. Чем больше авторитет страницы, тем больше бюджета на сканирование.
2. Робот Googlebot всегда сканирует ваш сайт. Статья Googlebot от Google говорит следующее: «Робот Google не должен заходить на ваш сайт в среднем чаще, чем раз в несколько секунд». Другими словами, ваш сайт всегда сканируется, если ваш сайт точно принимает сканеры. В мире SEO много говорят о «скорости сканирования» и о том, как заставить Google пересмотреть ваш сайт для оптимального рейтинга. Здесь есть неправильное понимание терминологии, потому что «скорость сканирования» Google относится к скорость запросов Googlebot , а не повторение своего сайта сканировать. Вы можете изменить скорость сканирования в Инструментах для веб-мастеров (значок шестеренки → Настройки сайта → Скорость сканирования). Робот Googlebot постоянно сканирует ваш сайт, и чем больше свежести, обратных ссылок, упоминаний в социальных сетях и т. Д., Тем больше вероятность того, что ваш сайт появится в результатах поиска. Важно отметить, что робот Googlebot не сканирует каждую страницу на вашем сайте все время. Это хорошее место, чтобы указать на важность последовательного контент-маркетинга - свежий, согласованный контент всегда привлекает внимание сканера и повышает вероятность того, что страницы с высоким рейтингом.
3. Сначала робот Googlebot обращается к сайту robots.txt, чтобы узнать правила его сканирования. Любые запрещенные страницы не будут сканироваться или индексироваться.
4. Googlebot использует sitemap.xml для обнаружения любых и всех областей сайта, которые нужно сканировать и индексировать. Из-за различий в том, как создаются и организуются сайты, сканер не может автоматически сканировать каждую страницу или раздел. Динамический контент, страницы с низким рейтингом или обширные архивы контента с небольшим количеством внутренних ссылок могли бы извлечь выгоду из точно составленный файл Sitemap , Файлы Sitemap также полезны для консультирования Google о метаданных таких категорий, как видео, изображения, мобильные устройства и новости.

Шесть принципов для оптимизированного сайта Googlebot

Поскольку оптимизация Google-бота идет на шаг раньше, чем поисковая оптимизация, важно, чтобы ваш сайт был максимально легко и точно проиндексирован. Я собираюсь объяснить, как это сделать.

1. Не становись слишком модным.

По этой причине мой совет «не становись слишком модным». Робот Googlebot не сканирует содержимое JavaScript, фреймы, DHTML, Flash и Ajax, а также хороший старый HTML.

Google не сообщил о том, насколько хорошо робот Googlebot анализирует JavaScript и Ajax. Поскольку присяжные заседатели вне зависимости от мнения, возможно, вам лучше не отправлять большинство важных элементов сайта и / или контент в Ajax / JavaScript.

Я понимаю что Мэтт Каттс сказал нам, что мы можем открыть Javascript для сканера , Но некоторые доказательства а также Руководящие принципы Google для веб-мастеров по-прежнему предлагают этот совет :

Если такие необычные функции, как JavaScript, файлы cookie, идентификаторы сеансов, фреймы, DHTML или Flash, не позволяют просматривать весь ваш сайт в текстовом браузере, тогда у пауков поисковых систем могут возникнуть проблемы при сканировании вашего сайта.

Я на стороне скептицизма по поводу использования JavaScript. Гадать, что ты хочешь, но в принципе, не слишком фантазировать.

2. Делайте правильные вещи с вашим robots.txt.

Вы когда-нибудь задумывались о том, зачем вам нужен robots.txt? Это стандартная лучшая практика для SEO, но почему?

Одна из причин, по которой robots.txt важен, заключается в том, что он служит директивой для важнейшего робота Google. Робот Googlebot будет тратить свой бюджет сканирования на любые страницы вашего сайта. Вы должны сообщить роботу Google, где он должен и не должен расходовать бюджет сканирования. Если на вашем сайте есть страницы или бункеры, которые не нужно сканировать, измените ваш robots.txt соответствующим образом.

Чем меньше робот Google тратит время на ненужные разделы вашего сайта, тем больше он может сканировать и возвращать более важные разделы вашего сайта.

В качестве дружеского совета, пожалуйста, не блокируйте страницы или разделы вашего сайта, которые не должны быть заблокированы. Режим Googlebot по умолчанию сканирует и индексирует все. Весь смысл robots.txt это сказать Googlebot, куда он не должен идти. Позвольте сканеру проигрывать все, что вы хотите, чтобы быть частью индекса Google.

3. Создайте свежий контент.

Контент, который сканируется чаще, с большей вероятностью получит больше трафика. Хотя PageRank, вероятно, является определяющим фактором частоты сканирования, вполне вероятно, что PageRank становится менее важным по сравнению с фактор свежести одинаково ранжированных страниц.

Для оптимизации Googlebot особенно важно, чтобы ваши страницы с низким рейтингом сканировались как можно чаще. Как писал А.Дж. Кон , «Вы выиграете, если ваши страницы с низким PageRank сканируются чаще конкурентов».

4. Оптимизация бесконечной прокрутки страниц.

Если вы используете бесконечную страницу прокрутки, то вы не обязательно разрушаете свой шанс в оптимизации робота Googlebot. Тем не менее, вы должны убедиться, что ваши бесконечные страницы прокрутки соответствуют условиям, предоставленным Google и объяснил в моей статье на эту тему ,

5. Используйте внутреннюю ссылку

Внутренние ссылки - это, по сути, карта, по которой робот Googlebot будет следить, пока он сканирует ваш сайт. Чем более интегрирована и тесно связана ваша внутренняя структура ссылок, тем лучше робот Google будет сканировать ваш сайт.

Точный способ проанализировать вашу внутреннюю структуру ссылок - перейти в Инструменты Google для веб-мастеров → Поиск трафика → Внутренние ссылки. Если страницы вверху списка - это страницы с сильным контентом, которые вы хотите вернуть в выдаче, то у вас все хорошо. Эти страницы с топ-ссылками должны быть самыми важными страницами вашего сайта:

6. Создайте sitemap.xml

Ваша карта сайта - одно из самых ясных сообщений роботу Google о том, как получить доступ к вашему сайту. По сути, файл Sitemap делает именно то, что следует из названия, - служит картой для вашего сайта, которой должен следовать робот Google. Не каждый сайт можно легко сканировать. Сложные факторы могут, из-за отсутствия лучшего слова, «запутать» робота Google или отвлечь его, когда он сканирует ваш сайт.

Файлы Sitemap вносят необходимые коррективы в эти ошибки и гарантируют, что будут сканироваться все области вашего сайта, которые необходимо сканировать.

Анализ эффективности Googlebot на вашем сайте

Самое замечательное в оптимизации Googlebot заключается в том, что вам не нужно играть в догадки, чтобы увидеть, как ваш сайт работает с сканером. Инструменты Google для веб-мастеров предоставляют полезную информацию об основных функциях.

Я хочу сообщить вам, что это ограниченный набор данных, но он предупредит вас о любых серьезных проблемах или тенденциях с производительностью сканирования вашего сайта:

Войдите в Инструменты для веб-мастеров и перейдите в «Сканирование», чтобы проверить эту диагностику.

Ошибки сканирования

Вы можете узнать, есть ли у вашего сайта проблемы со статусом сканирования. По мере того, как робот Googlebot регулярно сканирует Интернет, ваш сайт будет либо сам подвергаться сканированию без проблем, либо он выдает некоторые красные флажки, например страницы, которые бот должен был ожидать на основе последнего индекса. Проверка ошибок сканирования - это ваш первый шаг к оптимизации робота Googlebot.

Некоторые сайты имеют ошибки сканирования, но они настолько малы или незначительны, что не влияют автоматически на трафик или рейтинг. Однако со временем такие ошибки обычно коррелируют со снижением трафика. Вот пример сайта, на котором возникают ошибки:

Статистика ползания

Google сообщает вам, сколько страниц и килобайт анализирует бот в день. Упреждающая кампания по контент-маркетингу, которая регулярно продвигает свежий контент, обеспечит положительную динамику роста этой статистики.

Просмотреть как Google

Функция «Получить как Google» позволяет вам смотреть на ваш сайт или отдельные страницы так, как это делает Google.

Заблокированные URL

Если вы хотите проверить и проверить, работает ли ваш robots.txt, «Заблокированные URL-адреса» сообщат вам, что вам нужно знать.

Sitemaps

Используйте функцию карты сайта, если вы хотите добавить карту сайта, протестировать карту сайта или узнать, какой контент индексируется в вашей карте сайта.

Параметры URL

В зависимости от количества дублирующегося содержимого, вызванного динамическими URL-адресами, у вас могут возникнуть проблемы с Параметр URL индексы. Раздел «Параметры URL» позволяет настроить способ сканирования и индексации вашего сайта с помощью параметров URL. По умолчанию все страницы сканируются в соответствии с тем, как робот Google решает:

Заключение

Если вы действительно хотите оптимизировать и улучшить производительность своего сайта и SEO, то вам следует уделить некоторое время и усилия оптимизации Googlebot. Некоторые веб-мастера не осознают количество трафика, которым они пренебрегают, просто потому, что они не уделили должного внимания оптимизации робота Googlebot.

Чтобы быть проиндексированными и возвращенными в результатах поиска, сайт должен быть просканирован. Если сайт точно не просканирован, он просто не будет проиндексирован или возвращен. Начните с этой статьи, оптимизируйте свой сайт для Googlebot и посмотрите, как он меняет ваш трафик в лучшую сторону.

Какие методы вы используете для оптимизации Googlebot?

Похожие

Комментарии