Официальный блог Google Россия: Сделайте свой сайт более доступным для поиска

Официальный блог Google Россия

Новости, объявления и полезные советы от российского офиса Google

Сделайте свой сайт более доступным для поиска

15 мая 2009 г.

Джон Мюллер, Специалист по анализу веб-трендов (Google Цюрих)Цель - доступность и полезность информациизнаем о существовании ещё большего числа документоввеб-страницыфорумыизображенияновостивидеокнигимногое другоеПроиндексированы ли ваши веб-страницы? site:groups.google.comsite:example.comМой сайт выглядит похоже на скриншот вверху! Что делать, чтобы исправить ситуацию?

Является ли ваш сайт новым?

Процесс сканирования и индексирования сайта может занять определённое время. Если ваш сайт новый, мы, возможно, пока не обнаружили его. Подождите некоторое время и снова проверьте. Одновременно стоит проверить ваш сайт на предмет удобства для Google.

Открыт ли ваш сайт для сканирования поисковыми роботами?

Поисковые роботы зачастую следуют инструкциям, описанным в файле robots.txt каждого сайта (если такой файл создан). Этот текстовый файл обычно написан вручную и находится в корне сайта. Он сообщает поисковым системам о том, какие части вашего сайта открыты/закрыты для сканирования и индексирования. Иногда, создавая этот файл, веб-мастера случайно блокируют доступ всем поисковым роботам неправильными настройками Allow / Disallow. Это может произойти и из-за того, что файл robots.txt не редактировался и не исправлялся с начала разработки сайта.

В некоторых случаях веб-мастера блокируют доступ всем поисковым роботам, чтобы избежать чрезмерной нагрузки на веб-сервер, которая может произойти при интенсивном сканировании сайта. В такой ситуации, вместо того, чтобы запрещать сканирование всего сайта, будет полезно идентифицировать отдельные страницы, которые являются причиной проблемы, и блокировать только их. Также стоит задать частоту сканирования в настройках инструментов для веб-мастеров Google, если вы считаете, что это поможет уменьшить нагрузку на сервер.
Содержимое файла robots.txt определённого сайта (также вашего) можно посмотреть в любом браузере. Например, можно посмотреть содержимое файла robots.txt сайта YouТube.com.

В консоли инструментов для веб-мастеров Google есть программа для анализа файла robots.txt. Там же можно создать файл robots.txt для вашего сайта, если у вас его нет (хотя наличие на сайте файла robots.txt необязательно).

Следующие строки в файле robots.txt запрещают доступ всем поисковым роботам ко всему содержимому сайта ("/" - обозначает корневой уровень файлового дерева сайта):

    User-agent: *
    Disallow: /Следующие строки в robots.txt разрешают доступ к содержимому сайта всем роботам:    User-agent: *
    Disallow:Заметьте, что после директивы "Disallow:" ничего не написано. Отсутствие у вашего сайта файла robots.txt имеет такой же эффект.

Комментарии в файлах robots.txt можно добавлять используя символ # в начале строки, например так:    # это комментарийИнформацию об ошибках сканирования (например URL, запрещенные файлом robots.txt) вы можете найти в консоли инструментов для веб-мастеров Google. Чтобы иметь доступ к этой информации, убедитесь, что ваш сайт добавлен и подтвержден.

Не запрещает ли ваш сайт индексирование содержания?

Некоторые сайты разрешают сканирование содержания с веб-сервера, но одновременно запрещают его индексирование. Запрет индексирования обычно делается с помощью атрибута "noindex" в метатеге "robots" файлов. Вы можете проверить, есть ли такой тег на вашем сайте, если посмотрите исходный код главной страницы вашего сайта (следует помнить, что этот тег можно размещать на каждой странице индивидуально, а не только на главной).
Часто причиной этого является то, что настройка, включенная по умолчанию, не была выключена в программном обеспечении сайта. Иногда названия таких настроек могут быть неясны или слабо связаны с этим метатегом. Например, название настройки может быть "видимость сайта" или "разрешить поисковым роботам искать на вашем сайте".

Вы уверены, что нет других технических проблем, блокирующих поисковые системы?

Иногда есть технические проблемы, которые мешают нам сканировать ваш сайт. Если вы подозреваете, что именно такие проблемы являются причиной, возможно, вам стоит задать вопрос на нашем справочном форуме для веб-мастеров или попросить помощи у вашего хостинг-провайдера.

Соответствует ли ваш сайт рекомендациям по обеспечению качества Google?

Мы можем удалить сайт из результатов поиска, если он не соответствует рекомендациям качества. Если вы считаете, что ваш сайт, возможно, нарушает эти рекомендации, приведите его в соответствие с требованиями, а затем отправьте запрос на пересмотр сайта со своего аккаунта в консоли инструментов для веб-мастеров. Если смысл некоторых наших рекомендаций не совсем понятен, стоит обратиться к веб-мастерам или сотрудникам Google в справочном форуме для веб-мастеров.

Ярлыки

Архив

RSS канал

Блог Google Россия на Habrahabr

Вопрос или пожелание?

Заходите на наш Справочный форум и обсуждайте!

Google
Privacy
Terms