Официальный блог Google Россия
Новости, объявления и полезные советы от российского офиса Google
Сделайте свой сайт более доступным для поиска
15 мая 2009 г.
Джон Мюллер, Специалист по анализу веб-трендов (Google Цюрих)
Цель - доступность и полезность информации
Миссия Google заключается в организации мировой информации, обеспечении её доступности и пользы для всех. Залогом успеха реализации этой миссии является непрерывное сканирование интернета в поисках свежего содержания и добавлениe его в наш индекс. Мы регулярно сканируем миллиарды страниц, а
знаем о существовании ещё большего числа документов
: мы индексируем
веб-страницы
,
форумы
,
изображения
,
новости
,
видео
,
книги
и
многое другое
. Но иногда пользователи хотят найти ещё больше. Зачастую это информация, которая опубликована онлайн, но по тем или иным причинам недоступна для наших сканеров. Если у сканеров нет доступа к документам, поисковой системе будет сложно их полностью проиндексировать и предоставить пользователям.
Проиндексированы ли ваши веб-страницы?
Проверить, насколько проиндексировано содержание вашего сайта, легко: для этого произведите поиск URL-адреса вашего домена с оператором "site:". Например, чтобы проверить какая часть Групп Google проиндексирована нашим поисковиком, нужно сделать запрос [
site:groups.google.com
] (в тексте мы обычно заключаем поисковые запросы в квадратные скобки, но этого не делать непосредственно в строке поискового запроса; также обратите внимание, что в запросе после оператора "site:" отсутствует пробел).
В данном примере видно, что проиндексировано большое количество страниц, а первым результатом является главная страница Групп Google. Это хорошо - в наличии множество информации, многие сообщения уже проиндексированы и доступны пользователям.
Если ваш сайт плохо индексируется, то в окне результатов поиска вы либо обнаружите отсутствие ссылок на содержание вашего сайта, либо таких ссылок будет мало. Эта проблема проиллюстрирована в следующем примере. В данном случае, домен example.com не сканируется нашим поисковым роботом. Если вы сделаете запрос [
site:example.com
], в результатах поиска вы увидите, что, в отличие от Групп Google, страницы сайта example.com не индексируются:
Мой сайт выглядит похоже на скриншот вверху! Что делать, чтобы исправить ситуацию?
Если ваш сайт индексируется так же, как показано в предыдущем примере, или совсем не индексируется, не стоит впадать в панику. В интернете ничто не постоянно. В большинстве случаев можно выяснить и устранить эту проблему достаточно быстро. Вот несколько вещей, которые стоит проверить:
Является ли ваш сайт новым?
Процесс сканирования и индексирования сайта может занять определённое время. Если ваш сайт новый, мы, возможно, пока не обнаружили его. Подождите некоторое время и снова проверьте. Одновременно стоит проверить ваш сайт на предмет
удобства для Google
.
Открыт ли ваш сайт для сканирования поисковыми роботами?
Поисковые роботы зачастую следуют инструкциям, описанным в файле
robots.txt
каждого сайта (если такой файл создан). Этот текстовый файл обычно написан вручную и находится в корне сайта. Он сообщает поисковым системам о том, какие части вашего сайта открыты/закрыты для сканирования и индексирования. Иногда, создавая этот файл, веб-мастера случайно блокируют доступ всем поисковым роботам неправильными настройками Allow / Disallow. Это может произойти и из-за того, что файл robots.txt не редактировался и не исправлялся с начала разработки сайта.
В некоторых случаях веб-мастера блокируют доступ всем поисковым роботам, чтобы избежать чрезмерной нагрузки на веб-сервер, которая может произойти при интенсивном сканировании сайта. В такой ситуации, вместо того, чтобы запрещать сканирование всего сайта, будет полезно идентифицировать отдельные страницы, которые являются причиной проблемы, и блокировать только их. Также стоит
задать частоту сканирования
в настройках инструментов для веб-мастеров Google, если вы считаете, что это поможет уменьшить нагрузку на сервер.
Содержимое файла robots.txt определённого сайта (также вашего) можно посмотреть в любом браузере. Например, можно посмотреть содержимое
файла robots.txt сайта YouТube.com
.
В консоли инструментов для веб-мастеров Google есть программа для
анализа файла robots.txt
. Там же можно
создать файл robots.txt
для вашего сайта, если у вас его нет (хотя наличие на сайте файла robots.txt необязательно).
Следующие строки в файле robots.txt запрещают доступ всем поисковым роботам ко всему содержимому сайта ("/" - обозначает корневой уровень файлового дерева сайта):
User-agent: *
Disallow: /
Следующие строки в robots.txt разрешают доступ к содержимому сайта всем роботам:
User-agent: *
Disallow:
Заметьте, что после директивы "Disallow:" ничего не написано. Отсутствие у вашего сайта файла robots.txt имеет такой же эффект.
Комментарии в файлах robots.txt можно добавлять используя символ # в начале строки, например так:
# это комментарий
Информацию об ошибках сканирования (например
URL, запрещенные файлом robots.txt
) вы можете найти в консоли инструментов для веб-мастеров Google. Чтобы иметь доступ к этой информации, убедитесь, что ваш сайт
добавлен и подтвержден
.
Не запрещает ли ваш сайт индексирование содержания?
Некоторые сайты разрешают сканирование содержания с веб-сервера, но одновременно запрещают его индексирование. Запрет индексирования обычно делается с помощью
атрибута "noindex" в метатеге "robots" файлов
. Вы можете проверить, есть ли такой тег на вашем сайте, если посмотрите исходный код главной страницы вашего сайта (следует помнить, что этот тег можно размещать на каждой странице индивидуально, а не только на главной).
Часто причиной этого является то, что настройка, включенная по умолчанию, не была выключена в программном обеспечении сайта. Иногда названия таких настроек могут быть неясны или слабо связаны с этим метатегом. Например, название настройки может быть "видимость сайта" или "разрешить поисковым роботам искать на вашем сайте".
Вы уверены, что нет других технических проблем, блокирующих поисковые системы?
Иногда есть технические проблемы, которые мешают нам сканировать ваш сайт. Если вы подозреваете, что именно такие проблемы являются причиной, возможно, вам стоит задать вопрос на нашем справочном
форуме для веб-мастеров
или попросить помощи у вашего хостинг-провайдера.
Соответствует ли ваш сайт рекомендациям по обеспечению качества Google?
Мы можем удалить сайт из результатов поиска, если он не соответствует
рекомендациям качества
. Если вы считаете, что ваш сайт, возможно, нарушает эти рекомендации, приведите его в соответствие с требованиями, а затем отправьте
запрос на пересмотр сайта
со своего аккаунта в консоли инструментов для веб-мастеров. Если смысл некоторых наших рекомендаций не совсем понятен, стоит обратиться к веб-мастерам или сотрудникам Google в справочном
форуме для веб-мастеров
.
Если вы проверили свой сайт при помощи вышеупомянутым методов, и вам кажется, что ваш сайт уже давно должен был быть отсканирован и проиндексирован, возможно, вам будет полезно посмотреть в архивe форума, не сталкивались ли с похожей проблемой другие веб-мастера. Вы также можете задать свой вопрос на форуме. После того как вы приняли необходимые меры, сканирование и индексирование вашего сайта в большинстве случаев - это вопрос времени.
Спасибо, что у вас нашлось время и терпение, чтобы проверить свой сайт. Мы надеемся, это поможет сделать ваш сайт эффективным для поискового сканирования и улучшить его видимость для ваших пользователей!
Ярлыки
#10летYouTube
#10YearsOfYouTube
#1апреля #сюрприз #пасхалка #gmail #googlemaps #Покемоны #селфи #фотобомба #google+
#2014
#2015
#360degree
#360video
#3D
#8марта
#Авиабилеты
#автокреатив
#Академия культуры
#аккаунт Google #защита данных
#Амазонка
#амедиатека
#анимация
#АнитаБорг
#Арт-проект
#Африка
#балет
#безопасность
#бизнес
#блогеры
#Большой театр
#Бразилия
#вебмастер
#ВеликаяПобеда
#Венеция
#видео
#ВКонтакте
#ВОВ
#выставка
#газеты
#Галапогосы
#Галерея Google Карт
#Год в Поиске
#ГодЛитературы
#Грант
#Гренландия
#День святого Валентина
#ДеньПобеды
#дудл
#Дудл для Google
#женщины
#живаяпамять
#Живое издание
#журналы
#Заметки
#Земфира
#игра
#Изобретения
#интервью
#Интернет-магазин Chrome
#Иордания
#искусство
#исследование
#Камчатка
#Каренина
#карты
#Кения
#класс
#Климт
#Кодабра
#коллаж
#Конкурс
#Конференция
#космос
#Красноярск
#культура
#литература
#Мандела
#маршруты
#МегаФон
#Мои Карты
#мойаккаунт
#Мосфильм
#музыка
#МХТ
#Наука
#Неделя Комедий
#Непал
#Новосибирск
#Новый Год
#обновления
#Образование
#образовательные проекты
#общественный транспорт
#опера
#Оскар
#официальное заявление
#Пакистан
#панорамы
#Переводчик
#Петра
#пиратство
#ПисьмаФронта
#плейлист
#Плисецкая
#победа70
#поиск
#Поиск по картинкам
#Пользовательские Карты
#понятный интернет
#популярное
#поцелуй
#почта
#Праздник
#приложения
#пробки
#Просмотр
#Просмотр Улиц
#ПросмотрУлиц
#Пушкин
#реклама
#РКС
#С Новым Годом
#сайт
#Самбуру
#свобода
#Сибирь
#слоны
#сновавшколу
#Сообщество
#социальный проект
#Сочи
#спасибо2014
#статистика
#стипендия
#театр
#темы
#Толстой
#трекер
#тренды
#тролльдваноль #МТgoogle #ПиратскиеКопии
#ФестивальПобеды
#финалисты
#фото
#фотография
#Футбол
#Хакатон
#Хоббит
#Холокост
#хэллоуин
#Цифровое поколение
#Цифровое поколение #digitalgeneration
#чайка
#чат
#черепахи
#Чехов
#чехов_жив
#ЧеховЖив
#ЧМ2014
#чтения
#школа
#ЮАР
#язык
#Ad
#Ads
#AdWords
#Africa
#AMP
#Android
#AndroidAuto
#AndroidM
#AndroidOne
#AndroidPay
#AndroidTV
#AndroidWear
#Apps4all #Moscowappcontest13 #Android #Developers #Конкурс приложений
#Arcade Fire
#art
#Art Project
#artcopyandcode
#backtoschool
#barbican
#Blogger
#Brazil
#Brillo
#bublcam
#camera
#Cardboard
#cards
#CDZA
#chat
#chehovlive
#chekhovlive
#chrome
#Chrome Эксперименты
#Chrome Experiments
#Chromebook
#Chromebooks
#Chromecast
#ChromeExp
#code
#ComedyWeek
#Conference
#Cultural Institute
#CulturalInstitute
#d4gru
#devart
#developers
#digital art
#digitalgeneration
#DNI
#doodle
#doodle4google
#earth outreach
#education
#Eminem
#emoji
#exhibition
#firefox
#fisheye
#FlightSearch
#galaxy
#galaxyA
#gif
#Girls20
#Gmail
#Goоgle Keep
#Goggles
#Google
#Google Диск
#Google Карты
#Google Переводчик
#Google Поиск
#Google Art Project
#Google Chrome
#Google Cultural Institute
#Google Developer Day
#Google Maps
#Google Maps Engine
#Google MapsGL
#Google Now
#Google Photo
#Google Play
#Google Play Пресса
#Google Play Music
#Google Science Fair
#Google Search App
#Google Translate
#Google[x]
#Google+
#Google+ Истории
#Google+ Stories
#GoogleФото
#googleartproject
#GoogleClassroom
#GoogleCulturalInstitute
#GoogleDocs
#GoogleExpiditions
#GoogleForm
#googleforward
#googlemaps
#GoogleNow
#GoogleOpenGallery
#GooglePhoto
#GooglePhotos
#googleplay
#googleplaymusic
#googlerussia
#googlesciencefair
#GoogleSearch
#GoogleSheets
#googletranslate
#googletrends
#googlevpered
#googlevpered #vperedwithgoogle
#GR
#Ground Truth
#GSF
#GSF14
#gsf15
#GSF2014
#GSF2015
#halloween
#Hangouts
#HappyBirthdayYouTube
#HOA
#Hobbit
#I/O
#inbox
#io14
#io15
#iOS
#ipad
#IT
#Jason Schwartzman
#Jump
#kareninalive
#Kenya
#kodak
#kosmos
#kosmosdoodle
#Lady Gaga
#LEGO
#Lindsey Stirling
#literature
#live
#Lollipop
#MapMaker
#maps
#mobile
#mobilefriendly
#Motorola
#music
#Nexus
#nike
#offline
#Ok Google
#okgoogle
#okrussia
#pacman
#PACMaps
#panorama
#Photo
#projectzero
#Puls
#RISE
#RISEawards
#safari
#safe
#safebrowsing
#Samburu
#samsung
#SantaTracker
#science
#sciencefair
#space
#spaceexploration
#Spell Up
#Spike Jonze
#staynet
#staysafe
#StepOnStage
#streetart
#streetartproject
#StreetView
#SummerTime
#tcsummit2013
#TheHobbit
#Tolstoy
#top
#Top Contributors
#tophit
#trends
#twitter
#video
#videoppl
#Visual Search
#vkontakte
#vperedwithgoogle
#VR
#Weave
#web speech api
#WebGL
#WorldCup
#Year in Search
#YouTube
#youtube #YouTube Music Awards
#YouTube Rewind
#YouTubeforArtists
#YouTubeMusicAwards
#YouTubeRewind
#ytcreators
#YTMA
#ytma #youtube #musicaward #YouTube Music Award
#Zeitgeist
#Zeitgeist2013
выскажи свое мнение
голосовой поиск
Гринпис
изменение климата
интерфейс
картинки
Карты Google
качество поиска
конференция
кс15
Лох-Несс
любимые места знаменитостей
МАКС 2007
Маркет
МГУ
мошенничество
Новости
Образование
Общественный транспорт
Переводчик
Поиск
поиск по картинкам
пробки
Сниппеты
спутниковые снимки
Android
api
chrome
climate change
cop15
CSE
Custom Search Engine
developer
GCD07
gdd
Google Блоги
Google AdSense
Google Maps
Google Sites
Google Street View
Greenpeace
raise your voice
Tech Talks
techtalk
wave
youtube
Архив
Архив
февраля 2022 ( 5 )
января 2022 ( 1 )
декабря 2021 ( 5 )
ноября 2021 ( 3 )
октября 2021 ( 4 )
сентября 2021 ( 3 )
августа 2021 ( 6 )
июля 2021 ( 4 )
июня 2021 ( 3 )
мая 2021 ( 3 )
апреля 2021 ( 2 )
марта 2021 ( 2 )
февраля 2021 ( 5 )
января 2021 ( 1 )
декабря 2020 ( 5 )
ноября 2020 ( 4 )
октября 2020 ( 6 )
сентября 2020 ( 4 )
августа 2020 ( 3 )
июля 2020 ( 3 )
июня 2020 ( 5 )
мая 2020 ( 2 )
апреля 2020 ( 10 )
марта 2020 ( 7 )
февраля 2020 ( 6 )
января 2020 ( 1 )
декабря 2019 ( 3 )
ноября 2019 ( 3 )
октября 2019 ( 1 )
сентября 2019 ( 3 )
августа 2019 ( 3 )
июля 2019 ( 7 )
июня 2019 ( 1 )
мая 2019 ( 3 )
апреля 2019 ( 3 )
марта 2019 ( 3 )
февраля 2019 ( 2 )
января 2019 ( 1 )
декабря 2018 ( 6 )
ноября 2018 ( 5 )
октября 2018 ( 4 )
сентября 2018 ( 4 )
августа 2018 ( 4 )
июля 2018 ( 4 )
июня 2018 ( 8 )
мая 2018 ( 3 )
апреля 2018 ( 3 )
марта 2018 ( 2 )
февраля 2018 ( 5 )
января 2018 ( 4 )
декабря 2017 ( 5 )
ноября 2017 ( 6 )
октября 2017 ( 5 )
сентября 2017 ( 4 )
августа 2017 ( 6 )
июля 2017 ( 5 )
июня 2017 ( 4 )
мая 2017 ( 3 )
апреля 2017 ( 3 )
марта 2017 ( 5 )
февраля 2017 ( 8 )
января 2017 ( 1 )
декабря 2016 ( 3 )
ноября 2016 ( 10 )
октября 2016 ( 4 )
сентября 2016 ( 8 )
августа 2016 ( 3 )
июля 2016 ( 7 )
июня 2016 ( 2 )
мая 2016 ( 5 )
апреля 2016 ( 6 )
марта 2016 ( 4 )
февраля 2016 ( 5 )
января 2016 ( 3 )
декабря 2015 ( 9 )
ноября 2015 ( 7 )
октября 2015 ( 4 )
сентября 2015 ( 7 )
августа 2015 ( 5 )
июля 2015 ( 3 )
июня 2015 ( 8 )
мая 2015 ( 3 )
апреля 2015 ( 9 )
марта 2015 ( 10 )
февраля 2015 ( 11 )
января 2015 ( 3 )
декабря 2014 ( 10 )
ноября 2014 ( 5 )
октября 2014 ( 8 )
сентября 2014 ( 11 )
августа 2014 ( 9 )
июля 2014 ( 3 )
июня 2014 ( 9 )
мая 2014 ( 5 )
апреля 2014 ( 6 )
марта 2014 ( 3 )
февраля 2014 ( 7 )
января 2014 ( 5 )
декабря 2013 ( 10 )
ноября 2013 ( 9 )
октября 2013 ( 9 )
сентября 2013 ( 7 )
августа 2013 ( 7 )
июля 2013 ( 5 )
июня 2013 ( 10 )
мая 2013 ( 11 )
апреля 2013 ( 12 )
марта 2013 ( 9 )
февраля 2013 ( 5 )
января 2013 ( 5 )
декабря 2012 ( 13 )
ноября 2012 ( 9 )
октября 2012 ( 11 )
сентября 2012 ( 10 )
августа 2012 ( 4 )
июля 2012 ( 8 )
июня 2012 ( 8 )
мая 2012 ( 8 )
апреля 2012 ( 8 )
марта 2012 ( 5 )
февраля 2012 ( 4 )
января 2012 ( 9 )
декабря 2011 ( 7 )
ноября 2011 ( 6 )
октября 2011 ( 14 )
сентября 2011 ( 8 )
августа 2011 ( 6 )
июля 2011 ( 4 )
июня 2011 ( 10 )
мая 2011 ( 12 )
апреля 2011 ( 8 )
марта 2011 ( 5 )
февраля 2011 ( 9 )
января 2011 ( 1 )
декабря 2010 ( 9 )
ноября 2010 ( 4 )
октября 2010 ( 7 )
сентября 2010 ( 13 )
августа 2010 ( 7 )
июля 2010 ( 3 )
июня 2010 ( 8 )
мая 2010 ( 6 )
апреля 2010 ( 3 )
марта 2010 ( 9 )
февраля 2010 ( 9 )
января 2010 ( 7 )
декабря 2009 ( 11 )
ноября 2009 ( 7 )
октября 2009 ( 13 )
сентября 2009 ( 9 )
августа 2009 ( 6 )
июля 2009 ( 9 )
июня 2009 ( 5 )
мая 2009 ( 9 )
апреля 2009 ( 14 )
марта 2009 ( 8 )
февраля 2009 ( 10 )
января 2009 ( 8 )
декабря 2008 ( 4 )
ноября 2008 ( 5 )
октября 2008 ( 3 )
сентября 2008 ( 5 )
августа 2008 ( 4 )
июля 2008 ( 7 )
июня 2008 ( 6 )
апреля 2008 ( 4 )
марта 2008 ( 3 )
февраля 2008 ( 5 )
декабря 2007 ( 5 )
ноября 2007 ( 2 )
октября 2007 ( 5 )
сентября 2007 ( 4 )
августа 2007 ( 3 )
июля 2007 ( 4 )
июня 2007 ( 2 )
мая 2007 ( 1 )
апреля 2007 ( 5 )
марта 2007 ( 3 )
января 2007 ( 2 )
декабря 2006 ( 4 )
ноября 2006 ( 3 )
октября 2006 ( 5 )
сентября 2006 ( 6 )
RSS канал
Блог Google Россия на Habrahabr
Вопрос или пожелание?
Заходите на наш
Справочный форум
и обсуждайте!