Официальный блог Google Россия
Новости, объявления и полезные советы от российского офиса Google
Caffeine – новая система индексирования веб-сайтов от Google
9 июня 2010 г.
Кэрри Грим, разработчик Google
Сегодня мы рады сообщить вам о завершении работы над нашей новой системой индексирования веб-сайтов – Caffeine. Caffeine на 50% «свежее» предыдущего индекса и представляет собой самую большую коллекцию веб-страниц за нашу историю. Что бы вы ни искали — новости, сообщения в блогах или на форумах, — нужные вам страницы теперь еще быстрее попадут в наш индекс, а вы сможете их быстрее найти.
Несколько слов для тех, кто не так хорошо знаком с поисковыми технологиями. Когда вы ищете информацию в Google, вы не работаете с «живой» сетью. Поиск осуществляется по индексу сети, созданному Google. Этот индекс очень похож на предметный указатель в конце книги, помогающий вам найти нужную информацию.
Зачем нам понадобилось создавать новую систему индексации? По двум причинам. Во-первых, количество информации в сети растет, а форматы ее представления становятся все разнообразнее. На современном сайте вы найдете видеоролики, изображения, новости и обновления в реальном времени. Страницы стали насыщеннее и сложнее по структуре. Во-вторых, люди ждут намного большего от поиска. Пользователей интересует самая свежая информация по теме, а издатели хотят, чтобы их аудитория могла найти материал сразу же после публикации.
Чтобы не отставать от стремительного развития сети и удовлетворять растущим ожиданиям пользователей, мы и создали систему Caffeine. На картинке вы видите, как работала старая система индексации и как теперь работает новая.
В нашем старом индексе было несколько слоев, некоторые из которых обновлялись регулярнее, чем другие. Большая часть индекса обновлялась каждые две недели. Чтобы обновить слой индекса, нам нужно было проанализировать всю сеть, что создавало задержку между моментом нахождения страницы и тем, когда она становилась доступной пользователю.
Caffeine, в свою очередь, позволяет нам анализировать информацию в Интернете «по частям» и непрерывно обновлять наш поисковый индекс. Это означает, что результаты поиска будут отображать максимально свежую информацию, вне зависимости от времени и места публикации.
Каждую секунду система обрабатывает сотни тысяч страниц. Если мы представим себе, что эти страницы бумажные, стопка из них росла бы со скоростью около 5 км в секунду. В базе данных Caffeine содержится порядка 100 млн. гигабайт данных, а новая информация добавляется со скоростью нескольких сотен тысяч гигабайт в день. Вам бы понадобилось 625 тысяч iPod-ов с самым большим объемом памяти, чтобы сохранить такой массив информации.
При создании Caffeine мы ориентировались на будущее Интернета. Эта система является отличной основой для построения других, более быстрых и объемных индексов, так как она способна лучше адаптироваться к развитию сети. Этим летом появятся и другие улучшения. Следите за новостями!
Ярлыки
#10летYouTube
#10YearsOfYouTube
#1апреля #сюрприз #пасхалка #gmail #googlemaps #Покемоны #селфи #фотобомба #google+
#2014
#2015
#360degree
#360video
#3D
#8марта
#Авиабилеты
#автокреатив
#Академия культуры
#аккаунт Google #защита данных
#Амазонка
#амедиатека
#анимация
#АнитаБорг
#Арт-проект
#Африка
#балет
#безопасность
#бизнес
#блогеры
#Большой театр
#Бразилия
#вебмастер
#ВеликаяПобеда
#Венеция
#видео
#ВКонтакте
#ВОВ
#выставка
#газеты
#Галапогосы
#Галерея Google Карт
#Год в Поиске
#ГодЛитературы
#Грант
#Гренландия
#День святого Валентина
#ДеньПобеды
#дудл
#Дудл для Google
#женщины
#живаяпамять
#Живое издание
#журналы
#Заметки
#Земфира
#игра
#Изобретения
#интервью
#Интернет-магазин Chrome
#Иордания
#искусство
#исследование
#Камчатка
#Каренина
#карты
#Кения
#класс
#Климт
#Кодабра
#коллаж
#Конкурс
#Конференция
#космос
#Красноярск
#культура
#литература
#Мандела
#маршруты
#МегаФон
#Мои Карты
#мойаккаунт
#Мосфильм
#музыка
#МХТ
#Наука
#Неделя Комедий
#Непал
#Новосибирск
#Новый Год
#обновления
#Образование
#образовательные проекты
#общественный транспорт
#опера
#Оскар
#официальное заявление
#Пакистан
#панорамы
#Переводчик
#Петра
#пиратство
#ПисьмаФронта
#плейлист
#Плисецкая
#победа70
#поиск
#Поиск по картинкам
#Пользовательские Карты
#понятный интернет
#популярное
#поцелуй
#почта
#Праздник
#приложения
#пробки
#Просмотр
#Просмотр Улиц
#ПросмотрУлиц
#Пушкин
#реклама
#РКС
#С Новым Годом
#сайт
#Самбуру
#свобода
#Сибирь
#слоны
#сновавшколу
#Сообщество
#социальный проект
#Сочи
#спасибо2014
#статистика
#стипендия
#театр
#темы
#Толстой
#трекер
#тренды
#тролльдваноль #МТgoogle #ПиратскиеКопии
#ФестивальПобеды
#финалисты
#фото
#фотография
#Футбол
#Хакатон
#Хоббит
#Холокост
#хэллоуин
#Цифровое поколение
#Цифровое поколение #digitalgeneration
#чайка
#чат
#черепахи
#Чехов
#чехов_жив
#ЧеховЖив
#ЧМ2014
#чтения
#школа
#ЮАР
#язык
#Ad
#Ads
#AdWords
#Africa
#AMP
#Android
#AndroidAuto
#AndroidM
#AndroidOne
#AndroidPay
#AndroidTV
#AndroidWear
#Apps4all #Moscowappcontest13 #Android #Developers #Конкурс приложений
#Arcade Fire
#art
#Art Project
#artcopyandcode
#backtoschool
#barbican
#Blogger
#Brazil
#Brillo
#bublcam
#camera
#Cardboard
#cards
#CDZA
#chat
#chehovlive
#chekhovlive
#chrome
#Chrome Эксперименты
#Chrome Experiments
#Chromebook
#Chromebooks
#Chromecast
#ChromeExp
#code
#ComedyWeek
#Conference
#Cultural Institute
#CulturalInstitute
#d4gru
#devart
#developers
#digital art
#digitalgeneration
#DNI
#doodle
#doodle4google
#earth outreach
#education
#Eminem
#emoji
#exhibition
#firefox
#fisheye
#FlightSearch
#galaxy
#galaxyA
#gif
#Girls20
#Gmail
#Goоgle Keep
#Goggles
#Google
#Google Диск
#Google Карты
#Google Переводчик
#Google Поиск
#Google Art Project
#Google Chrome
#Google Cultural Institute
#Google Developer Day
#Google Maps
#Google Maps Engine
#Google MapsGL
#Google Now
#Google Photo
#Google Play
#Google Play Пресса
#Google Play Music
#Google Science Fair
#Google Search App
#Google Translate
#Google[x]
#Google+
#Google+ Истории
#Google+ Stories
#GoogleФото
#googleartproject
#GoogleClassroom
#GoogleCulturalInstitute
#GoogleDocs
#GoogleExpiditions
#GoogleForm
#googleforward
#googlemaps
#GoogleNow
#GoogleOpenGallery
#GooglePhoto
#GooglePhotos
#googleplay
#googleplaymusic
#googlerussia
#googlesciencefair
#GoogleSearch
#GoogleSheets
#googletranslate
#googletrends
#googlevpered
#googlevpered #vperedwithgoogle
#GR
#Ground Truth
#GSF
#GSF14
#gsf15
#GSF2014
#GSF2015
#halloween
#Hangouts
#HappyBirthdayYouTube
#HOA
#Hobbit
#I/O
#inbox
#io14
#io15
#iOS
#ipad
#IT
#Jason Schwartzman
#Jump
#kareninalive
#Kenya
#kodak
#kosmos
#kosmosdoodle
#Lady Gaga
#LEGO
#Lindsey Stirling
#literature
#live
#Lollipop
#MapMaker
#maps
#mobile
#mobilefriendly
#Motorola
#music
#Nexus
#nike
#offline
#Ok Google
#okgoogle
#okrussia
#pacman
#PACMaps
#panorama
#Photo
#projectzero
#Puls
#RISE
#RISEawards
#safari
#safe
#safebrowsing
#Samburu
#samsung
#SantaTracker
#science
#sciencefair
#space
#spaceexploration
#Spell Up
#Spike Jonze
#staynet
#staysafe
#StepOnStage
#streetart
#streetartproject
#StreetView
#SummerTime
#tcsummit2013
#TheHobbit
#Tolstoy
#top
#Top Contributors
#tophit
#trends
#twitter
#video
#videoppl
#Visual Search
#vkontakte
#vperedwithgoogle
#VR
#Weave
#web speech api
#WebGL
#WorldCup
#Year in Search
#YouTube
#youtube #YouTube Music Awards
#YouTube Rewind
#YouTubeforArtists
#YouTubeMusicAwards
#YouTubeRewind
#ytcreators
#YTMA
#ytma #youtube #musicaward #YouTube Music Award
#Zeitgeist
#Zeitgeist2013
выскажи свое мнение
голосовой поиск
Гринпис
изменение климата
интерфейс
картинки
Карты Google
качество поиска
конференция
кс15
Лох-Несс
любимые места знаменитостей
МАКС 2007
Маркет
МГУ
мошенничество
Новости
Образование
Общественный транспорт
Переводчик
Поиск
поиск по картинкам
пробки
Сниппеты
спутниковые снимки
Android
api
chrome
climate change
cop15
CSE
Custom Search Engine
developer
GCD07
gdd
Google Блоги
Google AdSense
Google Maps
Google Sites
Google Street View
Greenpeace
raise your voice
Tech Talks
techtalk
wave
youtube
Архив
Архив
февраля 2022 ( 5 )
января 2022 ( 1 )
декабря 2021 ( 5 )
ноября 2021 ( 3 )
октября 2021 ( 4 )
сентября 2021 ( 3 )
августа 2021 ( 6 )
июля 2021 ( 4 )
июня 2021 ( 3 )
мая 2021 ( 3 )
апреля 2021 ( 2 )
марта 2021 ( 2 )
февраля 2021 ( 5 )
января 2021 ( 1 )
декабря 2020 ( 5 )
ноября 2020 ( 4 )
октября 2020 ( 6 )
сентября 2020 ( 4 )
августа 2020 ( 3 )
июля 2020 ( 3 )
июня 2020 ( 5 )
мая 2020 ( 2 )
апреля 2020 ( 10 )
марта 2020 ( 7 )
февраля 2020 ( 6 )
января 2020 ( 1 )
декабря 2019 ( 3 )
ноября 2019 ( 3 )
октября 2019 ( 1 )
сентября 2019 ( 3 )
августа 2019 ( 3 )
июля 2019 ( 7 )
июня 2019 ( 1 )
мая 2019 ( 3 )
апреля 2019 ( 3 )
марта 2019 ( 3 )
февраля 2019 ( 2 )
января 2019 ( 1 )
декабря 2018 ( 6 )
ноября 2018 ( 5 )
октября 2018 ( 4 )
сентября 2018 ( 4 )
августа 2018 ( 4 )
июля 2018 ( 4 )
июня 2018 ( 8 )
мая 2018 ( 3 )
апреля 2018 ( 3 )
марта 2018 ( 2 )
февраля 2018 ( 5 )
января 2018 ( 4 )
декабря 2017 ( 5 )
ноября 2017 ( 6 )
октября 2017 ( 5 )
сентября 2017 ( 4 )
августа 2017 ( 6 )
июля 2017 ( 5 )
июня 2017 ( 4 )
мая 2017 ( 3 )
апреля 2017 ( 3 )
марта 2017 ( 5 )
февраля 2017 ( 8 )
января 2017 ( 1 )
декабря 2016 ( 3 )
ноября 2016 ( 10 )
октября 2016 ( 4 )
сентября 2016 ( 8 )
августа 2016 ( 3 )
июля 2016 ( 7 )
июня 2016 ( 2 )
мая 2016 ( 5 )
апреля 2016 ( 6 )
марта 2016 ( 4 )
февраля 2016 ( 5 )
января 2016 ( 3 )
декабря 2015 ( 9 )
ноября 2015 ( 7 )
октября 2015 ( 4 )
сентября 2015 ( 7 )
августа 2015 ( 5 )
июля 2015 ( 3 )
июня 2015 ( 8 )
мая 2015 ( 3 )
апреля 2015 ( 9 )
марта 2015 ( 10 )
февраля 2015 ( 11 )
января 2015 ( 3 )
декабря 2014 ( 10 )
ноября 2014 ( 5 )
октября 2014 ( 8 )
сентября 2014 ( 11 )
августа 2014 ( 9 )
июля 2014 ( 3 )
июня 2014 ( 9 )
мая 2014 ( 5 )
апреля 2014 ( 6 )
марта 2014 ( 3 )
февраля 2014 ( 7 )
января 2014 ( 5 )
декабря 2013 ( 10 )
ноября 2013 ( 9 )
октября 2013 ( 9 )
сентября 2013 ( 7 )
августа 2013 ( 7 )
июля 2013 ( 5 )
июня 2013 ( 10 )
мая 2013 ( 11 )
апреля 2013 ( 12 )
марта 2013 ( 9 )
февраля 2013 ( 5 )
января 2013 ( 5 )
декабря 2012 ( 13 )
ноября 2012 ( 9 )
октября 2012 ( 11 )
сентября 2012 ( 10 )
августа 2012 ( 4 )
июля 2012 ( 8 )
июня 2012 ( 8 )
мая 2012 ( 8 )
апреля 2012 ( 8 )
марта 2012 ( 5 )
февраля 2012 ( 4 )
января 2012 ( 9 )
декабря 2011 ( 7 )
ноября 2011 ( 6 )
октября 2011 ( 14 )
сентября 2011 ( 8 )
августа 2011 ( 6 )
июля 2011 ( 4 )
июня 2011 ( 10 )
мая 2011 ( 12 )
апреля 2011 ( 8 )
марта 2011 ( 5 )
февраля 2011 ( 9 )
января 2011 ( 1 )
декабря 2010 ( 9 )
ноября 2010 ( 4 )
октября 2010 ( 7 )
сентября 2010 ( 13 )
августа 2010 ( 7 )
июля 2010 ( 3 )
июня 2010 ( 8 )
мая 2010 ( 6 )
апреля 2010 ( 3 )
марта 2010 ( 9 )
февраля 2010 ( 9 )
января 2010 ( 7 )
декабря 2009 ( 11 )
ноября 2009 ( 7 )
октября 2009 ( 13 )
сентября 2009 ( 9 )
августа 2009 ( 6 )
июля 2009 ( 9 )
июня 2009 ( 5 )
мая 2009 ( 9 )
апреля 2009 ( 14 )
марта 2009 ( 8 )
февраля 2009 ( 10 )
января 2009 ( 8 )
декабря 2008 ( 4 )
ноября 2008 ( 5 )
октября 2008 ( 3 )
сентября 2008 ( 5 )
августа 2008 ( 4 )
июля 2008 ( 7 )
июня 2008 ( 6 )
апреля 2008 ( 4 )
марта 2008 ( 3 )
февраля 2008 ( 5 )
декабря 2007 ( 5 )
ноября 2007 ( 2 )
октября 2007 ( 5 )
сентября 2007 ( 4 )
августа 2007 ( 3 )
июля 2007 ( 4 )
июня 2007 ( 2 )
мая 2007 ( 1 )
апреля 2007 ( 5 )
марта 2007 ( 3 )
января 2007 ( 2 )
декабря 2006 ( 4 )
ноября 2006 ( 3 )
октября 2006 ( 5 )
сентября 2006 ( 6 )
RSS канал
Блог Google Россия на Habrahabr
Вопрос или пожелание?
Заходите на наш
Справочный форум
и обсуждайте!