Дэнни Салливан, специалист по связям с общественностью, Google Поиск
Ежедневно наши системы за доли секунды обрабатывают сотни миллиардов веб-страниц, чтобы найти для вас подходящие результаты и полезную информацию. При этом мы видим, что информационные потребности людей и Интернет в целом постоянно меняются. И чтобы наши поисковые алгоритмы не устаревали, каждый год мы вносим в них тысячи изменений. Наша команда непрерывно работает над тем, чтобы результаты поиска были более точными и релевантными — добавляет в Google Поиск новые функции и развивает возможности понимания языка.
Для нас важно быть уверенными, что Google остается полезным для каждого, где бы человек ни находился и что бы ни искал. Поэтому все улучшения проходят процедуру оценки со стороны пользователей. Их обратная связь помогает сделать Поиск еще лучше. Вот как это работает.
Исследовательская команда
Наша миссия — сделать информацию доступной и полезной для каждого. Чтобы достичь этой цели, мы должны учесть интересы всех пользователей. При этом информационные потребности людей могут различаться в зависимости от страны проживания, языка и личных интересов. И нам важно все это учитывать и вносить такие изменения в Google Поиск, которые помогут пользователям проще и быстрее находить необходимую информацию.
Мы создали исследовательскую команду, которая собирает обратную связь от людей со всего мира. Кроме того, мы проводим исследования на местах, чтобы понять, как люди из разных сообществ получают доступ к информации.
За годы исследований мы узнали об уникальных потребностях людей из развивающихся стран и технических ограничениях, с которыми они сталкиваются при поиске информации. Так мы разработали Google Go — поисковое приложение, которое почти не занимает места на устройстве и хорошо работает на телефонах с низкой мощностью и при нестабильном подключении к интернету. В приложении есть уникальные полезные функции, например — прослушивание веб-страниц. Это особенно полезно для тех, кто учит новый язык или не привык читать длинные тексты. Разработка подобных функций была бы невозможна без ценной информации от людей, которые в конечном счете будут ими пользоваться.
Эксперты по качеству Поиска
Самое главное в процедуре оценки обновлений — обратная связь от пользователей. Именно они сообщают нам, хорошо ли работают новые функции и системы оценки. Мы оцениваем эффективность работы наших поисковых систем согласно правилам, которые может изучить каждый. В них очень подробно описано, как должны работать наши системы. Эти правила занимают больше 160 страниц, но если сжать их до одной фразы, то получится следующее: Google Поиск создан, чтобы выдавать релевантные результаты из самых надежных источников.
Наши системы используют данные из самой сети, например, на каких сайтах встречаются слова из запроса или как эти сайты связаны между собой. Так мы понимаем какая информация связана с запросом и доверяют ли ей другие пользователи. Однако судить о том, насколько информация релевантна и надежна, могут только люди, поэтому для нас так важна обратная связь пользователей.
Чтобы получить ее, мы собрали группу из более чем 10 000 людей со всего мира. Мы называем их «экспертами по качеству Google Поиска». Эти люди помогают нам проанализировать, как обычные пользователи взаимодействуют с результатами поиска. Эксперты оценивают результаты выдачи на основании наших правил, представляя реальных пользователей и их предполагаемые информационные потребности. При этом каждый эксперт проходит обучение и тестирование на знание правил оценки.
Как формируется оценка
Вот как проходит процесс оценки: мы генерируем образец запросов (допустим, нескольких сотен). Группа экспертов получает эти запросы и две версии страниц с результатами. Одна — из действующей версии Google, другая — с улучшением, которое мы хотим внедрить.
Эксперты просматривают каждую страницу результатов, оценивая ее в соответствии с правилами. Полагаясь на собственное понимание запроса, они определяют, насколько эти страницы отвечают информационным потребностям потенциального пользователя. Кроме того, эксперты оценивают надежность и авторитетность источника. Чтобы определить надежность источников по таким критериям, как компетентность, авторитетность и достоверность, экспертов просят изучить их «репутацию».
Вот как это работает на практике. Возьмем условный запрос «рецепт морковного торта». Результаты поиска могут включать статьи на сайтах с рецептами, информацию из кулинарных журналов, с сайтов производителей продуктов или из блогов. При оценке того, отвечает ли веб-страница информационному запросу, эксперт может рассматривать следующие вопросы: понятны ли инструкции по приготовлению? Достаточно ли фото и иллюстраций? Есть ли на сайте дополнительные полезные функции, например, возможность создать список покупок или рассчитать количество ингредиентов для двойной порции?
Чтобы понять, разбирается ли автор статьи в теме, эксперт ищет информацию о нем в Интернете. Есть ли у него кулинарное образование? Упоминается ли он на других кулинарных сайтах? Есть ли положительные отзывы и оценки его контента на сайтах с рецептами? Эксперт старается определить, можно ли доверять информации на этой странице, а также оценивает репутацию автора контента и самого сайта.
Оценки не влияют на рейтинг в Поиске напрямую
Проведя исследование, эксперты предоставляют отчет об оценке качества каждой страницы. Однако эта оценка не влияет напрямую на рейтинг страницы или сайта в Поиске. Никто не решает, является ли определенный источник авторитетным или заслуживающим доверия. Это было бы невыполнимой задачей и никак бы не помогло нам улучшить систему — в результатах поиска отображаются сотни миллиардов страниц, которые постоянно меняются.
Оценки экспертов — это результаты обработки данных, которые в совокупности помогают определить, насколько хорошо работают наши системы: получают ли пользователи качественный контент, соответствующий их ожиданиям, в отдельно взятой стране и во всем мире.
Только за прошлый год наши эксперты провели более 383,605 проверок качества Google Поиска и 62,937 сравнительных экспериментов. Это помогло определить качество наших результатов и внедрить более 3600 улучшений в наши поисковые алгоритмы.
Эксперименты в продукте
Исследования и отчеты наших экспертов — не единственная обратная связь, которой мы пользуемся при внесении улучшений. Мы также хотим узнавать, как новая функция работает после публичного запуска в Поиске. Чтобы получить эту информацию, мы проводим эксперименты с трафиком в реальном времени.
В онлайн-экспериментах участвует небольшая доля выбранных случайным образом пользователей, которые пользуются текущей версией Поиска. Чтобы протестировать изменение, мы запускаем новую функцию для небольшого процента поисковых запросов и оцениваем эффект по нескольким показателям. Кликнул ли кто-то на новую функцию или большинство просто ее пропустили? Замедлила ли она загрузку страницы? Ответы на эти вопросы играют огромную роль в понимании того, полезно ли нововведение и будут ли люди им пользоваться.
В 2019 году, чтобы протестировать новые функции и улучшения в Поиске, мы провели более 17 000 экспериментов с трафиком в реальном времени. Если сравнить это число с количеством обновлений, которые были запущены (около 3600), станет ясно, что мы внедряем в Поиск только самые лучшие и полезные обновления.
Мы постоянно развиваемся
Результаты поиска никогда не будут идеальными, однако исследования и системы оценивания за последние два десятилетия доказали свою эффективность. Они позволяют нам регулярно вносить улучшения и быть уверенными в том, что изменения отвечают потребностям пользователей Google Поиска во всем мире.
