Официальный блог Google Россия
Новости, объявления и полезные советы от российского офиса Google
Как научить компьютер понимать человеческий язык?
27 января 2010 г.
Стивен Бейкер, инженер, Маунтин Вью
Парадокс компьютерных наук заключается в том, что многие задачи, которые людям не под силу, легко выполняются компьютерными программами. При этом задачи, которые человек может выполнять безо всяких усилий, остаются сложны для компьютеров. Мы умеем разрабатывать шахматные программы, которые побеждают ведущих гроссмейстеров на Земле. Однако создать такую программу, которая сможет распознать объекты на фотографии или понять предложение даже на уровне, доступном ребенку, мы не можем.
Обучение компьютера пониманию языка остается одной из сложнейших задач
искусственного интеллекта
. Задача поисковой машины — найти именно то, что вам нужно. Важнейшую роль при этом играет понимание языка, в частности — синонимов.
Итак, что такое синоним? Приведем простейший пример. Слова "фото" и "фотография" означают одно и то же. Если вы ищете фразу [
проявка фото в кофе
], то Google должен понимать, что даже если на странице употребляется слово "фотография", а не "фото", эта страница все равно является результатом поиска. Хотя любой ребенок понимает, что слова "фотография" и "фото" — синонимы, научить этому компьютерную программу крайне трудно. Именно поэтому мы по праву гордимся системой подбора синонимов, разработанной в Google.
Наша система подбора синонимов является результатом более чем пятилетней работы команды качества поиска Google. Мы постоянно контролируем качество работы системы, но недавно мы отдельно проанализировали влияние подбора синонимов на результаты поиска. Возможно, вы обычно и не замечаете, что при поиске используются синонимы, — все это происходит в недрах поисковой машины. Однако, как показывают проделанные нами измерения, синонимы влияют на выполнение 70% поисковых запросов, осуществляемых на сотне языков, поддерживаемых Google. Мы выбрали такие запросы и проанализировали, насколько точно были подобраны синонимы. Результаты нас порадовали. На каждые 50 запросов, для которых использование синонимов существенно улучшало результаты поиска, только в одном случае наблюдался отрицательный эффект.
Пример плохого подбора синонима — поиск [
dell system speaker driver precision 360
]. В данном случае Google считает, что "pc" (ПК, персональный компьютер) является синонимом слова precision (точность). Мы знаем, что это плохой синоним, — и такие вещи иногда встречаются в результатах Google, — однако мы предпочитаем не исправлять их вручную. Вместо этого мы стараемся постоянно улучшать наши алгоритмы, чтобы добиться комплексного решения таких проблем. Мы надеемся, что в ходе дальнейших доработок мы добьемся корректной обработки и этого запроса.
Кроме того, с недавнего времени мы используем новый способ отображения синонимов в результатах поиска — в виде жирного шрифта. Сначала мы выделяли различные формы одного и того же слова. Например, для поиска, содержащего слово "картинки" мы выделяли слово "картинка". Теперь мы также выделяем слова, которые, с точки зрения наших алгоритмов, с высокой степенью достоверности совпадают по значению с исходным словом. При этом написание слов может отличаться. Теперь вы понимаете, почему результат может быть показан даже в том случае, когда он не содержит слов вашего запроса. В нашем примере [
проявка фото в кофе
] вы видите, что в описании первого результата слово "фотографии" выделено жирным:
Заметим, что поскольку использование синонимов зависит от многих факторов, — в частности от наличия других слов в вашем запросе, — вы не обязательно увидите выделенное слово "фотографии" в поиске, содержащем слово "фото". Целесообразность выделения синонимов определяется нашими поисковыми алгоритмами.
Для обнаружения синонимов мы используем большое количество методик, и мы
писали об этом в нашем блоге
. Наши системы анализируют петабайты документов, доступных в сети, а также данные по истории поиска. На основании этой информации формируется тонкое понимание смысла слов в различных контекстах. В приведенном выше примере "фото" и "фотографии" — это очевидные синонимы. Но синонимы не всегда являются взаимозаменяемыми. Например, несмотря на то что "блюдо" это одно из синонимов слова "тарелка", поисковая система должна понимать что "летающая тарелка" является вполне осмысленным запросом, а сочетание "летающее блюдо" более напоминает о сцене в ресторане, чем об НЛО.
Еще один пример — это аббревиатура "ГТО". Любой автомобилист знает что это сокращение означает: "Государственный технический осмотр транспортных средств". В случае запроса [
правила прохождения гто
] Google выделит в результатах поиска фразу "Государственный технический осмотр". Это показывает, что в данном случае "Государственный технический осмотр" означает то же самое, что и ГТО. Есть ли еще значения у этой аббревиатуры? Многие вспомнят, что ГТО означает еще "Готов к труду и обороне" - программа физкультурной подготовки, существовавшая в нашей стране с 1931 по 1991 год. Это словосочетание будет выделено в результатах, содержащих виды упражнений и нормативы комплекса ГТО. Например, запрос [
гто СССР
] вернет документы рассказывающие об истории этой программы, а также информацию о нормативах и упражнениях входящих в комплекс ГТО. Помимо этого, ГТО может обозначать "гаражно-техническое объединение", для любого знатока аниме, ГТО это сериал Great Teacher Onizuka.
Ниже на скриншотах показаны результаты запросов с различным значением аббревиатуры ГТО:
Кстати, даже такие очевидные варианты слова, как "фотография" и "фотографии" (единственное и множественное число), обычным компьютером будут восприниматься как разные условия поиска. Поэтому мы также включаем такие вариации в нашу систему подбора синонимов. Слова "фотография" и "фотографии" — это однокоренные слова, формы одного и того же слова. Система, понимающая, что "фотография" и "фото" — это одно и то же, должна понимать также, что "фотография" и "фотографии" — формы одного и того же слова. Это совсем очевидно для человека, но компьютеру не так-то просто это понять. Еще один пример — слова "животное" и "живот", которые имеют одинаковый корень и сходную этимологию, но означают совсем разные вещи. Другой пример — это использование слов "право" и "права". "Право" — это не только регулятор общественных отношений или совокупность законодательных норм, но и антоним слова "лево". А в множественном числе слово "права" означают и желанный документ, разрешающий управление автомобилем. Соответственно, запросы [
получить право
] и [
получить права
] имеют совсем разный смысл. Поиск Google достаточно умен для того, чтобы отличить одно выражение от другого, т.е. он знает, что "право" и "права" — это опасные синонимы, и их использование может привести к искажению смысла. Именно такие тонкие различия между словами, только кажущимися родственными, и затрудняют понимание правильного употребления синонимов.
Вот еще несколько примеров использования синонимов, которые, по нашему мнению, будут для вас интересны:
[
концерты в спб 2010
] "Санкт Петербург" выделен жирным как синоним "спб"
[
пользователи жж
] жирным выделены "Живой Журнал", а также английское название ресурса "LiveJournal"
[
клуб квн
] "Клуб Веселых и Находчивых" выделен жирным как синоним сокращения "квн"
[
институт маи
] "маи" расшифровывается как "Московский авиационный институт"
[
академия маи
] ну, а в этом случае мы считаем что "маи" это "Международная академия информатизации"
Разумеется, сложность и разнообразие языка, используемого современной человеческой культурой, неисчерпаемы. Поэтому наши сегодняшние алгоритмы иногда ошибаются. Нам становится досадно, когда мы обнаруживаем такие ошибки, но мы постоянно работаем над их устранением. Чтобы лучше справляться с проблемами, мы уделяем большое внимание откликам реальных пользователей Google. Они вдохновляют нас на улучшение наших компьютерных программ. Если у вас есть конкретные замечания по работе нашей системы подбора синонимов, вы можете задать вопрос в справочном форуме веб-поиска или создать сообщение в twitter с тегом #googlesyns. Также вы можете отключить поиск по синонимам конкретного слова, если поставите перед ним "+" или заключите слово в кавычки.
Ярлыки
#10летYouTube
#10YearsOfYouTube
#1апреля #сюрприз #пасхалка #gmail #googlemaps #Покемоны #селфи #фотобомба #google+
#2014
#2015
#360degree
#360video
#3D
#8марта
#Авиабилеты
#автокреатив
#Академия культуры
#аккаунт Google #защита данных
#Амазонка
#амедиатека
#анимация
#АнитаБорг
#Арт-проект
#Африка
#балет
#безопасность
#бизнес
#блогеры
#Большой театр
#Бразилия
#вебмастер
#ВеликаяПобеда
#Венеция
#видео
#ВКонтакте
#ВОВ
#выставка
#газеты
#Галапогосы
#Галерея Google Карт
#Год в Поиске
#ГодЛитературы
#Грант
#Гренландия
#День святого Валентина
#ДеньПобеды
#дудл
#Дудл для Google
#женщины
#живаяпамять
#Живое издание
#журналы
#Заметки
#Земфира
#игра
#Изобретения
#интервью
#Интернет-магазин Chrome
#Иордания
#искусство
#исследование
#Камчатка
#Каренина
#карты
#Кения
#класс
#Климт
#Кодабра
#коллаж
#Конкурс
#Конференция
#космос
#Красноярск
#культура
#литература
#Мандела
#маршруты
#МегаФон
#Мои Карты
#мойаккаунт
#Мосфильм
#музыка
#МХТ
#Наука
#Неделя Комедий
#Непал
#Новосибирск
#Новый Год
#обновления
#Образование
#образовательные проекты
#общественный транспорт
#опера
#Оскар
#официальное заявление
#Пакистан
#панорамы
#Переводчик
#Петра
#пиратство
#ПисьмаФронта
#плейлист
#Плисецкая
#победа70
#поиск
#Поиск по картинкам
#Пользовательские Карты
#понятный интернет
#популярное
#поцелуй
#почта
#Праздник
#приложения
#пробки
#Просмотр
#Просмотр Улиц
#ПросмотрУлиц
#Пушкин
#реклама
#РКС
#С Новым Годом
#сайт
#Самбуру
#свобода
#Сибирь
#слоны
#сновавшколу
#Сообщество
#социальный проект
#Сочи
#спасибо2014
#статистика
#стипендия
#театр
#темы
#Толстой
#трекер
#тренды
#тролльдваноль #МТgoogle #ПиратскиеКопии
#ФестивальПобеды
#финалисты
#фото
#фотография
#Футбол
#Хакатон
#Хоббит
#Холокост
#хэллоуин
#Цифровое поколение
#Цифровое поколение #digitalgeneration
#чайка
#чат
#черепахи
#Чехов
#чехов_жив
#ЧеховЖив
#ЧМ2014
#чтения
#школа
#ЮАР
#язык
#Ad
#Ads
#AdWords
#Africa
#AMP
#Android
#AndroidAuto
#AndroidM
#AndroidOne
#AndroidPay
#AndroidTV
#AndroidWear
#Apps4all #Moscowappcontest13 #Android #Developers #Конкурс приложений
#Arcade Fire
#art
#Art Project
#artcopyandcode
#backtoschool
#barbican
#Blogger
#Brazil
#Brillo
#bublcam
#camera
#Cardboard
#cards
#CDZA
#chat
#chehovlive
#chekhovlive
#chrome
#Chrome Эксперименты
#Chrome Experiments
#Chromebook
#Chromebooks
#Chromecast
#ChromeExp
#code
#ComedyWeek
#Conference
#Cultural Institute
#CulturalInstitute
#d4gru
#devart
#developers
#digital art
#digitalgeneration
#DNI
#doodle
#doodle4google
#earth outreach
#education
#Eminem
#emoji
#exhibition
#firefox
#fisheye
#FlightSearch
#galaxy
#galaxyA
#gif
#Girls20
#Gmail
#Goоgle Keep
#Goggles
#Google
#Google Диск
#Google Карты
#Google Переводчик
#Google Поиск
#Google Art Project
#Google Chrome
#Google Cultural Institute
#Google Developer Day
#Google Maps
#Google Maps Engine
#Google MapsGL
#Google Now
#Google Photo
#Google Play
#Google Play Пресса
#Google Play Music
#Google Science Fair
#Google Search App
#Google Translate
#Google[x]
#Google+
#Google+ Истории
#Google+ Stories
#GoogleФото
#googleartproject
#GoogleClassroom
#GoogleCulturalInstitute
#GoogleDocs
#GoogleExpiditions
#GoogleForm
#googleforward
#googlemaps
#GoogleNow
#GoogleOpenGallery
#GooglePhoto
#GooglePhotos
#googleplay
#googleplaymusic
#googlerussia
#googlesciencefair
#GoogleSearch
#GoogleSheets
#googletranslate
#googletrends
#googlevpered
#googlevpered #vperedwithgoogle
#GR
#Ground Truth
#GSF
#GSF14
#gsf15
#GSF2014
#GSF2015
#halloween
#Hangouts
#HappyBirthdayYouTube
#HOA
#Hobbit
#I/O
#inbox
#io14
#io15
#iOS
#ipad
#IT
#Jason Schwartzman
#Jump
#kareninalive
#Kenya
#kodak
#kosmos
#kosmosdoodle
#Lady Gaga
#LEGO
#Lindsey Stirling
#literature
#live
#Lollipop
#MapMaker
#maps
#mobile
#mobilefriendly
#Motorola
#music
#Nexus
#nike
#offline
#Ok Google
#okgoogle
#okrussia
#pacman
#PACMaps
#panorama
#Photo
#projectzero
#Puls
#RISE
#RISEawards
#safari
#safe
#safebrowsing
#Samburu
#samsung
#SantaTracker
#science
#sciencefair
#space
#spaceexploration
#Spell Up
#Spike Jonze
#staynet
#staysafe
#StepOnStage
#streetart
#streetartproject
#StreetView
#SummerTime
#tcsummit2013
#TheHobbit
#Tolstoy
#top
#Top Contributors
#tophit
#trends
#twitter
#video
#videoppl
#Visual Search
#vkontakte
#vperedwithgoogle
#VR
#Weave
#web speech api
#WebGL
#WorldCup
#Year in Search
#YouTube
#youtube #YouTube Music Awards
#YouTube Rewind
#YouTubeforArtists
#YouTubeMusicAwards
#YouTubeRewind
#ytcreators
#YTMA
#ytma #youtube #musicaward #YouTube Music Award
#Zeitgeist
#Zeitgeist2013
выскажи свое мнение
голосовой поиск
Гринпис
изменение климата
интерфейс
картинки
Карты Google
качество поиска
конференция
кс15
Лох-Несс
любимые места знаменитостей
МАКС 2007
Маркет
МГУ
мошенничество
Новости
Образование
Общественный транспорт
Переводчик
Поиск
поиск по картинкам
пробки
Сниппеты
спутниковые снимки
Android
api
chrome
climate change
cop15
CSE
Custom Search Engine
developer
GCD07
gdd
Google Блоги
Google AdSense
Google Maps
Google Sites
Google Street View
Greenpeace
raise your voice
Tech Talks
techtalk
wave
youtube
Архив
Архив
февраля 2022 ( 5 )
января 2022 ( 1 )
декабря 2021 ( 5 )
ноября 2021 ( 3 )
октября 2021 ( 4 )
сентября 2021 ( 3 )
августа 2021 ( 6 )
июля 2021 ( 4 )
июня 2021 ( 3 )
мая 2021 ( 3 )
апреля 2021 ( 2 )
марта 2021 ( 2 )
февраля 2021 ( 5 )
января 2021 ( 1 )
декабря 2020 ( 5 )
ноября 2020 ( 4 )
октября 2020 ( 6 )
сентября 2020 ( 4 )
августа 2020 ( 3 )
июля 2020 ( 3 )
июня 2020 ( 5 )
мая 2020 ( 2 )
апреля 2020 ( 10 )
марта 2020 ( 7 )
февраля 2020 ( 6 )
января 2020 ( 1 )
декабря 2019 ( 3 )
ноября 2019 ( 3 )
октября 2019 ( 1 )
сентября 2019 ( 3 )
августа 2019 ( 3 )
июля 2019 ( 7 )
июня 2019 ( 1 )
мая 2019 ( 3 )
апреля 2019 ( 3 )
марта 2019 ( 3 )
февраля 2019 ( 2 )
января 2019 ( 1 )
декабря 2018 ( 6 )
ноября 2018 ( 5 )
октября 2018 ( 4 )
сентября 2018 ( 4 )
августа 2018 ( 4 )
июля 2018 ( 4 )
июня 2018 ( 8 )
мая 2018 ( 3 )
апреля 2018 ( 3 )
марта 2018 ( 2 )
февраля 2018 ( 5 )
января 2018 ( 4 )
декабря 2017 ( 5 )
ноября 2017 ( 6 )
октября 2017 ( 5 )
сентября 2017 ( 4 )
августа 2017 ( 6 )
июля 2017 ( 5 )
июня 2017 ( 4 )
мая 2017 ( 3 )
апреля 2017 ( 3 )
марта 2017 ( 5 )
февраля 2017 ( 8 )
января 2017 ( 1 )
декабря 2016 ( 3 )
ноября 2016 ( 10 )
октября 2016 ( 4 )
сентября 2016 ( 8 )
августа 2016 ( 3 )
июля 2016 ( 7 )
июня 2016 ( 2 )
мая 2016 ( 5 )
апреля 2016 ( 6 )
марта 2016 ( 4 )
февраля 2016 ( 5 )
января 2016 ( 3 )
декабря 2015 ( 9 )
ноября 2015 ( 7 )
октября 2015 ( 4 )
сентября 2015 ( 7 )
августа 2015 ( 5 )
июля 2015 ( 3 )
июня 2015 ( 8 )
мая 2015 ( 3 )
апреля 2015 ( 9 )
марта 2015 ( 10 )
февраля 2015 ( 11 )
января 2015 ( 3 )
декабря 2014 ( 10 )
ноября 2014 ( 5 )
октября 2014 ( 8 )
сентября 2014 ( 11 )
августа 2014 ( 9 )
июля 2014 ( 3 )
июня 2014 ( 9 )
мая 2014 ( 5 )
апреля 2014 ( 6 )
марта 2014 ( 3 )
февраля 2014 ( 7 )
января 2014 ( 5 )
декабря 2013 ( 10 )
ноября 2013 ( 9 )
октября 2013 ( 9 )
сентября 2013 ( 7 )
августа 2013 ( 7 )
июля 2013 ( 5 )
июня 2013 ( 10 )
мая 2013 ( 11 )
апреля 2013 ( 12 )
марта 2013 ( 9 )
февраля 2013 ( 5 )
января 2013 ( 5 )
декабря 2012 ( 13 )
ноября 2012 ( 9 )
октября 2012 ( 11 )
сентября 2012 ( 10 )
августа 2012 ( 4 )
июля 2012 ( 8 )
июня 2012 ( 8 )
мая 2012 ( 8 )
апреля 2012 ( 8 )
марта 2012 ( 5 )
февраля 2012 ( 4 )
января 2012 ( 9 )
декабря 2011 ( 7 )
ноября 2011 ( 6 )
октября 2011 ( 14 )
сентября 2011 ( 8 )
августа 2011 ( 6 )
июля 2011 ( 4 )
июня 2011 ( 10 )
мая 2011 ( 12 )
апреля 2011 ( 8 )
марта 2011 ( 5 )
февраля 2011 ( 9 )
января 2011 ( 1 )
декабря 2010 ( 9 )
ноября 2010 ( 4 )
октября 2010 ( 7 )
сентября 2010 ( 13 )
августа 2010 ( 7 )
июля 2010 ( 3 )
июня 2010 ( 8 )
мая 2010 ( 6 )
апреля 2010 ( 3 )
марта 2010 ( 9 )
февраля 2010 ( 9 )
января 2010 ( 7 )
декабря 2009 ( 11 )
ноября 2009 ( 7 )
октября 2009 ( 13 )
сентября 2009 ( 9 )
августа 2009 ( 6 )
июля 2009 ( 9 )
июня 2009 ( 5 )
мая 2009 ( 9 )
апреля 2009 ( 14 )
марта 2009 ( 8 )
февраля 2009 ( 10 )
января 2009 ( 8 )
декабря 2008 ( 4 )
ноября 2008 ( 5 )
октября 2008 ( 3 )
сентября 2008 ( 5 )
августа 2008 ( 4 )
июля 2008 ( 7 )
июня 2008 ( 6 )
апреля 2008 ( 4 )
марта 2008 ( 3 )
февраля 2008 ( 5 )
декабря 2007 ( 5 )
ноября 2007 ( 2 )
октября 2007 ( 5 )
сентября 2007 ( 4 )
августа 2007 ( 3 )
июля 2007 ( 4 )
июня 2007 ( 2 )
мая 2007 ( 1 )
апреля 2007 ( 5 )
марта 2007 ( 3 )
января 2007 ( 2 )
декабря 2006 ( 4 )
ноября 2006 ( 3 )
октября 2006 ( 5 )
сентября 2006 ( 6 )
RSS канал
Блог Google Россия на Habrahabr
Вопрос или пожелание?
Заходите на наш
Справочный форум
и обсуждайте!
