Велкам, BERT: новейший алгоритм поиска Google для понимания естественного языка¹

Что такое BERT? Это основанная на нейронной сети технология Google для обработки естественного языка (Natural language processing, NLP). BERT расшифровывается как Bidirectional Encoder Representations from Transformers («Двунаправленная нейронная сеть кодировщик²»).

BERT повлияет на один из десяти поисковых запросов. Это самое большое изменение в поиске Google с того момента как почти пять лет назад был выпущен RankBrain. Новый алгоритм начали выкатывать с 21 октября 2019, и вскоре обновление будет полностью в силе. По состоянию на 25.10.2019 алгоритм затронул языковые запросы на английском, в скором времени будет применяться и для других языков.

Нововведение повлияет на блоки с ответами

Google заявил, что BERT будет использоваться глобально на всех языках в блоках с ответами.

Блоки с ответами (featured snippets) — это относительно новая поисковая функция от Google, позволяющая пользователям получать готовые ответы на вопросы. Блоки с ответами ранжируются на так называемой нулевой позиции — в самом верху органической поисковой выдачи.³

В 2018 году открытый код модели архитектуры был опубликован на TensorFlow и описан в блоге Google AI. В общих чертах, BERT может помочь компьютерам понять язык так, как он понимается людьми.

В каких случаях используется BERT? По словам представителей Google, этот алгоритм помогает лучше понять нюансы и контекст слов в поиске и улучшает процесс сопоставления запросов с более релевантными результатами. Работа алгоритма также повлияет на блоки с ответами, как было сказано выше.

Например, в запросе «2019 brazil traveler to usa need a visa» («2019 бразилия путешественник в сша нужна виза») предлог to («в») и его отношение к другим словам очень важны для понимания смысла запроса. Ранее Google не понял бы важности этой связи и показал результаты об американских гражданах, которые решили отправиться в Бразилию. С BERT поиск способен учесть этот нюанс и понять, что предлог «в» на самом деле имеет значение. Это позволит выдать намного более релевантный результат для этого запроса.

Примечание: примеры даны в иллюстративных целях и могут не соответствовать реальным результатам поиска.

RankBrain не умер

RankBrain от Google — первый пример внедрения технологий искусственного интеллекта для понимания поисковых запросов, реализованный в 2015 году. Он учитывает и формулировку запроса, и содержание веб-страниц в индексе Google, что позволяет лучше понять значения слов. BERT не заменяет RankBrain, он лишь является еще одним методом для понимания контента и вопросов, последним дополнением к системе рейтинга Google. Более того, RankBrain все еще может использоваться для ответов на некоторые вопросы. Но когда Google думает, что вопрос может быть лучше понят с помощью BERT, ПС будет использовать его.

Представители Google поясняют, что есть много способов дать ПС понять особенности языка запроса и влияние этих особенностей на контент в индексе. Сейчас системы исправления правописания в Google корректируют запросы, написанные с ошибками, в других раскладках или с опечатками, а также запросы-синонимы. Таким же образом BERT поможет понять контекст и смысл длинных запросов.

Можно ли сделать SEO-оптимизацию под BERT?

Это маловероятно. Представители Google уже заявили, что SEO, не ставящее целью создание контента для пользователя, не может реально повлиять на RankBrain⁵. Это значит, что Google работает над улучшением понимания синтаксиса естественного языка. Просто создавайте контент для пользователей, как вы всегда и делаете ;)

Журналист, сооснователь Search Engine Land Дэнни Салливан:

BERT против органики

Новости от 13.11.2019: судя по последним тестам алгоритма Google, рассматривается возможность прямого влияния BERT на органическую поисковую выдачу.

Тестирование пока проводится только на английском языке на территории США (в рамках общего внедрения BERT) и только по некоторым кластерам запросов, поэтому выводы делать преждевременно. Логика такого ранжирования несколько противоречит философии награждения качественного контента, хотя бы по той причине, что отсутствие веб-страницы в выдаче вне блока ответов может снизить показатель посещаемости (ту самую награду) для релевантного сайта.

Почему BERT важен для SEO? Мифы о поисковом алгоритме Google⁷

Сразу после анонса алгоритма многие SEO-специалисты на Западе заявили о своей экспертности в области обработки естественного языка с помощью нейронных сетей. В ходе бурных обсуждений темы апдейта появилось несколько мифов об оптимизации сайта под Google.

Миф №1. После внедрения BERT, необходимо оптимизировать сайт под длинные запросы

Суть обновления не в том, что все продвигаемые запросы должны быть как можно более подробными. BERT в первую очередь оценивает запрос с точки зрения естественного языка (значения запроса) и только потом проводит сопоставление сути запроса с вашим контентом.

Миф №2. BERT не окажет особого влияния на выдачу

Некоторые продвигают идею о том, что этот алгоритм не особенно важен. Тем не менее представители Google официально заявляют, что это обновление затрагивает один из десяти поисковых запросов на английском языке в Соединенных Штатах Америки (пока что только там). Десять процентов — это значительное количество ключей.

Почему некоторые думают, что это обновление не окажет влияния на выдачу? Такое представление могло возникнуть из-за того, что алгоритм затронул главным образом длинные запросы, а не фразы, состоящие из двух-трех слов.

Основной эффект обновления заключается в том, что больше трафика направляется на нужные (полезные с точки зрения контекста естественного языка) страницы, без встряски всех ключевиков.

Еще один факт в пользу значимости обновления: по словам заместителя главного редактора «Нью-Йорк Таймс», 29 октября сайт издания потерял поисковый трафик.⁸

Миф №3. BERT делает стоп-слова важными

Пример Google, наглядно демонстрирующий, как по-новому интерпретируются предлоги to и from, может заставить ошибочно думать, что при ранжировании теперь учитывается их использование. Как было сказано ранее, обновление — это дополнительный метод понимания общего синтаксиса и смысловой релевантности контента запросу. Алгоритм учитывает не синтаксис и структуру запроса, а его смысл, на который в том числе влияет употребление стоп-слов.

1. Основной источник - https://searchengineland.com/welcome-bert-google-artificial-intelligence-for-understanding-search-queries-323976
2. Источник - https://ru.megaindex.com/blog/google-bert
3. Источник - https://www.searchengines.ru/featured-snip.html
4. Источник - https://tproger.ru/news/google-ai-bert-method/
5. Источник - https://www.seroundtable.com/google-optimizing-for-rankbrain-same-users-28303.html
6. Источник - https://www.searchengines.ru/google-drop.html
7. Источник - https://www.searchenginejournal.com/google-bert-misinformation/332931/
8. Источник - https://www.seroundtable.com/nytimes-google-bert-28451.html