Компания «Яндекс» внедрила технологию, позволяющую алгоритмам поиска по картинкам одновременно анализировать изображение и текст на странице. Как сообщили в пресс-службе компании, нововведение улучшает результаты выдачи в случаях, когда текстовое описание противоречит содержанию картинки.
«Алгоритмы поиска по картинкам "Яндекса" научились одновременно анализировать изображение и текст на странице. Новая технология позволяет улучшить результаты в тех случаях, когда текст в описании картинки противоречит самому изображению», - пояснили в компании.
В основе обновления лежит мультимодальная нейросетевая модель, которая воспринимает изображение целиком: понимает взаимосвязь между элементами, учитывает их контекст и смысл. Ранее алгоритмы обрабатывали картинку и текст по отдельности.
Как рассказали разработчики, инженеры обучили одну большую мультимодальную модель, а затем на её основе собрали несколько компактных версий для разных этапов обработки. Основные вычисления проводятся заранее, поэтому скорость поиска не снижается, ответы по-прежнему приходят в реальном времени.
После запуска обновления доля релевантных изображений в топе поисковой выдачи увеличилась, отметили в компании. Конкретные цифры не раскрываются.
