Компания Яндекс анонсировала новую версию своей технологии перевода текста на изображениях, основанную на нейросетях. Эта передовая разработка позволяет преобразовывать текст с учётом контекста, что особенно актуально для путешественников – например, при интерпретации меню в ресторанах или работая с техническими документами на иностранных языках.

Одним из ключевых усовершенствований является улучшенная визуализация переводов. Текст теперь становится значительно более читабельным и точно отображает оригинальное оформление.

Новая технология убирает исходный текст с изображения и накладывает переведённый, а алгоритмы оптимизируют шрифт, размер и цвет букв для повышения читабельности. Более того, они устраняют недочеты, благодаря чему переведённые изображения выглядят естественно и имеют улучшенный контраст.

В центре обновлённой технологии находится модель YandexGPT, которая нацелена на сохранение стиля оригинала и передачу языковых нюансов. Это особенно важно для таких формулировок, как рекламные слоганы и заголовки, где игры слов могут быть крайне значимыми.

Такой подход обеспечивает более точные и идиоматические переводы, позволяя избежать дословной интерпретации многозначных выражений. В результате качество перевода улучшилось как для лёгких текстов (например, составов косметических средств), так и для более сложных материалов – от статей до инструкций.

Совершенно новая технология уже доступна в Яндекс Переводчике и браузере, а в скором времени появится и в приложении Умная камера.