56

Корректный перевод названий товаров

Июль, 2020 год.

Автоматический нейросетевой перевод с английского названия товаров с Aliexpress для «ВКонтакте».

alt

Какую проблему решали

В социальной сети «ВКонтакте» продаются товары из AliExpress. Увеличение продаж даже на десятую долю процента исчисляется миллионами рублей дополнительной прибыли.

Производители пишут длинное название товара на английском, стараясь сделать максимально широкую SEO адаптацию, чтобы рекомендательные и поисковые системы показали его как можно большему количеству людей.
Прямой перевод этих тегов на русский язык имеет лексические искажения. Это мешает пользователю быстро сориентироваться и принять решение о покупке.
Решение проблемы
Команда «ВКонтакте» создала собственное решение на основе искусственного интеллекта для адаптированного перевода и в течение месяца тестировали его на 4% аудитории.
Модель автоматически переводит набор слов, указанный в названии товара, с английского языка на русский. С помощью суммаризации выделяется основной смысл из массива текста и формулируется корректное название товара всего в два-три слова.
Применяемые технологии

На базе из 1 млн названий с верным переводом обучилась первая модель с архитектурой «Transformer». После этого генерировали по несколько возможных переводов для 10 млн заголовков без разметки.

Полученные данные использовали для обучения новой модели на не размеченных данных при помощи knowledge distillation. Вторая модель получила +4% BLEU score в абсолютных числах.

Бизнес-процесс

До проекта:

  • Длинные некорректные названия товаров.
  • Пользователь ориентируется по картинке товара и цене.
  • Низкая вероятность перехода на карточку товара и совершения покупки.

После проекта:

  • Короткие и названия товаров.
  • Пользователь видит не только картинку и цену, но и название товара.
  • Больше просмотров карточек товаров и покупок.

Результаты

Команда проекта

Мария Болдырева
Менеджер продукта B2C
Даниил Гаврилов
Программист-разработчик
Павел Калайдин
Директор по исследованиям в области искусственно
Евгений Найденышев
Руководитель команды разработки e-commerce
Назар Фазылов
Руководитель команды направления C2C