Тест качества перевода с английского 15-и нейросетей: сравниваем ChatGPT, Gemini, DeepL и других
О ChatGPT и его возможностях слышали уже, наверно, все. Однако бум искусственного интеллекта продолжается, и компании со всего мира сейчас предлагают собственные разработки в этой сфере. Мы решили проверить, насколько хорошо разные современные ИИ умеют переводить с английского на русский.
Методология
Хотя сервисов с функцией перевода сейчас очень много, большинство из них задействуют чужие ИИ-модели. Мы же хотели протестировать именно разные ИИ, поэтому выбирали сервисы от компаний со своими собственными моделями (с некоторыми оговорками).
Также мы встали на место обычного пользователя, которому не нужно регулярно переводить тексты в коммерческих масштабах. Из-за этого мы отфильтровали продукты по открытости для физических лиц и наличию бесплатного тарифа.
Наконец, в подборку не вошли ИИ, доступ к которым чересчур затруднен: например, сайт китайской компании Baichuan требует войти через WeChat или с помощью местного номера телефона. В результате получилось 15 сервисов, как известных, так и не очень:
- ChatGPT от OpenAI
- CiCi от SPRING (SG) PTE. LTD/ByteDance
- Claude от Anthropic
- Copilot от Microsoft
- DeepL от DeepL
- DeepSeek от DeepSeek
- Gemini от Google
- GigaChat от Сбера
- Grok от xAI
- Kimi от Moonshot AI
- Le Chat от Mistral AI
- MiniMax от MiniMax
- Qwen от Alibaba Cloud
- YandexGPT от Яндекса
- Z.ai от Zhipu AI
Для проверки их способностей к переводу мы взяли небольшой отрывок о Таиланде из англоязычной версии Викигида.
| Оригинал на английском | Человеческий перевод |
|---|---|
| Called the «Land of Smiles», Thailand is the heart of the Southeast Asian mainland. It has relatively good infrastructure, with Bangkok being an intercontinental flight hub, and the country is the gateway to the region for most foreign visitors. The country is extremely well developed for tourism, and yet outside the backpacker hubs and expat hangouts, you’ll find an underlying soul, culture and kindness that will leave you with a lifelong and perhaps life-changing impression. Whatever your cup of tea is, they know how to make it in Thailand. | «Страна улыбок» Таиланд лежит в сердце материковой части Юго-Восточной Азии. У него достаточно продвинутая инфраструктура: он открывает ворота в регион для большинства путешественников, а столица Бангкок служит узлом для межконтинентальных перелетов. В Таиланде очень хорошо развит туризм, однако здесь найдется не только набор достопримечательностей и популярные у экспатов места. Эта страна также славится душевностью, культурой и добротой, которые надолго останутся в памяти и даже могут перевернуть ваш мир! Вы убедитесь: Таиланд умеет находить подход к каждому своему гостю. |
Это текст в маркетинговом стиле, описывающий страну для потенциальных туристов. Он выразительный, но не запредельно сложный: опытный переводчик художественной литературы или маркетинговых материалов сможет красиво передать смысл отрывка на русском языке. Однако в оригинале есть «лакмусовая бумажка» — фраза с устойчивым выражением cup of tea.
Cup of tea дословно переводится как «чашка чая», но подразумеваются под этим чьи-либо предпочтения. Обычно ее используют в отрицательных предложениях, например Basketball is not my cup of tea — «Баскетбол мне не нравится».
В нашем отрывке выражение cup of tea использовано, наоборот, в положительном смысле. Дословный перевод части с этой фразой такой: «какую бы чашку чая вы ни любили, в Таиланде умеют ее делать», но общий смысл другой: «в Таиланде обязательно найдется то, что вам по душе».
Выбрав текст, мы отправили каждому ИИ запрос перевести его на русский, не меняя модель по умолчанию. Хотя русский язык поддерживается в интерфейсе не всех сайтов, запрос поняли все.
Ниже мы приводим ответы сервисов и наши комментарии. Надо оговориться, что для таких текстов нет единого правильного варианта перевода — это в определенной мере дело вкуса. Поэтому мы отмечали те моменты, которые наиболее заметны и обосновываются объективно.
Ответы нейросетей и комментарии
1. ChatGPT от OpenAI
посмотреть оригинальный текст и человеческий перевод
Начнем с самого популярного ИИ-сервиса, который не нуждается в представлениях.
В целом текст получился довольно выразительным, хотя без недочетов не обошлось. Например, многие переводчики-люди предпочли бы избежать слова «является» — у него есть бюрократический оттенок, не совсем уместный здесь. С другой стороны, от него иногда сложно уйти, поэтому не будем засчитывать это как полноценную ошибку.
Перевод backpackers как просто «туристы» допустим, хоть и не вполне точен. Однако в этом контексте, в противопоставлении с экспатами, эту деталь можно опустить.
Уже более серьезный промах ИИ допустил в переводе expat hangouts: это не районы, где живут экспаты, а места, где экспаты любят проводить время (вроде баров и прочего). Наконец, на качество и стиль негативно влияет повтор родственных слов, неуклюжая фраза «изменяющее жизнь впечатление» и странноватый перевод последней части с cup of tea.
2. CiCi от SPRING (SG) PTE. LTD/ByteDance
посмотреть оригинальный текст и человеческий перевод
Хотя сам сервис и его разработчик не слишком известны широкой публике, этот ИИ-ассистент связан с крупной китайской компанией ByteDance — создателем TikTok. У ByteDance есть ИИ-сервис Doubao, который предназначен для внутреннего рынка, а CiCi представляет собой его глобальную версию.
Перевод CiCi довольно прямолинейный. В частности, из-за этого сервис допустил много повторов: рядом стоят слова с корнем «тур-», «стран-», три раза употреблено «является». Также ИИ не попытался более естественно перефразировать «изменяющее жизнь впечатление». В последнем предложении сервис правильно понял первую часть, но вторую все же свел к еде — хотя смысл шире.
3. Claude от Anthropic
посмотреть оригинальный текст и человеческий перевод
Claude — ИИ-ассистент от американской компании Anthropic. Он конкурирует с другими ведущими сервисами и доступен в виде веб-сайта.
У Claude получился неуклюжий местами перевод. Прежде всего, этот ИИ игнорирует повторы: родственные слова с корнем «тур-», «стран-», а также «является» и «центр». Помимо этого, переводчик-человек вряд ли написал бы «центр для бэкпекеров», ведь не всем читателям такого текста будет понятна эта фраза. В последнем предложении Claude подкачал, ведь вышло, что «в Таиланде знают, как сделать ваше любимое занятие».
4. Copilot от Microsoft
посмотреть оригинальный текст и человеческий перевод
Этот ИИ интегрирован в продукты Microsoft, но также доступен на отдельном сайте. Надо заметить, что в этом сервисе используются модели от компании OpenAI, которую Microsoft напрямую спонсирует. Однако перевод Copilot сильно отличается от ответа ChatGPT, поэтому такая информация тоже может оказаться полезна при выборе ИИ-сервиса.
Copilot создал очень выразительный текст, однако недочеты там присутствуют. Есть пара базовых ошибок: слово «улыбок» стоило написать с маленькой буквы. Более серьезная проблема в том, что перевод expat как «иностранцы» приводит к искажению значения. Во-первых, из-за их противопоставления с туристами последние стали будто бы местными. Во-вторых, expat — это не любой иностранец, а проживающий за границей постоянно. Кроме того, появилась «искренность», которая отсутствует в источнике.
5. DeepL от DeepL
посмотреть оригинальный текст и человеческий перевод
Сервис DeepL известен как один из самых популярных онлайн-переводчиков. Сейчас и в нем используется ИИ, поэтому он попадает в наш список.
Судя по всему, DeepL не видит текст цельно, а переводит его последовательно. Например, бросается в глаза странный повтор «на всю жизнь». Смысл тоже пострадал: «центр перелетов» подразумевает, что он единственный, однако в оригинале артикль an указывает на то, что он один из многих. В двух местах DeepL чересчур строго следует источнику: это «центр для бэкпекеров» и буквальный перевод предложения с cup of tea.
6. DeepSeek от DeepSeek
Посмотреть оригинальный текст и человеческий перевод
Этот сервис разработан одноименной компанией из Китая. Энтузиасты сравнивали его с моделями ChatGPT из-за похожей эффективности, но меньшей стоимости обучения.
Перевод читается довольно гладко за исключением нескольких моментов. Прежде всего, это уже стандартный для ИИ повтор корня «стран-». Далее DeepSeek решил включить в текст не самое распространенное слово «бэкпекер». Здесь же в текст закралась двусмысленность: из-за расположения фразы «среди бэкпекеров и экспатов» можно подумать, что речь не о местах, популярных у них, а о том, что настоящая душа страны обнаружится среди таких иностранцев. При всем этом сервис правильно понял значение cup of tea и довольно интересно его перевел.
7. Gemini от Google
Посмотреть оригинальный текст и человеческий перевод
Gemini — ИИ-помощник от Google, который присутствует во многих продуктах компании, в том числе поисковой системе. Сам сервис пришел на замену другому чат-боту компании под названием Bard.
У Gemini выделяются повторы: «хорошо развита», «является» и корень «стран-». Этот сервис также использовал слово «бэкпэкер», причем из-за слова «скопление» фраза стала еще непонятнее. Далекий от туризма читатель может подумать, что здесь бэкпэкер — какой-то неодушевленный предмет. Последнее предложение ИИ понял наполовину: он узнал выражение cup of tea, но дальше забыл про это и все равно напрямую связал его с едой.
8. GigaChat от Сбера
Посмотреть оригинальный текст и человеческий перевод
Многие компании связывают свой ИИ с собственными продуктами, и GigaChat здесь не исключение: помимо номера телефона в веб-версию можно войти с помощью Сбер ID через приложение Сбербанк Онлайн.
Сервис то близко придерживается оригинала, то решает от него отойти. Такой подход плохо сказывается на связности. Например, без знания источника непонятно, что местоимение «нее» относится к стране. Также сервис перевел intercontinental как «международный», хотя речь о перелетах между континентами. Наконец, ИИ не смог распознать смысл cup of tea и передал его почти буквально.
9. Grok от xAI
Посмотреть оригинальный текст и человеческий перевод
Этот ИИ тесно связан с социальной сетью X, ранее известной как Твиттер. С прошлого года он стал доступен и как отдельный сайт, который можно использовать без аккаунта в X.
В самом начале ИИ допустил ошибку в согласовании по роду — вместо «называемая» должно быть «называемый». Восприятие текста больше всего портит концовка, ведь Grok не распознал устойчивое выражение cup of tea и решил перевести предложение так, будто речь идет о буквальной чашке чая.
10. Kimi от Moonshot AI
Посмотреть оригинальный текст и человеческий перевод
Kimi — еще один сервис из Китая. Это разработка одного из стартапов в области ИИ, которая продолжает набирать популярность в среде энтузиастов. У сервиса несколько крупных спонсоров, в том числе компания Alibaba Group.
Kimi кое-где отходит от стандартных переводческих решений. Это заметно в переводе слова hub. Во втором предложении «авиацентр» более-менее понятен, но не совсем точен. В следующем предложении фраза «туристические маршруты» очень вольно трактует hubs, но по смыслу вполне подходит. С другой стороны, такое креативное пояснение осложняется «бэкпекерами» и приводит к повтору «тур-». В конце ИИ все же не смог красиво выразить общий смысл, прибегнув к дословному переводу make.
11. Le Chat от Mistral AI
Посмотреть оригинальный текст и человеческий перевод
Название этого сервиса подсказывает его происхождение: это ИИ от французского стартапа. Хотя в описании продукта компания фокусируется на применении в бизнесе, чат-бот доступен и обычным пользователям.
После вполне приемлемого начала во втором предложении появляется искажение смысла во фразе «Бангкок является аэропортом». Прежде всего, город не может быть аэропортом, но вдобавок там не один, а два аэропорта. Финальное предложение тоже получилось неуклюжим из-за дословного перевода make как «сделать».
12. MiniMax от MiniMax
Посмотреть оригинальный текст и человеческий перевод
MiniMax — ИИ от очередного китайского стартапа. Как и в случае с Kimi, эту подающую надежды компанию среди прочих спонсирует Alibaba Group.
В самом начале видно, что ИИ неправильно согласовал «называемая» с Таиландом. Труднее оправдать перевод intercontinental как «международный», ведь значение здесь другое — «межконтинентальный». Кроме того, бросается в глаза повтор трех слов с корнем «тур-» подряд. Вторую часть последнего предложения MiniMax перевел буквально, из-за чего концовка звучит нескладно.
13. Qwen от Alibaba Cloud
Посмотреть оригинальный текст и человеческий перевод
Если у предыдущих китайских ИИ компания Alibaba Group была лишь спонсором, то здесь она выступает в роли разработчика. Также по сравнению с ними этот сервис более известен за пределами страны происхождения.
После неправильного согласования слова «известная» перевод кажется более приемлемым — однако это впечатление обманчиво. Самый серьезный недочет — это опущение слова mainland во фразе «находится в центре Юго-Восточной Азии». Дело в том, что к Юго-Восточной Азии относится также несколько островных государств (Филиппины, Сингапур и прочие), а в такой конфигурации Таиланд оказывается уже не в центре. Завершает список искажений фраза «международные перелеты», поскольку перелеты в оригинале межконтинентальные. С другой стороны, Qwen вполне удачно перевел последнее предложение. Однако этот положительный момент портит ошибка в правописании, ведь там нужна частица «ни» вместо «не».
14. YandexGPT от Яндекса
Посмотреть оригинальный текст и человеческий перевод
Этот русскоязычный ИИ встроен в различные продукты Яндекса, а непосредственно пообщаться с ним можно в чате с Алисой.
YandexGPT выдал самый странный результат из всех ИИ в нашем списке. Вместо того чтобы отправить в качестве ответа перевод целиком, сервис процитировал англоязычный оригинал, причем без знаков препинания и не до конца, а затем перевел только эту незавершенную часть, додумав концовку. Последнее предложение попало в ту часть, о которой ИИ забыл, так что оценить перевод фразы cup of tea здесь не получилось.
15. Z.ai от Zhipu AI
Посмотреть оригинальный текст и человеческий перевод
Завершает наш список снова китайский сервис, который тоже спонсируется Alibaba Group, а также Xiaomi (помимо прочих крупных инвесторов). На местном рынке этот ИИ успел занять почетное место среди лидеров.
В начале сервис допустил ошибку, написав «улыбок» с большой буквы. Прежде всего, это неточный перевод intercontinental: Бангкок не просто международный авиаузел, а межконтинентальный. В плане стиля выделяются «скопление бэкпекеров», которое не всем будет понятно. Как и у других ИИ, больше всего у Z.ai подкачала заключительная часть. Она не только звучит абсурдно, но и далеко ушла от оригинала и его контекста.
Выводы
Тестирование показало, что идеального сервиса для перевода пока не существует: все ИИ продолжают совершать ошибки. Это как простые оплошности вроде неправильного рода слова, так и более серьезные проблемы с искажением смысла. Первый тип ошибок заметит даже человек без знания иностранного языка, а исправить их несложно. Но из-за второго типа использовать такие сервисы нужно с осторожностью — сами разработчики рекомендуют перепроверять ответы. Иногда погрешности в переводе ИИ можно простить, но если важна точность, то лучше обратиться к специалистам.