Можно ли доверить ChatGPT перевод ваших текстов: тестируем на конкретных примерах

В последние годы искусственный интеллект ворвался во многие отрасли, и переводы не стали исключением. Раньше, когда онлайн-переводчики хорошо справлялись только с простыми текстами, для получения качественного перевода нужно было обратиться к специалисту-человеку. Однако мощные нейронные сети, такие как ChatGPT, изменили ситуацию — теперь многие сомневаются, нужны ли им вообще услуги бюро переводов или частных переводчиков. Чтобы развеять эти сомнения, протестируем ChatGPT.

Мы рассмотрим три распространенных сценария, с которыми сталкиваются обычно наши клиенты: перевод личных документов, перевод обычного текста и перевод рекламных материалов вроде каталога. Перевод будем делать с русского на английский, аккаунт в ChatGPT бесплатный (модели 3.5 и 4o), язык аккаунта определяется автоматически либо задан русский. Для скриншотов используем расширение Save ChatGPT as PDF и встроенную утилиту Windows. Некоторые результаты перевода прокомментирует наш менеджер проектов Екатерина Гайдадым.

Перевод документов

Начнем со стандартной задачи: переведем на английский личный документ на русском — в нашем случае это аттестат с приложением. Большинство таких документов выдается в бумажном виде, поэтому для перевода документ нужно сфотографировать или отсканировать. Мы будем использовать фотографии, ведь сканер есть под рукой не всегда.

Исходник «корочки» аттестата для тестирования
Оригинал аттестата для тестирования ChatGPT
Исходник приложения аттестата для тестирования
Приложения аттестата для тестирования ChatGPT

Если просто загрузить изображение документа в ChatGPT и попросить его сделать перевод на английский, получим неоднозначный результат.

Загрузили снимок «корочки» аттестата в ChatGPT и попросили перевести
Скриншот: просим ChatGPT перевести аттестат
Сообщение от ChatGPT: «Конечно, я могу перевести документ для вас. Вот перевод:»
Скриншот: перевод аттестата с помощью ChatGPT

ChatGPT отошел от общепринятых формулировок: взял «This certificate certifies» вместо «This is to certify», «completed» вместо «finished» или «graduated from». При этом ИИ постарался сделать перевод максимально понятным: он дополнил номер документа пометкой «Serial number:» («Серийный номер:»), которой нет в оригинале. Однако такой избыточный текст может стать проблемой, если перевод делается для юридических целей (заверения у нотариуса и тому подобное).

Здесь даже можно отметить, что ChatGPT не просто отошел от общепринятых формулировок, а решил делать максимально дословно.

В целом, про перевод такого личного документа можно сказать, что нейронка не учитывает лексическую сочетаемость. Потому что образовательное заведение люди в английском все-таки finish, а не complete, и литература переводится как national, а не native.

Вывод: личные документы вроде аттестата, диплома, российских водительских прав и других переводчикам быстрее и проще делать в уже готовом шаблоне, чем потом исправлять результат работы ChatGPT и обрисовывать заново все «красивости».

Екатерина Гайдадым переводчик, менеджер проектов

Кроме того, обычно перевод документов должен быть оформлен примерно как оригинал (чтобы исходник и перевод было проще сравнивать сотрудникам учреждений, в которые подают перевод). Попросим ChatGPT сохранить форматирование.

Посмотрев на результат работы, делаем вывод: у нейросети не получилось повторить форматирование оригинала:

Скриншот: попросили ChatGPT сохранить форматирование в переводе аттестата

Также в обоих запросах сервис проигнорировал печать. Отдельно попросим перевести её.

Скриншот: перевод печати в аттестате с помощью ChatGPT

ChatGPT перевел текст лишь частично — например, он пропустил номер ОГРН. Качество фотографии не слишком высокое, поэтому неудивительно, что ИИ не смог разобрать все, что написано на печати. Однако при этом сервис никак не упомянул об опущении нечитаемого текста.

Попробуем перевести остальную часть аттестата. Тут же натыкаемся на ошибку: мы внезапно достигли лимита на загрузку файлов, хотя до этого в процессе тестирования было загружено лишь 2—3 документа (каждый размером до 1 мегабайта) в другие чаты. Оказывается, лимит на количество загрузок в бесплатном аккаунте может наступить довольно внезапно, несмотря на официально указанное ограничение в 20 файлов на чат и 512 мегабайт на файл. Придется подождать до завтра или же создать другой аккаунт и повторить запрос там.

Оповещение от ChatGPT: «Обновитесь до ChatGPT Plus или повторите попытку завтра после 16:56»
Скриншот: оповещение о лимите по работе с картинками в ChatGPT

Итак, на следующий день мы попробовали снова перевести приложение аттестата в ChatGPT. Он не сразу понял, что от него хотят, и вывел таблицу с наименованиями предметов на русском (но и запрос был не конкретный).

Загрузили снимок приложения аттестата в ChatGPT и попросили перевести
Скриншот: просим ChatGPT перевести приложение к аттестату
Сообщение от ChatGPT: «Вот перевод документа, максимально сохраняющий форматирование:»
Скриншот: ChatGPT вывел таблицу приложения аттестата на русском

Однако затем мы получили красиво отформатированный список предметов. ИИ снова решил кое-что добавить от себя, а именно названия столбцов внизу таблицы. Также он допустил серьезную ошибку: вместо пятерок поставил четверки по немецкому и алгебре. Допустим, мы не против вычитать текст вручную, а сейчас просто перенесем его из сервиса. Если воспользоваться встроенной функцией копирования, форматирование изменяется, а также скопируется ненужное нам сообщение вверху.

Предметы и оценки в исходнике приложения аттестата крупным планом
Скриншот: предметы, по которым ChatGPT проставил неверные отметки
Предметы, по которым ChatGPT проставил неверные отметки в переводе
Скриншот: допущенные ошибки в переводе ChatGPT

Но если скопировать текст вручную, появится нужная нам таблица:

Таблица с отметками при переводе аттестата в ChatGPT

Итого: сервису под силу перевод типовых документов, но он вставляет текст, которого нет в оригинале, а при плохом качестве изображения искажает важные детали. Кроме того, форматирования, которое делает ChatGPT, иногда недостаточно.

Возможно, вам будет интересно! Ознакомьтесь с услугой перевода аттестата с русского на английский в нашей компании.

Перевод обычного текста

В этой ситуации у нас есть некий текст, который нужно просто перевести на английский. Возьмем для примера отрывок из инструкции по вязанию. Здесь много специфических терминов, стиль очень разговорный и не слишком соблюдаются правила пунктуации (например, пропущены пробелы).

Исходник текста (инструкции по вязанию) в редактируемом формате
Скриншот: оригинал текста для перевода в ChatGPT
Перевод инструкции по вязанию с помощью ChatGPT
Скриншот: ChatGPT переводит редактируемый текст

Вышеперечисленные особенности оригинала не помешали ИИ качественно его перевести, подобрав верные термины из нужной сферы. В этот раз сервис ничего не добавил от себя, разве что сделал текст более удобочитаемым (разделил на абзацы и тому подобное).

Итого: ChatGPT хорошо переводит достаточно узконаправленные тексты, отправленные в виде простого сообщения.

Возможно, вам будет интересно! Ознакомьтесь с услугой перевода инструкции с русского на английский в нашей компании.

Перевод документа с профессиональным дизайном

При расширении аудитории какого-либо продукта или услуги приходится переводить маркетинговые материалы со сложным оформлением. Проверим, как ChatGPT справляется с такими файлами. В качестве примера у нас страница из каталога в формате PDF. При попытке загрузить файл ChatGPT сразу выдает ошибку: «Не удалось извлечь текст из этого файла».

Исходник каталога в формате PDF на русском
Оригинал каталога на русском для перевода в ChatGPT
Оповещение от ChatGPT: «Не удалось извлечь текст из этого файла».
Скриншот: ошибка на перевод текста с сохранением дизайна в ChatGPT

Сервис не смог распознать текст в PDF-файле, хотя визуально оформление там довольно простое, а текст крупный и четкий. Попробуем другой подход: загрузим тот же документ в формате изображения и заново отправим запрос.

Посылаем каталог на перевод ChatGPT в формате JPEG
Скриншот: посылаем запрос о переводе каталога в ChatGPT
Сообщение от ChatGPT: «Вот перевод документа с сохранением формата дизайна».
Скриншот: перевод каталога с помощью ChatGPT

Перевести конвертированное изображение у сервиса получилось, а сохранить дизайн — уже нет, поэтому в конце он посоветовал воспользоваться каким-либо графическим редактором: «Чтобы сохранить оригинальный дизайн, вы можете наложить этот переведенный текст на изображение с помощью графического программное обеспечение, такого как Adobe Photoshop, Illustrator или аналогичного инструмента. Если вам понадобится дополнительная помощь в этом процессе, пожалуйста, дайте мне знать!». Однако ChatGPT не совсем справился и с переводом.

И снова можно отметить, что ChatGPT грешит дословностью. Конструкцию The length of * is ** meters очень хочется заменить на ** meters long, что более органично для английского языка. По той же причине the displacement хочется заменить на its displacement

Екатерина Гайдадым переводчик, менеджер проектов

Также ChatGPT не распознал аббревиатуру «ДЭЛ» в этом контексте, хотя расшифровка находится буквально на следующей строке — «дизель-электрический ледокол». Вместо этого ИИ взял аббревиатуру «DPL», которая не совпадает с верно переведенным полным термином «diesel-electric icebreaker» во второй строке. Но если отправить текст в виде сообщения, ChatGPT распознает аббревиатуру корректно:

Скриншот: перевод фрагмента из каталога в ChatGPT

Итого: ChatGPT не является дизайн-сервисом, поэтому не может вернуть переведенный документ, оформленный как оригинал. Также при работе с файлами ИИ не всегда разбирается в контексте, из-за чего допускает ошибки.

Возможно, вам будет интересно! Ознакомьтесь с услугой перевода каталогов с русского на английский в нашей компании.

Выводы

В целом, ChatGPT хорошо справляется с переводом, хотя в сложных случаях иногда что-то пропускает, добавляет или ошибается. Этот сервис не имеет продвинутых функций для работы с изображениями и PDF, поэтому не может заменить текст оригинала на перевод в загружаемых файлах или полностью воспроизвести их оформление. Еще одна особенность: несмотря на выставленный в настройках русский язык, сервис перескакивает на английский как в самом чате, так и в интерфейсе, что затрудняет его использование для людей, не знающих этого языка.

Если вам нужно перевести обычный текст, который вы можете скопировать и вставить, ChatGPT прекрасно подойдет в большинстве случаев. Однако при работе с файлами делегировать весь процесс искусственному интеллекту не удастся — придется доработать или перепроверить результат самостоятельно или поручить это специалистам.