PROMT принимает участие в Covid-19 MLIA Eval – европейском проекте, нацеленном на обобщение источников информации, связанной с пандемией коронавируса, на разных языках. В рамках проекта измеряется качество машинного перевода, и машинный перевод PROMT получил самые высокие баллы в первом раунде.
Covid-19 MLIA Eval – проект, организованный Европейской Комиссией, ELRC (European Language Resources Coordination), ELRA (European Language Resources Association), CLARIN (Европейская исследовательская инфраструктура для языковых ресурсов и технологий) и CLEF Initiative. Как отмечается на сайте проекта, главная задача – сделать информацию, связанную с Covid-19, доступной на разных языках, чтобы каждый человек мог получить достоверные сведения из разных источников.
В рамках проекта проводится оценка систем машинного перевода, представленных разработчиками из разных стран. Covid-19 MLIA Eval состоит из 3-х раундов, в каждом из которых оценивается качество машинного перевода по разным языковым направлениям. В первом раунде оценивалось качество перевода с английского на испанский, с английского на немецкий, с английского на итальянский, с английского на греческий, с английского на французский и с английского на шведский.
Разработчики могут принять участие с обученными системами (Constrained) – в этом случае данные для обучения предоставляют организаторы, а могут поучаствовать с системами, которые не были натренированы на перевод контента проекта (Unconstrained). С помощью своих систем разработчики переводят предложенный текст – информацию, связанную с пандемией. Результаты оцениваются посредством BLEU score и и ChrF score – метрик, предполагающих сравнение машинного перевода с переводом, выполненным человеком.
Участниками проекта в первом раунде стали разработчики МП-систем со всего мира: специалисты крупных компаний и вузов – таких, как Charles University, Tarjama. Компания PROMT тоже приняла участие, и, по итогам первого раунда, который стартовал 23 октября, одержала победу – машинный перевод с английского на испанский, с английского на итальянский, с английского на греческий, с английского на французский и с английского на шведский набрал самые высокие баллы.
Участие в Covid-19 MLIA Eval координирует Александр Молчанов – руководитель отдела статистического и нейросетевого перевода PROMT. «Мы рады поучаствовать в таком значимом проекте, который поможет людям оперативно получать достоверную информацию, связанную с коронавирусом – с помощью машинного перевода они смогут не только узнавать новости со всего мира, но и, например, изучать свойства лекарств, новых вакцин и методов борьбы с Covid-19. Одержав победу почти во всех направлениях в первом раунде, мы не планируем останавливаться на достигнутом и готовимся к участию во втором раунде», — подчеркнул Александр.
