Разработчик нейросетевых решений «Наносемантика» в качестве технологического партнера сопровождает работы РКК «Энергия» по подготовке создания виртуального (голосового) ассистента космонавта. Целью проекта, помимо отработки технологии создания, является выполнение экспериментальных исследований влияния условий космического полета на эффективность технологий распознавания и идентификации речи космонавта.
Потребность в голосовом виртуальном ассистенте на борту международной космической станции (МКС) обусловлена существенной нагрузкой на зрительный анализатор в ходе выполнения космонавтом полетной программы, а также большим объемом используемой на борту информации.
Ассистент предоставляет космонавту удобный интерфейс для доступа к различным информационным материалам, документации и базам данных. Более того, в условиях сенсорной депривации и монотонности использование космонавтом аудиальной информации по запросу может составлять существенный резерв психологической поддержки. Также голосовой виртуальный ассистент незаменим в критических ситуациях автономной работы, когда отсутствует связь с центром управления или когда передача информации по аудиоканалу является единственно возможным вариантом для коммуникационной поддержки (в темноте, в условиях иммобилизации, т.д.).
Программное обеспечение ассистента создается на базе отечественной информационной системы для разработки интеллектуальных виртуальных ассистентов Dialog Operating System (DialogOS). Данная платформа от «Наносемантики» включает в себя всю необходимую функциональность для создания и обучения диалоговых роботов с возможностью коммуникации с пользователем в различных текстовых и голосовых каналах.
Демонстрационный виртуальный ассистент «Лучик» способен вести разговор с космонавтом на различные темы (в том числе, в голосовом канале), логировать и сохранять аудио-ответы космонавта для последующей их отправки на Землю для изучения и анализа. Также в ассистенте реализован базовый навык по теме «логистика и инвентаризация». В условиях ограниченного объёма космических станций и сложных систем хранения инвентаризация и поиск вещей на МКС являются актуальными задачами. Среди других тем взаимодействия космонавта с ассистентом: планы работ, бортовые инструкции, управление операциями, психологическая поддержка[1].
Дополнительной задачей стало исследование влияния условий космического полета (микрогравитация, зашумленность, ограниченное пространство, автономность) на эффективность технологий распознавания и идентификации речи космонавта. В тренажерах специальных модулей выполнялось включение бортовых приборов для моделирования возможной шумовой обстановки, на фоне которой выполнялись сеансы разговора оператора с голосовым ассистентом «Лучиком» (с аудиозаписью на диск ноутбука).
Получение текстовых транскрипций из аудиофайлов с использованием системы автоматического распознавания речи ASR (Automatic Speech Recognition) реализовано со следующими показателями. CER (Character Error Rate) – процент ошибок (отличий от оригинала) на уровне символов в распознанном тексте – составляет 2,66%. WER (Word Error Rate) – процент ошибок (отличий от оригинала) на уровне слов в распознанном тексте – составляет 9,7%. Даже при наличии шума и изменчивости громкости речи ASR продемонстрировала достаточно высокую точность распознавания как символов, так и слов, что показывает приемлемость ее практического использования на борту российского сегмента МКС.
«Мы очень вдохновлены данным проектом и одновременно чувствуем огромную ответственность, ведь к космическим разработкам нашей страны приковано особое внимание», ‒ комментирует Станислав Ашманов, генеральный директор ГК «Наносемантика». «DialogOS – это проверенная годами платформа, успешно работающая у множества наших клиентов и у миллионов их пользователей. Мы постоянно совершенствуем её, поэтому она является надежной системой для реализации первого космического голосового помощника. Но до завершения еще предстоит пройти долгий путь: технологии распознавания и синтеза речи продолжают проходить тестирование, совершенствуется база знаний ассистента, и разработчики проверяют различные сценарии его взаимодействия с космонавтами».
В настоящее время выполнена оценка работоспособности платформы DialogOS и ассистента «Лучика» на бортовых вычислительных средствах российского сегмента Международной космической станции, выполняется тестирование диалоговых схем и дальнейшее формирование базы знаний ассистента[2].
[1] Д.Н.Рулев, С.И.Ашманов. Подход к разработке программного обеспечения виртуального ассистента космонавта. Современные проблемы ракетной и космической техники, сборник статей 2023.
[2] Рулев Д.Н, Ашманов С.И., Крайнов В.С., Попова Е.В., Умнова Л.А. Оценка функционирования программного обеспечения голосового ассистента космонавта. Пилотируемые полеты в космос. Сборник материалов 15 международной научно-практической конференции, Звездный городок, 2023.
