Автоматический сурдопереводчик – от победителей Imagine Cup

В этом году победителем конкурса Imagine Cup в категории "Разработка программного обеспечения" стала команда из Тайланда, представившая приложение для преобразования речи в язык жестов. Четверым студентам бангкокского Университета Касетсарт удалось обойти в финале состязания шестерых соперников. Для этого молодым программистам пришлось работать по 12 часов в день в течение шести месяцев в условиях политической нестабильности в родной стране.

Необходимым условием выступления на конкурсе Imagine Cup, финансируемом компанией Microsoft, являлось использование платформ разработки ПО от спонсора. Кроме того, представляемый продукт должен был соответствовать хотя бы одной из Целей развития тысячелетия, поставленных ООН: к 2015 году, помимо прочего, организация планирует вдвое сократить масштабы нищеты, остановить распространение СПИДа и обеспечить всеобщее базовое образование.

За первый приз в размере 25 тысяч долларов боролись более 325 тысяч участников из сотни стран. 400 из них попали в финальный тур, где победители в пяти категориях разделили призовой фонд размером в 240 тысяч долларов.

Проект тайской команды под названием EyeFeel представляет собой сочетание технологий распознавания речи, распознавания лиц и анимации языка жестов. Это приложение, предназначенное для людей, имеющих проблемы со слухом, может быть использовано для перевода звучащей речи в режиме реального времени.

Первой проблемой, с которой столкнулись разработчики, стала эффективность использования системных ресурсов. "Чтобы все части приложения работали как единое целое, мы были вынуждены прибегнуть к многопоточной технологии," – сообщают участники команды. Несмотря на это, синхронизировать звуки речи с анимацией и отображением текста оказалось непросто, и при демонстрации наблюдалось существенное запаздывание.

"Справиться с этим очень сложно, – уверяют члены команды. – Нам почти удалось устранить этот эффект, позволив программе автоматически сокращать предложения". В итоге перед обработкой каждое произносимое предложение максимально упрощается с сохранением самого общего смысла. Другое ограничение представленного ПО – поддержка лишь английского языка и американского языка жестов. Реализация проекта на других языках все еще остается труднодостижимой целью, поскольку для этого необходимо разработать отдельный модуль.

На окончательную доработку программы разработчики планируют потратить год, в течение которого будут производиться поиски потенциального покупателя. "Она отличается модульной конструкцией, и при необходимости мы можем добавлять и удалять функции. Мы планируем использовать схему лицензирования, основанную на бесплатных базовых компонентах и дополнительных возможностях, предлагаемых за плату," – говорят они.

Основной аудиторией EyeFeel могут стать образовательные учреждения. Использование подобного программного обеспечения позволит студентам с поврежденным слухом полноценно воспринимать материал лекций и презентаций.