ИИ преодолеет тишину. Китайские ученые создают мобильную платформу, переводящую текст на жестовый язык

Одним из таких проектов стал стартап Limitless Mind, основанный Су Цзюнлуном, заместителем декана Школы искусственного интеллекта и вычислительной техники Сианьского университета Цзяотун-Ливерпуль. Вместе со студентами он создает платформу, которая переводит письменный текст на жестовый язык и наоборот. Этот инструмент призван преодолеть барьеры в общении и способствовать инклюзии людей с нарушениями слуха.

Разработанная модель искусственного интеллекта является легкой и адаптированной для мобильных устройств, а также может интегрироваться в умные очки. В таком формате виртуальные аватары способны переводить речь на жестовый язык или показывать текст в реальном времени, что значительно облегчает коммуникацию.

Су отмечает, что цель проекта выходит за пределы технических инноваций — команда стремится создавать решения, которые отвечают реальным социальным потребностям. Благодаря таким инструментам ученики с инвалидностью могут эффективнее учиться, пациенты — лучше общаться с врачами, а уровень дискриминации на рабочих местах — снижаться.

Команда также исследует новое поколение вспомогательных технологий, среди которых платформы для перевода движений губ в текст и интерфейсы мозг-компьютер, способные превращать мозговые волны в письменную речь. Такие разработки могут в будущем управлять беспилотными транспортными средствами или расширить доступность для людей с ограниченными возможностями.

По данным, опубликованным в Китайском медицинском журнале, к 2060 году более 240 миллионов жителей страны могут столкнуться с умеренной или полной потерей слуха — это почти вдвое больше, чем в 2015 году. Су подчеркивает, что его опыт в математике, статистике и инженерии позволяет эффективно решать сложные задачи, связанные с анализом данных, распознаванием шаблонов и моделированием.

Одним из преимуществ развития искусственного интеллекта в Китае является доступ к большим и качественным массивам данных, особенно из больниц, которые часто готовы делиться медицинской информацией для научных исследований. Это значительно ускоряет создание AI-инструментов в сферах здравоохранения и эмоциональной поддержки.

Команда Су сотрудничает с компанией Mind with Heart Robotics из Шэньчжэня, которая разрабатывает электронных домашних любимцев и гуманоидных роботов — эмоциональных компаньонов для психологической поддержки. Такие роботы могут помогать детям с аутизмом, которые испытывают трудности с выражением эмоций. Благодаря машинному обучению они способны анализировать мимику и классифицировать эмоциональные состояния в реальном времени, что позволяет опекунам реагировать более точно и чутко.

Исследование Су также охватывает медицинскую визуализацию, где AI-модели обучаются на больших наборах данных для выявления тонких симптомов, таких как отеки, изменение цвета кожи или припухлость, которые могут свидетельствовать о заболевании. Все это — часть более широкой цели: сделать технологии не просто инновационными, а полезными для тех, кто больше всего нуждается в поддержке.