Фото — yaplakal.com

Учёные Новосибирского государственного технического университета НЭТИ уверяют, что подобной программы в мире до настоящего времени не существовало. Система при помощи камер и нейронных сетей узнаёт жесты глухих и переводит их в текст или голос. В настоящее время в программу внесено 1006 жестов. Точность распознавания движений составляет около 90%.

Система разработана так, что она распознаёт картинку и фиксирует движения, которые в дальнейшем превращает в изображения. Далее они переводятся в модели, сопоставляются с данными в нейронной сети и преобразуются в текст или голос.

В настоящее время учёные дорабатывают программу, добавляют жесты. Сложность компьютеризации перевода в том, что он зависит не только от движения рук, но и от выражения лица, движения губ и других знаков артикуляции.

В дальнейшем разработчики планируют адаптировать программу под другие жестовые языки мира. В мире их существует около 130, в каждом из которых около четырёх тысяч жестов, которые производятся руками в сочетании с мимикой и положением тела.

Любое использование материалов допускается только с указанием источника infopovod.ru

Добавить комментарий

Ваш адрес email не будет опубликован.