Учёные Новосибирского государственного технического университета НЭТИ уверяют, что подобной программы в мире до настоящего времени не существовало. Система при помощи камер и нейронных сетей узнаёт жесты глухих и переводит их в текст или голос. В настоящее время в программу внесено 1006 жестов. Точность распознавания движений составляет около 90%.
Система разработана так, что она распознаёт картинку и фиксирует движения, которые в дальнейшем превращает в изображения. Далее они переводятся в модели, сопоставляются с данными в нейронной сети и преобразуются в текст или голос.
В настоящее время учёные дорабатывают программу, добавляют жесты. Сложность компьютеризации перевода в том, что он зависит не только от движения рук, но и от выражения лица, движения губ и других знаков артикуляции.
В дальнейшем разработчики планируют адаптировать программу под другие жестовые языки мира. В мире их существует около 130, в каждом из которых около четырёх тысяч жестов, которые производятся руками в сочетании с мимикой и положением тела.
Любое использование материалов допускается только с указанием источника infopovod.ru
