Исследователи установили камеру на переносице самодельных очков — область, которую захватывала камера, примерно совпадала с центром поля зрения пользователя.
Затем ученые использовали роботизированную перчатку Exo-Glove Poly и обучили сверхточную нейросеть ResNet 50 реагировать на направление взгляда пользователя.
Это позволило нейросети предугадывать следующее действие, которое предпримет пользователь — например, сжатие или разжатие ладони в перчатке. В будущем система позволит частично вернуть двигательную функцию рук парализованным людям, отмечают исследователи.
Ранее инженеры из Колумбийского университета научили роботизированную руку выполнять действия, предварительно изучив возможности и ограничения собственного тела.