Алгоритм ученых из MIT способен распознавать человека не только по показаниям радиосканирования, но и по видеозаписи. В процессе работы алгоритм получает «сырые» данные с камеры или радиоприемопередатчика — на их основе нейросеть генерирует скелетообразную модель тела человека.
Затем алгоритм анализирует модель в кадре, подбирая соответствующие действия, и таким образом распознает, чем занимается человек на записи с видеокамеры или за стеной.
Алгоритм способен распознавать не только индивидуальные действия, но и совместные — например, рукопожатия.
Ранее инженеры из Microsoft Research научились анимировать лица на статичных фотографиях при помощи необработанных записей речи этих людей.