В новой работе ученые сначала получили «рисунок» мозговой активности птиц зебровых амадин с помощью кремниевых электродов, имплантированных в сенсомоторную область. Именно в эта область управляет мышцами голосового аппарата птицы.
Данные мозговой активности авторы загрузили в нейронную сеть — она разбила записанные птичьи песни на мелкие паттерны и связала их с паттернами мозговой активности птиц.
В результате ученые буквально читали мысли птицы и воспроизводили их в привычной для нас трели. Причем точность воспроизведения оказалась очень высокой — устройство смогло распознать мельчайшие детали птичьего вокала, вплоть до высоты, тембра и объемности звуков.
Если вам нужно смоделировать каждый нюанс, каждую деталь лежащего в основе звука, то проблема воспроизведения становится намного сложнее. А имея простое представление, система может изучать данные — более надежные и подходящие для более широкого диапазона условий и поведения
Викаш Гиля, автор работы
В данный момент устройство не может работать в режиме реального времени, потому что птицы при пении постоянно меняют вокальный рисунок трелей, подстраиваясь под окружающие условия. Авторы планируют решить эту проблему и в будущем использовать речевой протез для немых людей.
Читать далее:
Поражение кожи, мозга и глаз: как COVID-19 проникает в человеческие органы
Выяснилось, что огромные космические нити во Вселенной вращаются как сверла
Ученые выяснили, кто рискует повторно заболеть COVID-19 и когда