Большинство ученых скрывают исходные данные своих ИИ-исследований

Исследования, связанные с ИИ, – непрозрачная и сложная история пишет журнал Science. Главная проблема в том, что большинство исследователей не публикуют исходный код своих работ и обучающую алгоритм выборку. Это приводит к тому, что воссоздать результаты работы почти невозможно, а значит нельзя устроить полноценное сравнение или организовать работу по улучшению результатов. 

Издание ссылается на исследование профессора Норвежского университета естественных и технических наук Одда Эрика Гюндерсена. Тот изучил 400 работ в сфере искусственного интеллекта, представленных на конференциях в течение нескольких последних лет. Оказалось, что только в 6% из них представлен исходный код. Половина работ идет с ограниченным описанием алгоритма, представленном в формате псевдокода. И только треть ученых поделилась данными, на которых проводились исследования.

Физики из МТИ открыли новую форму света

Гюндерсен считает это большой проблемой, близкой к кризису. Невозможность воспроизвести эксперименты с ИИ других ученых ставит их результаты под вопрос. Помимо кризиса доверия, такая практика и в целом тормозит всю область машинного обучения. К слову, ранее с кризисом воспроизводимости столкнулась психология, медицина и другие области науки. Но считалось, что область, связанная с ИИ, защищена от этого, ведь всегда есть исходный код, есть данные — все это позволяет воспроизводить эксперименты до мельчайших подробностей. Но на практике все иначе.

Исследователи находят тысячи причин, чтобы не публиковать тренировочную выборку и исходный код, пишет издание. Они начинаются с объективных — соглашение о неразглашении или желание обогнать конкурентов — и заканчиваются «детскими» отговорками, вроде, «у нас полетел жесткий диск с данными». И Гюндерсен, и Science понимают причины, препятствующие публикации исходных данных, но протестуют против того, чтобы это тормозило развитие ИИ.

Как биотехнолог из Кирова стал одним из лучших ИТ-экспертов планеты

Другие ученые, например, Питер Хендерсон из Университета Макгилл в Монреале, отмечают, что именно в области машинного обучения и ИИ особенно важны точные исходные данные. Говоря «точные», он имеет в виду совпадение до последнего знака в коде. Он также подразумевает, что данные для тренировки алгоритма должны быть представлены. Свое мнение он подтверждает на примерах, запуская один и тот же алгоритм с самыми незначительными изменениями в тренировочной выборке или в коде. По описанию, это по-прежнему одна и та же программа, но результаты абсолютно противоположные. Поэтому Science, Гюндерсен и его коллеги приходят к выводу, что без исходного кода полноценное сравнение и реакция на работы в сфере ИИ других ученых невозможны.​

Подписывайтесь
на наши каналы в Telegram

«Хайтек»новостионлайн

«Хайтек»Dailyновости 3 раза в день

Первая полоса
Процессорный модуль «Фишт» запустили в производство: заменит зарубежные аналоги  
Новости
НАСА сообщило о возможных следах древней жизни на Марсе  
Космос
Робот TRON 1 научился прыгать через барьеры и взбираться по лестницам  
Новости
Проект мощнейших в мире приливных турбин запустили во Франции
Новости
Суперкомпьютер раскрыл тайны «молекулярного ремонта» ДНК
Наука
В Китае разработали батарейку с радиоактивным углеродом, которая проработает до 100 лет
Наука
Ученые MIT разработали «простой способ» превратить клетки кожи в нейроны
Наука
Microsoft запускает ИИ Copilot для геймеров: он будет работать, как тренер
Новости
Частный лунный модуль сфотографировал солнечное затмение с Луны
Космос
Почему Вселенная несимметрична: физики приблизились к разгадке тайны
Новости
Посмотрите на обратную сторону спутника Марса: это второе фото в истории
Новости
Это приложение буквально заставляет трогать траву и блокирует соцсети
Новости
Посмотрите на место гибели лунного аппарата «Афина»
Новости
Apple призвала срочно обновить iPhone из-за критической уязвимости  
Новости
В РосНИИРОС опровергли планы ICANN закрыть домен .su  
Новости
Европейские охотники каменного века «путешествовали» по морю в Африку
Наука
Зонд «Гера» сделал снимки спутника Марса на пути к «пострадавшему в ДТП» астероиду
Космос
В испанской пещере нашли «фрагменты лица» древнейшего жителя Западной Европы
Наука
Стартап представил робота, который готовит как шеф-повар лучших ресторанов
Новости
В паровом реакторе впервые зажгли термоядерную плазму
Новости