Исследования, связанные с ИИ, – непрозрачная и сложная история пишет журнал Science. Главная проблема в том, что большинство исследователей не публикуют исходный код своих работ и обучающую алгоритм выборку. Это приводит к тому, что воссоздать результаты работы почти невозможно, а значит нельзя устроить полноценное сравнение или организовать работу по улучшению результатов.
Издание ссылается на исследование профессора Норвежского университета естественных и технических наук Одда Эрика Гюндерсена. Тот изучил 400 работ в сфере искусственного интеллекта, представленных на конференциях в течение нескольких последних лет. Оказалось, что только в 6% из них представлен исходный код. Половина работ идет с ограниченным описанием алгоритма, представленном в формате псевдокода. И только треть ученых поделилась данными, на которых проводились исследования.
Физики из МТИ открыли новую форму света
Кейсы
Гюндерсен считает это большой проблемой, близкой к кризису. Невозможность воспроизвести эксперименты с ИИ других ученых ставит их результаты под вопрос. Помимо кризиса доверия, такая практика и в целом тормозит всю область машинного обучения. К слову, ранее с кризисом воспроизводимости столкнулась психология, медицина и другие области науки. Но считалось, что область, связанная с ИИ, защищена от этого, ведь всегда есть исходный код, есть данные — все это позволяет воспроизводить эксперименты до мельчайших подробностей. Но на практике все иначе.
Исследователи находят тысячи причин, чтобы не публиковать тренировочную выборку и исходный код, пишет издание. Они начинаются с объективных — соглашение о неразглашении или желание обогнать конкурентов — и заканчиваются «детскими» отговорками, вроде, «у нас полетел жесткий диск с данными». И Гюндерсен, и Science понимают причины, препятствующие публикации исходных данных, но протестуют против того, чтобы это тормозило развитие ИИ.
Как биотехнолог из Кирова стал одним из лучших ИТ-экспертов планеты
Кейсы
Другие ученые, например, Питер Хендерсон из Университета Макгилл в Монреале, отмечают, что именно в области машинного обучения и ИИ особенно важны точные исходные данные. Говоря «точные», он имеет в виду совпадение до последнего знака в коде. Он также подразумевает, что данные для тренировки алгоритма должны быть представлены. Свое мнение он подтверждает на примерах, запуская один и тот же алгоритм с самыми незначительными изменениями в тренировочной выборке или в коде. По описанию, это по-прежнему одна и та же программа, но результаты абсолютно противоположные. Поэтому Science, Гюндерсен и его коллеги приходят к выводу, что без исходного кода полноценное сравнение и реакция на работы в сфере ИИ других ученых невозможны.