Исторически эксперты по машинному обучению разрабатывали небольшие ИИ-модели, которые использовали наборы размеченных данных, чтобы научиться выполнять какую-то одну отдельную задачу — распознавать объект, переводить текст. Сообщество специалистов по искусственному интеллекту доказало, что некоторые из этих задач лучше выполняются одной большой моделью — обученной, к примеру, на миллиардах страниц публично доступных текстов. В результате такая модель настолько тонко понимает нюансы речи, грамматику, концепции и контекст, что способна отлично выполнять несколько задач: подводить итоги длинных выступлений, модерировать чат в онлайн-играх и даже генерировать программный код по результатам поиска на GitHub.
Microsoft, к примеру, разработала собственное семейство подобных моделей — Microsoft Turing models и самую крупную из существующих на данный момент языковую модель с 17 млрд параметров Turing Natural Language Generation (T-NLG). Компания также объявила, что скоро откроет код Тьюринговых моделей, а также методы их обучения в Azure Machine Learning. Создание и тренировка таких массивов требует наличия прогрессивной супервычислительной инфраструктуры или кластеров современного оборудования, соединенных с помощью сетей высокой пропускной способности.
Новый суперкомпьютер стал одним из пяти самых мощных суперкомпьютеров в мире. Он создан создан специально для тренировки следующего поколения массивных ИИ-моделей, способных выполнять более широкий спектр функций и, соответственно, требующих больших вычислительных ресурсов.
Суперкомпьютер, разработанный для OpenAI, — это единая система с более чем 285 тыс. процессорных ядер (CPU core), 10 тыс. графических процессоров (GPU) и скоростью сетевого подключения 400 гигабит в секунду для каждого сервера. Благодаря размещению в облаке Azure суперкомпьютер обладает преимуществами современной облачной инфраструктуры, включая быстрое развертывание, надежность датацентров и доступ к сервисам Azure.
Разработка нового суперкомпьютера для OpenAI — первый шаг на пути к тому, чтобы сделать следующее поколение массивных ИИ-моделей и инфраструктуру, необходимую для их обучения, доступными широкому кругу организаций и разработчиков во всем мире.
Прямая трансляция с конференции:
Читайте также:
— Суперкомпьютеры по всей Европе взломали и майнили криптовалюту
— В мире начинается вторая волна эпидемии коронавируса. Где и когда всё это кончится?
— Найдено антитело, которое нейтрализует не только SARS-CoV-2, но и старые коронавирусы