Стартап Илона Маска xAI сделал важный шаг вперед в Мемфисе, штат Теннесси, запустив суперкомпьютер, претендующий на звание самого мощного в мире ИИ-тренировочного кластера.

Этот проект, получивший название «Мемфисский Суперкластер», стал крупнейшей инвестиционной программой новой компании в истории города.

В состав Суперкластера входит массив из 100 000 видеокарт Nvidia H100, оснащенных системой жидкостного охлаждения и предназначенных для обучения ИИ-моделей. Эти высокопроизводительные GPU соединены между собой через технологию RDMA (удаленный доступ к памяти), что обеспечивает эффективный обмен данными между вычислительными узлами.

Основные технические характеристики Мемфисского Суперкластера

• Количество GPU: 100 000 ед. Nvidia H
• Система охлаждения: Жидкостное охлаждение.
• Связь: Единая RDMA-сеть.
• Потребляемая мощность: До 150 МВт в час

По словам Илона Маска, данная конфигурация делает Мемфисский Суперкластер самым мощным ИИ-тренировочным кластером в мире, что позволит обучить «самый мощный ИИ по всем показателям» к концу 2024 года.

Исторический прорыв за всю история человечества

Создание Мемфисского Суперкластера представляет собой поистине исторический экономический прорыв для города. Торговая палата Большого Мемфиса подтвердила, что этот гигантский суперкомпьютерный проект стал крупнейшим капиталовложением новой компании в регионе за всю его историю.

Ожидаемая стоимость одной видеокарты Nvidia H100, которые составляют основу кластера, варьируется от 30 до 40 тысяч долларов, что в совокупности оценивается в 3-4 миллиарда долларов инвестиций.

Этот масштабный проект стал результатом плодотворного сотрудничества команд xAI, X (бывший Twitter) и Nvidia. Компания Supermicro также внесла значительный вклад, предоставив большую часть оборудования, а её генеральный директор Чарльз Лян высоко оценил успешную реализацию всего проекта.

Преодоление технических вызовов

Несмотря на технологические достижения, проект столкнулся с определёнными трудностями. Местные жители выразили озабоченность по поводу высокого потребления энергии и воды на объекте. По оценкам главы Memphis Light, Gas, and Water, энергопотребление может быть сопоставимо с потреблением 100 тысяч домохозяйств. Тем не менее, команда во главе с Илоном Маском полна решимости продолжать, подчёркивая значительные потенциальные преимущества этого амбициозного проекта.

Маск также сообщил, что Мемфисский Суперкластер будет использоваться для обучения крупной языковой модели xAI под названием Grok, с планом завершения обучения к концу 2024 года. Это говорит о том, что xAI не ожидает выхода следующего поколения GPU, а вместо этого использует текущие H100 для ускорения своего прогресса.

Лидерство в вычислительной мощности

Масштаб Мемфисского Суперкластера значительно превосходит другие мощные суперкомпьютеры, такие как Frontier (37,888 AMD GPU), Aurora (60,000 Intel GPU) и Microsoft Eagle (14,400 Nvidia H100 GPU). Эта огромная вычислительная мощность ставит xAI в авангард гонки по разработке самых мощных ИИ-моделей.

Запуск Мемфисского Суперкластера является важной вехой в индустрии ИИ. Благодаря беспрецедентному масштабу и передовой технологической инфраструктуре, xAI готова сделать значительные прорывы в развитии ИИ. Несмотря на возникающие проблемы, потенциальные выгоды от этого суперкомпьютера огромны, обещая революционный прогресс в возможностях ИИ.

По мере продолжения обучения в Мемфисском Суперкластере, мир будет с нетерпением ждать инноваций и достижений, которые возникнут из этого амбициозного проекта.