Илон Маск и его компания xAI запустили новый суперкомпьютер под названием Colossus, который предназначен для обучения искусственного интеллекта и претендует на звание самого мощного в мире. Маск заявил, что на создание этого гиганта потребовалось всего 122 дня. Основной задачей Colossus станет обучение последней версии языковой модели GROK-3, а для этого суперкомпьютер оснащен 100,000 графическими процессорами Nvidia H100.
Маск также добавил, что в ближайшие месяцы мощность Colossus увеличится в два раза — благодаря добавлению 50,000 чипов Nvidia H200, которые обладают вдвое большей эффективностью для задач ИИ по сравнению с H100.
Хотя точная стоимость проекта не раскрыта, предполагается, что закупка первых 100,000 чипов могла обойтись в $2 миллиарда, а с добавлением еще 50,000 H200 и необходимой инфраструктуры затраты значительно возрастут.
Несколько недель назад xAI представила модель GROK-2, которая использовала 15,000 чипов Nvidia H100, и уже тогда она заняла второе место среди языковых моделей, уступив только ChatGPT-4. Новая система GROK-3 будет в 6-7 раз мощнее и ожидается, что она начнет работу уже к декабрю.
