Царь-ускоритель Cerebras WSE-3 в одиночку обучил ИИ-модель с 1 трлн параметров

Царь-ускоритель Cerebras WSE-3 в одиночку обучил ИИ-модель с 1 трлн параметров 12.12.2024 [23:59], Руслан Авдеев cerebras hardware llm ии рекорд сша Cerebras Systems совместно с Сандийскими национальными лабораториями (SNL) Министерства энергетики США (DOE) провели успешный эксперимент по обучению ИИ-модели с 1 трлн параметров с использованием единственной системы CS-3 с царь-ускорителем WSE-3 и 55 Тбайт внешней памяти MemoryX. Обучение моделей такого масштаба обычно требует тысяч ускорителей на базе GPU, потребляющих мегаватты энергии, участия десятков экспертов и недель на наладку аппаратного и программного обеспечения, говорит Cerebras. Однако учёным SNL удалось добиться обучения модели на единственной системе без внесения изменений как в модель, так и в инфраструктурное ПО. Более того, они смогли добиться и практически линейного масштабирования — 16 систем CS-3 показали 15,3-кратный прирост скорости обучения. Источник изображения: Cerebras Модель такого масштаба требует терабайты памяти, что в тысячи раз больше, чем доступно отдельному GPU. Другими словами, классические кластеры из тысяч ускорителей необходимо корректно подключить друг к другу ещё до начала обучения. Системы Cerebras для хранения весов используют внешнюю память MemoryX на базе 1U-узлов с самой обычной DDR5, благодаря чему модель на триллион параметров обучать так же легко, как и малую модель на единственном ускорителе, говорит компания. Ранее SNL и Cerebras развернули кластер Kingfisher на базе систем CS-3, который будет использоваться в качестве испытательной платформы при разработке ИИ-технологий для обеспечения национальной безопасности. Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER. | Можете написать лучше? Мы всегда рады новым авторам. Материалы по теме: Источник: Постоянный URL: https://servernews.ru/1115344 Array ( [pdate] => 1734037140 [dline] => 1769616340 [pdate <= dline] => 1 [disableComments] => -1 [showComments] => ) Copyright ©2010-2026 Servernews. Пользовательское соглашение. Защищено CURATOR. По всем интересующим Вас вопросам, Вы можете направить сообщение нам в /var/contact Во время посещения сайта вы соглашаетесь с использованием нами файлов cookie, метрических программ, Пользовательским соглашением и даёте согласие на обработку и трансграничную передачу персональных данных. Понятно