Одной из ключевых проблем современных ИИ-систем является их уровень энергопотребления. Многие компании ищут различные варианты для решения задачи высокого энергопотребления, в том числе рассматривая и тестируя ИИ-ускорители, не являющиеся продуктами лидеров рынка искусственного интеллекта - AMD или NVIDIA. Именно таким образом внимание гиперскейлеров привлекло решение Atlas от Positron AI, которое обещает превзойти NVIDIA H200 по производительности, потребляя лишь 30% от энергии, необходимой H200. Давайте разберемся в разработках Positron более подробно.
Производительность и энергопотребление Atlas в сравнении с NVIDIA H200
Positron — американская компания, основанная в 2023 году, которая разрабатывает ИИ-ускорители, ориентированные исключительно на задачи вывода (инференса). В отличие от универсальных графических процессоров (GPU), предназначенных для обучения и вывода ИИ, технических вычислений и широкого спектра других рабочих нагрузок, аппаратное обеспечение Positron создано именно для эффективного выполнения задач вывода при минимальном энергопотреблении. Решение первого поколения от Position AI называется Atlas. Оно объединяет восемь акселераторов Archer и разработано с целью превзойти системы NVIDIA на архитектуре Hopper по производительности и энергопотреблению.
Согласно сравнению (важно отметить, что оно было проведено самой компанией Positron), Atlas способен выдавать около 280 токенов в секунду на одного пользователя для модели Llama 3.1 8B при вычислениях в формате BF16 и мощности 2000 Вт. В то же время восьмимодульный сервер NVIDIA DGX H200 в том же сценарии достигает лишь около 180 токенов в секунду на пользователя, потребляя колоссальные 5900 Вт энергии. Это делает Atlas втрое более эффективным как с точки зрения производительности на ватт по сравнению с системой NVIDIA DGX H200. Разумеется, данная оценка производительности и энергопотребления ещё требует независимой проверки.
Источник изображений: Positron AI
Системы Atlas и акселераторы Archer AI от Positron AI совместимы с широко используемыми инструментами ИИ, такими как Hugging Face, и обрабатывают запросы на вывод через эндпоинт, совместимый с API OpenAI, что позволяет пользователям внедрять их без значительных изменений в своих рабочих процессах.
Будущие продукты Positron AI
Компания также работает над своим чипом для вывода ИИ второго поколения под названием Asimov, который должен стать ключевым компонентом восьмимодульного ускорителя Titan, выход которой ожидается в 2026 году. Данное решение должно составить конкуренцию системам на базе платформ NVIDIA Vera Rubin.
Источник изображений: Positron AI
Asimov будет оснащен 2 ТБ памяти на один ASIC и, судя по изображению, опубликованному компанией, не будет использовать память HBM, а перейдет на иной тип памяти. Он также будет обладать внешней пропускной способностью сети 16 Тбит/с. Ожидается, что Titan — на базе восьми ускорителей Asimov с общей памятью 16 ТБ — сможет запускать модели с числом параметров до 16 триллионов на одной машине. Согласно Positron AI, система также будет поддерживать одновременное выполнение нескольких моделей, устраняя ограничение «одна модель на один GPU».
Заключительные слова
Растущие энергетические потребности индустрии ИИ вызывают тревогу, поскольку некоторые массивные кластеры, используемые для обучения ИИ-моделей, потребляют столько же энергии, сколько целые города. Ситуация только ухудшается, поскольку ИИ-модели становятся сложнее, использование ИИ растет, а значит, энергопотребление дата-центров также стремительно увеличивается. Сегодня компании ищут разные способы контролировать энергопотребление, и вполне возможно, что если у Positron получится реализовать свои планы, на рынке ИИ-решений появится ещё один заметный игрок.
