Ассоциация Storage Networking Industry Association (SNIA) в настоящий момент работает над проектом по развитию открытых стандартов для эффективных сервисов данных, связанных с рабочими нагрузками ИИ. Как именно проект под названием Storage.AI должен изменить подход к хранению данных, которые использует ИИ, какие крупные организации поддерживают амбициозный проект и где с ним могут возникнуть сложности - рассказываем далее.
Что мы знаем о SNIA
SNIA — это некоммерческая глобальная организация, состоящая из корпораций, университетов, стартапов и частных лиц, которые сотрудничают для разработки и продвижения архитектур, независимых от поставщиков, а также международных стандартов и спецификаций. В фокусе организации находятся технологии, связанные с хранением, транспортировкой, оптимизацией инфраструктуры и защитой данных. К известным стандартам, разработанным SNIA, относятся SMI-S (Storage Management Initiative Specification), NVMe Management Interface, масштабируемый API управления хранилищами Swordfish и CDMI (Cloud Data Management Interface).
Доктор Джей Мец (Dr. J Metz), председатель SNIA, заявил: «Беспрецедентные требования ИИ требуют комплексного взгляда на все аспекты, связанные с данными — системы хранения, сети, методы обработки. Ни одна компания не может решить эти проблемы в одиночку. Storage.AI от SNIA создает важную, независимую от поставщиков основу для отрасли, которую образуют эффективные, непроприетарные решения, необходимые для ускорения ИИ для всех».
Суть проекта Storage.AI
Проект Storage.AI будет нацелен на создание широкой экосистемы совместно с партнерами SNIA, включая UEC, NVM Express, OCP, OFA, DMTF и SPEC. SNIA утверждает, что рабочие нагрузки ИИ чрезвычайно сложны и сталкиваются с ограничениями, связанными с задержками, пространством, энергопотреблением, охлаждением, памятью, и конечно, стоимостью. В ассоциации заявляют, что решение этих проблем через открытую отраслевую инициативу — это самый быстрый путь к оптимизации и дальнейшему внедрению. Список первых игроков отрасли, присоединившихся к Storage.AI, включает в себя AMD, Cisco, DDN, Dell, IBM, Intel, KIOXIA, Microchip, Micron, NetApp, Pure Storage, Samsung, Seagate, Solidigm и WEKA.
Согласно позиции SNIA, фундаментальная проблема заключается в том, что системы хранения не подключены к графическим процессорам (GPU) и другим ускорителям - именно этот пробел ассоциация хочет исправить.
Источник изображений: SNIA
Storage.AI определил шесть технологических областей, которые могут помочь это сделать:
-
AiSIO – Accelerator-Initiated Storage IO
-
CNM – Compute-Near-Memory
-
FDO – Flexible Data Placement (гибкое размещение данных)
-
GDB – GPU Direct Bypass (файловый/объектный доступ поверх RDMA)
-
NVMP – Модель программирования энергонезависимой памяти
-
SDXI – Smart Data Accelerator Interface (интерфейс интеллектуального ускорителя данных)
Диаграмма ниже показывает их взаимосвязи и расположение на общей схеме.
Источник изображений: SNIA
Кто не присоединился к Storage.AI и почему это важно
Среди компаний, поддержавших проект, есть два конкурирующих поставщика GPU - AMD и Intel. Однако, даже более важно, что есть очевидный гигант индустрии ИИ, который к проекту не присоединился — NVIDIA.
Одна из ключевых задач проекта Storage.AI - улучшить передачу данных к GPU, и здесь NVIDIA, обладающая огромной долей рынка GPU, доминирует со своей проприетарной технологией GPU Direct, обеспечивающей прямой доступ к хранилищу по RDMA и обход процессора и памяти сервера хранения, которые обычно задействованы при доступе к данным со стороны ИИ-ускорителя.
Использование протоколов GPU Direct привязывает компании к Nvidia. Соответственно, крайне маловероятно, что NVIDIA решит открыто предоставлять свои протоколы GPU Direct. Есть ли шанс, что SNIA убедит NVIDIA поддержать Storage.AI, или же ассоциация попробует переиграть компанию на данном поле? В прошлом Linux преуспел против проприетарных версий Unix, NVMe взял верх над частными протоколами доступа к SSD и SATA/SAS, а SCSI теперь доминирует над проприетарными интерфейсами дисков, такими как Enhanced Small Disk Interface (ESDI) и Intelligent Peripheral Interface (IPI). Примеры несомненно есть, но как именно все будет в ситуации с Storage.AI, предсказать крайне сложно.
В целом, открытые, независимые от поставщиков стандарты стимулируют развитие технологий, снижают затраты, обеспечивают свободу от привязки к поставщику, переносимость данных и другие преимущества. Присутствие нейтральных стандартов должно означать, что рынок ускорителей ИИ будет расти быстрее, чем если бы он продолжал развиваться с каким-то одним проприетарным стандартом - а пока нам остается лишь наблюдать за развитием событий.
