Microsoft представила RDMA через USB4 для об'єднання ПК у ІІ-кластери

0
1

Задняя панель устройств с портами
Технология RDMA через USB4 позволяет объединять ресурсы нескольких ПК для ИИ. Источник: AI

Microsoft выпустила предварительную версию технологии RDMA (Remote Direct Memory Access) через USB4 для разработчиков на Windows, позволяющую объединять вычислительные мощности и память нескольких ПК в единый кластер. Это решение призвано облегчить локальный запуск больших языковых моделей, которые требуют больше ресурсов, чем может предоставить одно устройство, используя для связи стандартные USB4-кабели.

Принцип работы RDMA через USB4

RDMA — это технология, обеспечивающая прямую передачу данных между оперативной памятью двух систем, минуя стандартный сетевой стек. Такой подход критически важен для распределенных вычислений, так как значительно уменьшает задержки и снижает нагрузку на центральный процессор. Исследования показывают, что RDMA через USB4 обеспечивает задержку передачи данных в пределах 28–50 микросекунд, что почти в четыре раза быстрее по сравнению с использованием обычного Ethernet через тот же порт USB4.

Ресурсы нескольких ПК для запуска тяжелого ИИ научилась объединять Microsoft через USB4

Задержка при обмене сообщениями (round-trip latency) в зависимости от их размера: сравнение RDMA и Ethernet через одно и то же соединение USB4. Иллюстрация: Microsoft

Для создания такой кластерной системы с использованием технологии Microsoft не требуются дорогостоящие сетевые адаптеры или сложная настройка коммутаторов; достаточно соединить компьютеры USB4-кабелями. Однако существует техническое ограничение: для полноценной связи в кластере каждое устройство должно быть оснащено N-1 портами USB4, где N — общее количество ПК. Например, для объединения трёх компьютеров минимум один из них должен иметь два разъема USB4. Пропускной способности стандарта USB4 2.0 (до 80 Гбит/с) достаточно для быстрого обмена данными между GPU и оперативной памятью разных машин.

Тестирование RDMA через USB4 на аппаратном обеспечении AMD

В ходе демонстрации возможностей RDMA через USB4 компания Microsoft использовала мини-ПК на базе процессора AMD Ryzen AI Max+ 395 (Strix Halo), представленного в 2025 году, каждый из которых был оснащен 128 ГБ оперативной памяти. Три таких машины были успешно объединены для запуска большой языковой модели Qwen3-235B-A22B с архитектурой Mixture-of-Experts и 4-битным квантованием.

https://x.com/AIatAMD/status/2123474032800522248?ref_src=twsrc%5Etfw» rel=»noopener» target=»_blank

В ходе тестов были получены следующие результаты производительности при обработке токенов:

  • Конфигурация Microsoft: приблизительно 18.5 токенов в секунду.
  • Собственная оптимизированная конфигурация AMD: 21.98 токенов в секунду.

Отмечается, что провайдер NetworkDirect для USB4, как и тестовая платформа на базе llama.cpp, являются проектами с открытым исходным кодом. Это предоставляет разработчикам широкие возможности для экспериментов и создания собственных ИИ-кластеров, используя современное потребительское аппаратное обеспечение.

НОВИНИ ПАРТНЕРІВ

БІЛЬШЕ НОВИН