Зовнішній пристрій Nextorage aiDAPTIV Station. Джерело: Nextorage
Проблема, яку вирішують мало хто
Локальний запуск великих мовних моделей залишається привілеєм обраних. Зазвичай для цього потрібні серверні конфігурації або мінімум пара топових відеокарт із десятками гігабайт відеопам'яті. Середньостатистичний користувач, навіть власник ноутбука з маркуванням "AI PC", змушений покладатися на хмарні сервіси та платні передплати.
Японська компанія Nextorage – дочірнє підприємство виробника контролерів Phison – запропонувала нетривіальну відповідь на цю проблему. Замість спроб покращити залізо, компанія підійшла радикально інакше: створила зовнішній пристрій, який перетворює звичайний ноутбук на повноцінний локальний AI-сервер.
aiDAPTIV Station: як це працює
Ключова розробка Nextorage – прототип aiDAPTIV Station , побудований на основі технології Phison aiDAPTIV+. Пристрій демонструє можливість запуску моделей рівня OpenAI GPT-OSS-120B на комп'ютерах всього з 32 ГБ оперативної пам'яті - тієї пам'яті, яка б у стандартній конфігурації була недостатня.
Суть інновацій полягає у динамічному розподілі пам'яті. Замість спроби помістити гігантську модель в дорогу DRAM система використовує швидкі SSD як логічне продовження оперативної пам'яті. Великі нейромережі розбиваються на шари, які завантажуються в основну пам'ять у міру необхідності, інші зберігаються на NAND-накопичувачі пристрою.
Очевидний недолік підходу – швидкість. Пропускна здатність USB-C-інтерфейсу неминуче стає вузьким місцем, порівняно з прямим підключенням через PCIe материнської плати. Однак для розробників та дослідників, яким важлива сама можливість локального тестування без постійних хмарних витрат, такий компроміс дуже привабливий.
Практичне застосування та підтримка ОС
aiDAPTIV Station отримає компактний форм-фактор і підтримуватиме роботу як під Windows, так і під Ubuntu Linux. Це забезпечує універсальність та відкриває пристрій для широкого спектру розробників та ентузіастів.
Nextorage планує випустити як устаткування, а й власне програмне забезпечення для автоматизації налаштування моделей. Це критично важливо, оскільки самостійне квантування та сегментація великих нейромереж потребує значних навичок та терпіння.
Коли чекати і почім
Вихід aiDAPTIV Station на японський ринок заплановано на кінець цього року. Точна вартість ще не розголошена, але Nextorage обіцяє, що вона буде значно нижчою, ніж у професійних GPU з 48 ГБ відеопам'яті.
Чому це важливо зараз
Рішення Nextorage - це символічний поворот у підході до ІІ. Коли великі корпорації активно просувають підписки з хмар, такі проекти повертають обчислювальну потужність користувачам. Навіть якщо це означає необхідність підключення додаткового пристрою до ноутбука.
Контекст посилює актуальність розробки: за даними MIT NANDA, 95% компаній не отримали відчутної віддачі від своїх інвестицій у ІІ. У такій ситуації дешеві та доступні інструменти локального запуску моделей можуть стати реальною альтернативою дорогим хмарним рішенням, особливо для малого бізнесу та незалежних розробників.