Ентузіасти змусили iPhone працювати з гігантською мовною моделлю завдяки Flash-MoE. Джерело: AI
Технологічний прорив у світі мобільного ІІ
Інженери продемонстрували неймовірний експеримент: запуск гігантської мовної моделі із 400 мільярдами параметрів на смартфоні з mere 12 ГБ оперативної пам'яті. Це новий підхід до використання штучного інтелекту на мобільних пристроях.
Революційна технологія Flash-MoE
Ключ до успіху – інноваційний проект Flash-MoE, який повністю перевертає уявлення про можливості смартфонів. Замість традиційного завантаження всієї моделі в оперативну пам'ять технологія використовує флеш-накопичувач як основне сховище даних.
Як це працює?
- Дані подаються потоком з NAND-флеш безпосередньо до GPU
- Використовується архітектура Mixture of Experts (MoE)
- Активуються лише необхідні «експерти» у моделі
Технічні деталі експерименту
Результат вражає, але далекий від ідеалу: швидкість генерації становила лише 0.6 токена в секунду. Однак сам факт запуску такої масштабної моделі на смартфоні – справжній технологічний прорив.
Переваги локального ІІ
- Повна приватність даних
- Робота без інтернету
- Відсутність витрат на хмарні обчислення
Погляд у майбутнє
Експеримент демонструє: майбутнє мобільного ІІ — не лише збільшення пам'яті, а й інтелектуальної оптимізації обчислень. Хоча поки що це більше технологічна демонстрація, ніж практичне рішення, напрямок розвитку очевидний.
Running 400B на iPhone!
0.6 т/с
кредит @danveloper @alexintosh @danpacary @anemll pic.twitter.com/LZCLqsvSUP— Anemll (@anemll) 23 березня 2026