Энтузиасты заставили iPhone работать с гигантской языковой моделью благодаря Flash-MoE. Источник: AI
Технологический прорыв в мире мобильного ИИ
Инженеры продемонстрировали невероятный эксперимент: запуск гигантской языковой модели с 400 миллиардами параметров на смартфоне с mere 12 ГБ оперативной памяти. Это принципиально новый подход к использованию искусственного интеллекта на мобильных устройствах.
Революционная технология Flash-MoE
Ключ к успеху — инновационный проект Flash-MoE, который полностью переворачивает представления о возможностях смартфонов. Вместо традиционной загрузки всей модели в оперативную память, технология использует флеш-накопитель как основное хранилище данных.
Как это работает?
- Данные подаются потоком из NAND-флеш напрямую к GPU
- Используется архитектура Mixture of Experts (MoE)
- Активируются только необходимые «эксперты» в модели
Технические детали эксперимента
Результат впечатляет, но далек от идеала: скорость генерации составила всего 0.6 токена в секунду. Однако сам факт запуска такой масштабной модели на смартфоне — настоящий технологический прорыв.
Преимущества локального ИИ
- Полная приватность данных
- Работа без интернета
- Отсутствие расходов на облачные вычисления
Взгляд в будущее
Эксперимент демонстрирует: будущее мобильного ИИ — не только в увеличении памяти, но и в интеллектуальной оптимизации вычислений. Хотя пока это больше технологическая демонстрация, чем практическое решение, направление развития очевидно.
Running 400B model on iPhone!
0.6 t/s
Credit @danveloper @alexintosh @danpacary @anemll pic.twitter.com/LZCLqsvSUP— Anemll (@anemll) March 23, 2026