Для ChatGPT нет ограничений. Технология Tiiny AI сделала суперкомпьютер из старого домашнего ПК

Об этом пишет издание Interesting Engineering.

В демонстрации модель GPT-OSS 120B от OpenAI работала на Pocket Lab — персональном суперкомпьютере Tiiny AI.

Компания хочет сделать мощный искусственный интеллект доступным всем, даже без современных графических процессоров, облачных сервисов или быстрого интернета. Pocket Lab уже получил признание как «Самый маленький MiniPC для 100B LLM локально» после запуска 10 декабря 2025 года.

Для эксперимента использовали ПК 2011 года с процессором Intel Core i3−530, 2 ГБ оперативной памяти и старым CRT-монитором. После подключения Pocket Lab компьютер смог запустить ChatGPT со скоростью около 20 токенов в секунду.

Команда задавала модели разные вопросы: сначала «Кто ты?», потом «Почему 1+1=2». Модель ответила подробно, использовав 1582 токена со скоростью 18,6 токенов в секунду.

«Эта демонстрация доказывает то, что индустрия ИИ считала невозможным», — сказал Самар Бходж, директор по GTM в Tiiny AI.

Он добавил: «Большая модель теперь не требует массивных GPU-кластеров или облачной инфраструктуры. С Tiiny AI Pocket Lab сложный ИИ может работать офлайн на обычном компьютере, даже 14-летнем. Будущее ИИ принадлежит людям, а не дата-центрам».

Секрет суперкомпьютера — технологии Tiiny AI: TurboSparse и PowerInfer. TurboSparse активирует только нужные нейроны, не снижая эффективности модели. PowerInfer распределяет нагрузку между CPU и NPU, уменьшая потребление энергии.

Pocket Lab оснащен 12-ядерным ARMv9.2 CPU, 80 ГБ памяти LPDDR5X и 1 ТБ SSD, вес — около 300 граммов, мощность — 65 Вт.

Pocket Lab подходит для личного использования ИИ: студенты, исследователи, разработчики и креаторы могут выполнять многошаговое мышление, генерировать контент, анализировать данные и работать с конфиденциальной информацией без интернета.

Данные пользователя хранятся локально с банковским уровнем шифрования, что обеспечивает высокую приватность по сравнению с облачными системами.