ASUS начала продажи компактного ускорителя UGen300 USB AI. Устройство подключается через USB-C и позволяет запускать небольшие ИИ-модели локально — без отправки данных в облако.

Новинка совместима с ноутбуками, смартфонами и одноплатными компьютерами на базе x86 и ARM. Поддерживаются Windows, Linux и Android.

Внутри установлен чип Hailo

Основой устройства стал ускоритель Hailo-10H. Его производительность достигает 40 TOPS при вычислениях INT4 и 20 TOPS в режиме INT8.

UGen300 получил 8 Гбайт памяти LPDDR4-4266. Этого достаточно для запуска небольших языковых и мультимодальных моделей, а также систем компьютерного зрения.

Энергопотребление составляет 2,5 Вт. Подключение выполняется через USB 3.1 Type-C с пропускной способностью до 10 Гбит/с.

Данные можно не отправлять в облако

Главное преимущество ускорителя — локальная обработка информации. Документы, изображения и другие данные остаются на устройстве пользователя, что снижает зависимость от внешних сервисов.

UGen300 поддерживает Keras, TensorFlow, TensorFlow Lite, PyTorch и ONNX. Его можно использовать для создания прототипов, распознавания объектов, классификации изображений и обучения работе с ИИ.

Размер корпуса составляет 105 × 50 × 18 мм, масса — 150 г.

Цена составляет около $300

Версия с 8 Гбайт памяти уже поступила в продажу примерно за $300.

ASUS также готовит более доступную модификацию с 2 Гбайт памяти, но заказать её пока нельзя.

UGen300 не заменит мощную видеокарту в обучении крупных моделей. Зато он позволяет добавить локальные ИИ-функции устройствам, в которых изначально не было отдельного нейроускорителя.