uzu ускорил локальный запуск Qwen3.5 в 4 раза

uzu выдал 92,1 токена в секунду на Qwen3.5 9B на базовом MacBook Pro M5, тогда как llama.cpp показал 22,0, а MLX 25,1.

Запустить можно локально, проект открыт и использует speculative decoding: маленькая модель предлагает варианты, а основная проверяет сразу несколько, поэтому в одном проходе принималось в среднем 7,5 токена.

https://github.com/trymirai/uzu