Reddit · r/LocalLLaMA· /u/myanimal22·· 12 天前AI 评分31
Qwen3.8-Flash-Next 能否打破 ESP32 语音助手“8B 太笨、70B 太慢”的困局？
For an ESP32 voice assistant, is Qwen3.8-Flash-Next (via Strata) the first local model where 8B is too dumb and 70B is too slow actually stops being true?
来源与原文
Reddit · r/LocalLLaMA
作者：/u/myanimal22
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1x65pou/for_an_esp32_voice_assistant_is_qwen38flashnext/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
Reddit r/LocalLLaMA 用户讨论用 Qwen3.8-Flash-Next（125B 总参数、每 token 激活 6B、128k 上下文）经 Strata 跑在 12GB VRAM + 64GB RAM 上，作为 ESP32 语音助手本地大脑，实测 44-65 tok/s，提供 OpenAI 兼容端点。该模型为预览版、刻意欠训练，基准分数来自 FP8 而非适配 12GB 的 Q2/IQ3 量化，且需 64GB 系统内存。发帖者询问是否有人实测过 125B 级 MoE 语音助手的端到端延迟。
来源：Reddit · r/LocalLLaMA · reddit.com