用户实测 Qwen 3.8 27B 重构 shell 脚本:能力强但本地推理极慢
热点事件持续更新
用户实测 Qwen 3.8 27B 重构 shell 脚本:能力强但本地推理极慢
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Reddit 用户 /u/ag789 用 Qwen 3.8 27B 在 MCP 服务器加 Docker 沙箱环境下重构自己的 shell 脚本,为 runmodel.sh 添加 --rundefault 选项,使 llama-server 以默认模型和配置启动。结果模型能主动发现需过滤传给 llama-server 的合成变量,其验证编辑的各 hunk 逐一全部正确;但即便上下文设为 65535,也很快不够用。模型以 medium thinking 运行以避免过度思考。
AI 根据报道生成 · 1 小时前更新
最新进展10月27日 23:44
Qwen 3.8 27B 体验:能力强但本地推理开销巨大报道时间线
沿着报道,了解事件的不同侧面。
10月27日
- Reddit · r/LocalLLaMAQwen 3.8 27B 体验:能力强但本地推理开销巨大
Reddit 用户用 Qwen 3.8 27B 通过 MCP 服务器和 Docker 沙箱重构 shell 脚本,为 llama-server 添加 --rundefault 选项,模型能主动发现需过滤传给 llama-server 的合成变量,验证编辑逐 hunk 全部正确,但上下文设为 65535 仍很快不够用。在老款 Intel Haswell i7 CPU 上仅约 1 tok/s,满载 AVX2 加速下预填充持续 80°C,整个会话跑了 2-3 小时;Q4 量化估计需 16-24 GB 显存才能上 GPU。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。