跳到正文
热点事件持续更新

用户实测 Qwen 3.8 27B 重构 shell 脚本:能力强但本地推理极慢

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Reddit 用户 /u/ag789 用 Qwen 3.8 27B 在 MCP 服务器加 Docker 沙箱环境下重构自己的 shell 脚本,为 runmodel.sh 添加 --rundefault 选项,使 llama-server 以默认模型和配置启动。结果模型能主动发现需过滤传给 llama-server 的合成变量,其验证编辑的各 hunk 逐一全部正确;但即便上下文设为 65535,也很快不够用。模型以 medium thinking 运行以避免过度思考。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月27日
  1. Reddit · r/LocalLLaMA
    Qwen 3.8 27B 体验:能力强但本地推理开销巨大

    Reddit 用户用 Qwen 3.8 27B 通过 MCP 服务器和 Docker 沙箱重构 shell 脚本,为 llama-server 添加 --rundefault 选项,模型能主动发现需过滤传给 llama-server 的合成变量,验证编辑逐 hunk 全部正确,但上下文设为 65535 仍很快不够用。在老款 Intel Haswell i7 CPU 上仅约 1 tok/s,满载 AVX2 加速下预填充持续 80°C,整个会话跑了 2-3 小时;Q4 量化估计需 16-24 GB 显存才能上 GPU。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。