RDNA4 上跑 Qwen 3.8 的当前最优方案是什么？
一位用户在双 R9700 上用 vllm-radiance 运行 Qwen 3.8 27B FP8（Swift 1.5 FP8），获得 5000t/s prefill 和 130t/s+ 代码生成速度，询问 RDNA4 上是否有性能更好的推理方案。vllm-radiance 尚不支持 Qwen 3.8 Flash Next，且用户不想退回 llama.cpp 的性能水平。
#Qwen
新闻、仓库与研究，按时间排列。
Reddit · r/LocalLLaMAAI 评分2323 Hugging Face · 新模型：uncensoredAI 评分4040 
Qwen-Image-2.1 无审查版 GGUF 量化模型发布
Hugging Face 用户 daddysteven 发布 Qwen/Qwen-Image-2.1 的无审查 GGUF 量化版本，提供 BF16（14.23 GB）到 Q4_0（4.15 GB）等多种量化文件，推荐 Q4_K_M 以平衡体积与质量。
GitHub · 去对齐工具与仓库AI 评分5353 hspace 研究仓库探索大语言模型的二阶计算子空间
GitHub 仓库 RaphaelKhalid/hspace 尝试在 Anthropic J-lens（arXiv 2607.15495）之后追问：模型是否存在承载二阶计算的低维子空间 H-space。
Reddit · r/LocalLLaMA精选AI 评分7070 闭式轨迹权重手术：将 Qwen 3.5 4B 能力迁移到 0.8B 而无需数十亿 token
作者提出一种跳过反向传播的闭式轨迹匹配方法，用少量校准提示词和正则化最小二乘直接求解学生模型 MLP 权重，将 Qwen 3.5 4B 能力迁移到 0.8B。
推荐理由：作者给出跳过反向传播的闭式权重迁移方法，并附上失败分析与修复细节，代码和权重均已开源可复现。
GitHub · 去对齐工具与仓库精选AI 评分6262 基于 QLoRA 微调 Qwen2.5-7B-Instruct 处理 CUAD 合同条款分类与问答的开源项目
作者开源了一个用 QLoRA 在 CUAD（510 份商业合同、35 类条款）上微调 Qwen2.5-7B-Instruct 的项目，覆盖条款分类和有依据的条款问答两项任务，LoRA 适配器（165 MB）已上传 Hugging Face（PimoLee5/qwen2.5-7b-cuad-qlora）。
推荐理由：原文给出基座、3-shot 与微调三组对照的完整指标，并人工审计幻觉标记，可看清微调带来的召回与校准收益及其代价。
Hugging Face · 新模型：abliteratedAI 评分4040 Huihui-Qwen3.6-27B-abliterated-AWQ-MTP 发布：Qwen3.6-27B 去审查版
基于 Qwen/Qwen3.6-27B 的去审查（abliterated）版本已在 Hugging Face 上发布，采用 AWQ 量化并支持 MTP 投机解码。在单张 A800 80GB 上配合 vLLM 0.21.0、MTP 与 fp8 KV cache 可达 110+ tok/s，支持 65536 上下文长度。该模型大幅削减安全过滤，建议仅用于研究或受控环境。
GitHub · 灵魂体仓库精选AI 评分6363 llmx：无依赖的 C++17 LLM 推理运行时开源，支持 CPU 与 Vulkan GPU
mxxm-t 在 GitHub 开源了 llmx，一个无依赖的 C++17 LLM 推理运行时，可命令行运行或作为 OpenAI 兼容服务器，支持单机多设备跑同一模型。
推荐理由：README 明确列出了已支持与计划中的模型、量化类型、后端和多设备模式，读者可据此判断该 CPU/Vulkan 推理运行时是否覆盖自己的硬件。
GitHub · 灵魂体仓库精选AI 评分6363 AryenP 开源自托管 LLM 推理平台，附检索与评测门禁
AryenP 在 GitHub 开源了一个自托管 LLM 推理平台，用 vLLM 部署 Qwen3-8B，FastAPI 网关后接 PostgreSQL + pgvector 混合检索，覆盖约 1 万篇 arXiv 摘要（11,991 个 chunk），并用 CLI 评测工具在指标回退时以非零退出码拦截发布。
推荐理由：作者给出 BF16 与 AWQ 在不同并发下的实测延迟和成本数据，并解释了延迟与吞吐为何必须分开测量的方法。
arXiv · cs.CLAI 评分4949 JEV 与 LLM 对比：七项政治科学复现任务中的准确率、成本与校准分析
该研究在七项政治科学复现任务中对比商业模型 JEV 与 GPT-6 Luna、开源 Qwen3.8-27B 及人工编码员。JEV 的准确率接近两款 LLM，单次提问时概率校准优于 GPT-6 Luna 的 token 概率，但不稳定优于 Qwen3.8-27B；在 OpenAI batch 价格下 JEV 无成本优势，主要优点是解析选择概率更方便。
arXiv · cs.CL精选AI 评分5454 T-Search：面向多步检索的开源智能体检索器发布
论文提出开源权重的智能体检索器 T-Search，针对困难多步检索任务，在固定语料上执行有界多轮搜索并返回带简短理由的证据块排序列表，答案生成留给下游模型，后端与生成器可替换而无需重训练。
推荐理由：原文给出多轮检索器在七个基准上的 Recall@10 数据，并开源模型与基准，可作多步检索方案的对比参考。
GitHub · 灵魂体仓库精选AI 评分7474 Slotstream 让 16-64 GB 内存的 Mac 跑起 125B 参数的 Qwen3.8-Flash-Next
Carlos Galarza 发布开源引擎 Slotstream，可将 125B 参数的 Qwen3.8-Flash-Next（约 105 GB）运行在 16-64 GB 内存的 Apple Silicon Mac 上，原理是把共享权重留在内存、按需从 SSD 读取 MoE 专家到缓存。
推荐理由：作者给出了各内存档位的实测速度区间和 0.2.23 版本的 prompt 处理对比数据，读者可以据此判断自己的 Mac 能跑到什么水平。
GitHub · 灵魂体仓库精选AI 评分7373 trillion-labs 开源 trida-stack：将自回归 LLM 转换为 block-diffusion LLM 并提供推理服务
trillion-labs 在 GitHub 开源 trida-stack，一个把自回归 LLM 转换为 block-diffusion LLM 并提供推理服务的仓库，训练与推理两个栈相互独立。
推荐理由：原文给出了从 AR 到 block-diffusion 的转换方法、损失设计和双后端部署细节，读者可以照着复现训练与推理。
Reddit · r/LocalLLaMAAI 评分3838 Qwen 模型（尤其是 27B）被内置规则要求统一自称 "Qwen"、不提版本号
Reddit 用户发现 Qwen 27B 模型在无系统提示词的情况下，内部规则要求其对外统一自称 "Qwen"，不主动提及 Qwen 3、3.5、3.6 等具体版本号，被问及版本时引导用户访问官网或技术报告。其思考轨迹中反复出现不提版本号、不扮演人设的提醒，作者认为许多前沿云端模型也有类似指令。
GitHub · 去对齐工具与仓库AI 评分2828 lergah 发布 qwen36-27b-single-3090：单张 RTX 3090 运行 Qwen3.6-27B
lergah 在 GitHub 开源 qwen36-27b-single-3090 项目，提供优化推理配置，使 Qwen3.6-27B 模型可在单张 RTX 3090 GPU 上运行。相关活跃开发与更新配置见 club-3090 仓库。
arXiv · cs.AI精选AI 评分6464 研究视觉语言模型视觉定位输出的安全对齐缺口
arXiv 论文 2610.05637 系统研究了视觉语言模型（VLM）视觉定位输出的安全性，将 VLSU、BBQ-V、Asimov-2.0 三个安全基准改造成 15,401 对仅在输出形式上不同的匹配请求。
推荐理由：论文用 15,401 对匹配请求量化了 VLM 在 grounding 输出上比 VQA 更不安全的差距，并给出可复用的微调方法与提升数据。
arXiv · cs.AI精选AI 评分5252 Infinite-Dreamer：用图像编辑世界模型合成数据训练 GUI Agent
论文提出 Infinite-Dreamer，一种免仿真的数据合成方法，通过像素级图像编辑世界模型将 GUI 状态转移建模为图像编辑任务，利用 VLM 将动作引起的 UI 变化描述为结构化 delta-text，再微调图像编辑骨干网络合成逼真的截图过渡，生成单帧视觉鲁棒性数据与多步想象轨迹。
推荐理由：论文用图像编辑世界模型合成 GUI 训练数据，仅凭合成数据微调 Qwen3-VL 即在 AndroidWorld 等基准上超过基线。
arXiv · cs.CL精选AI 评分6565 MemStrata 论文：本地 Qwen 3.8 27B 读取器在 LongMemEval-500 达 95% 源感知准确率
论文提出源感知评分方法，由裁判先对照完整对话源再评判系统答案，并用本地 Qwen 3.8 27B Q4_K_M 读取器测试 MemStrata CL1。
推荐理由：论文用源感知评分重新衡量长对话记忆基准，同一答案在两种评分下差距明显，提示仅对照参考答案的榜单可能低估系统。
Reddit · r/LocalLLaMAAI 评分3434 Qwen 3.8 27B 实际体验平平？LocalLLaMA 用户质疑口碑与现实的落差
一位软件开发者在 r/LocalLLaMA 发帖称，在 32GB VRAM 上用 Unsloth Q6 版本搭配 OpenCode 运行 Qwen 3.8 27B，小任务尚可（30-40 t/s），但复杂任务常陷入"but wait"式思考循环，甚至耗尽 95k 上下文窗口而无产出，还曾误用 pkill -f 杀掉其正在编辑的文件相关进程。
Reddit · r/LocalLLaMA同新闻AI 评分6868 RX 580 8GB 上通过 Vulkan 跑 6 个 LLM 加 SD 3.5 和 Whisper 并附实测基准
/u/Heavy-Level-5215 在被 ROCm 放弃的 RX 580 8GB 上改用 Mesa RADV 的 Vulkan 路线，通过 OpenAI 兼容路由在单卡上运行 qwen2.5-coder 1.5B/7B。
同一新闻，精选展示《在 RX 580 8GB 上用 Vulkan 跑 6 个 LLM 加 SD 3.5 和 Whisper 并附实测数据》
Hugging Face · 新模型：uncensoredAI 评分3434 
Qwen-Image-2.1 Uncensored GGUF 量化版本发布
Nylonek 在 Hugging Face 发布 Qwen/Qwen-Image-2.1 的 Uncensored GGUF 量化版本，提供 BF16、FP8、Q8_0、Q6_K、Q4_K_M 等多种格式，文件大小从 4.15 GB 到 14.23 GB 不等，推荐兼顾体积与质量的 Q4_K_M。
GitHub · 灵魂体仓库AI 评分5252 iyulab 开源 IndexThinking：面向推理模型的 LLM 集成工作记忆管理库
iyulab 在 GitHub 开源 IndexThinking，一个面向具备推理能力大语言模型的单轮工作记忆管理库，MIT 协议。核心功能包括截断自动续写（WasTruncated 标记）、统一各厂商思考格式的推理提取、会话级上下文滑动窗口、token 用量追踪与截断 JSON/代码块修复；提供内存、分布式缓存和可选 SQLite 状态存储。
Reddit · r/LocalLLaMAAI 评分5353 
CivBench 用 Civilization V 评测 LLM：GLM-5.3 领先 Opus-5.5，Qwen-3.8-27B 表现亮眼
作者发布受控版 CivBench，让 LLM 在 Civilization V 中担任战略家，测试长周期决策能力。每局固定三个相同开局，八文明中两个由被测 LLM 控制高层策略、六个由标准 Vox Populi AI 执行，结果显示 GLM-5.3 领先 Opus-5.5，Qwen-3.8-27B 表现出色。
GitHub · 去对齐工具与仓库精选AI 评分6363 
Jiaming Yue 实测 Qwen3.5-9B、Qwen3.8-27B 与 gemma-4-26B-A4B-it 本地工具调用能力
作者 Jiaming Yue 发布可复现的本地开源模型工具调用评测项目，用官方 BFCL 数据和逐条评分代码对比三个本地部署模型，三个模型各完成全部 3641 个单轮用例。
推荐理由：作者用官方 BFCL 数据和逐条评分代码实测三个本地开源模型的工具调用表现，并公开全部原始输出与复现脚本，便于核对与复跑。
GitHub · 去对齐工具与仓库AI 评分4343 FengPwner/IamAI：一个由 AI 每十分钟自动提交一次的仓库
FengPwner/IamAI 是一个由千问、豆包、Kimi、guoban、workbuddy 等 AI 写手持续编写的仓库，写手循环每隔十几秒落一笔，commit_batch 每 10 分钟打包成一个 commit。截至 2026-10-05 已有 785 次提交、320 个追踪文件、664 个测试函数，测试闸门 pytest 红灯时写手暂停，无产出时打 quiet batch 心跳提交。
Hugging Face · 新模型：abliteratedAI 评分4444 Huihui-Qwen3.8-27B-abliterated：Qwen3.8-27B 去审查版本在 Hugging Face 发布
huihui-ai 基于 abliteration 技术发布 Qwen/Qwen3.8-27B 的去审查版本 Huihui-Qwen3.8-27B-abliterated，无需 TransformerLens 即可移除模型拒绝行为。
Hugging Face · 新模型：abliteratedAI 评分1212 Hugging Face 模型仓库 Beached89/Qwen3.8-27B-Q3_K_XL-abliterated 上线
Hugging Face 上架了 Beached89 发布的 abliterated 版模型仓库 Qwen3.8-27B-Q3_K_XL-abliterated，为 Q3_K_XL 量化版本。该模型目前未被任何 Inference Provider 部署，也不统计下载量，README 为空。
Hugging Face · 新模型：uncensoredAI 评分1818 Qwen2.5-1.5B-Instruct-uncensored 发布 LiteRT-LM 端侧转换版本
社区用户将 thirdeyeai/Qwen2.5-1.5B-Instruct-uncensored 转换为 LiteRT-LM（.litertlm）格式，可在 Android 与桌面端通过 Google AI Edge LiteRT-LM / MediaPipe 端侧运行。
Reddit · r/LocalLLaMA精选AI 评分6363 Jeff v1.3 发布：Jeff-Code 让 Qwen 3.8-27B 完成编码任务平均提速 47%
Jeff v1.3 发布，其中 Jeff-Code 是 Pi（MIT 协议）的分支，内置两个为 Qwen 3.8-27B 训练的 Jeff v1.3 适配器，让一个小型决策模型深入 agent 循环决定何时触发思考。
推荐理由：原文给出按任务配对的对照数据和置信区间，读者可以据此判断这个决策模型方案在哪些基准上真正省时。
Hugging Face · 新模型：uncensoredAI 评分4040 
Shihan420/Qwen-Image-2.1-Uncensored-GGUF 量化版本发布
Hugging Face 用户 Shihan420 发布 Qwen/Qwen-Image-2.1 的 Uncensored GGUF 量化版本，提供 BF16、Q8_0、Q6_K、Q4_K_M 等多种格式，其中 Q4_K_M（4.60 GB）被推荐为体积与质量的最佳平衡。
Reddit · r/LocalLLaMAAI 评分1818 Qwen3.8-Flash-Next 是不是太“手痒”了？用户实测吐槽其工具调用过于激进
有用户在 r/LocalLLaMA 反馈，Qwen3.8-Flash-Next 在编码和语音智能体场景中工具调用过于频繁，常在只要求分析时直接改代码，甚至自行创建 issue。对比之下，DeepSeek v4 flash 同样激进，而 MiMo-V2.6-Flash-MOPD 作为编码智能体体验更佳。发帖者询问能否通过提示词控制该行为。
Reddit · r/LocalLLaMA精选AI 评分6161 M3 Max 36 GB 上四款 MLX 推理引擎实测：Qwen3.6-35B-A3B 达 110 tok/s
作者在 36 GB M3 Max MacBook Pro 上实测 oMLX 0.7.0、Rapid-MLX 0.15.5、Splash 1.2.1 与 MTPLX 2.12.2 四款推理引擎，测试 Qwen3.8-27B-4bit 与 Qwen3.6-35B-A3B-4bit。
推荐理由：作者在同一台 M3 Max 上用统一流程实测四款 MLX 推理引擎，还指出 KV cache 跨重启保留会误导二次跑分。
Reddit · r/LocalLLaMAAI 评分2929 Qwen3.8-27B 获 LocalLLaMA 用户盛赞：本地智能体任务零失败
一位 Reddit 用户分享 Qwen3.8-27B 的使用体验：以 q3_k_xl 量化运行，成功完成配置 OpenWebUI、调试 Cloudflare tunnel、修复 bug 等任务，至今没有真实任务失败。作者还称赞 unsloth 的 UD3.0 量化方案，称降到 q2_k_xl 仍能正常工作，并期待 Qwen4-27B。
Reddit · r/LocalLLaMA精选AI 评分7373 
Qwen3.8-Flash-Next (125B) 量化权重与 Kyojin 引擎发布，单台 Strix Halo 迷你主机跑出 44-59 tok/s
Yamz Labs 发布了 Qwen3.8-Flash-Next（125B MoE，6B 激活）的 95 GB EXL3 量化权重和自研推理引擎 Kyojin 新版本（基于 ExLlamaV3，开放源码），可在单台 AMD Strix Halo 迷你主机（Ryzen AI Max+ 395，128 GB）上运行。
推荐理由：作者给出了与 FP8 原模型的 top-1 一致率以及和 Halogen、llama.cpp 的同机对比数据，可据此评估这套量化方案的实际取舍。
Reddit · r/LocalLLaMAAI 评分3838 微调 1.5B Qwen 生成 bash 命令达 GPT-4o 水平，数据集完全开源
有开发者在 r/LocalLLaMA 分享业余项目：用约 40 万条全合成数据微调 1.5B 的 Qwen，使其生成 bash 命令的能力达到 GPT-4o 水平。训练流程以自动化为主，微调数据集已完全开源，模型与 CLI 工具一并放出，任何人可自由训练或使用该数据。
Reddit · r/LocalLLaMA精选AI 评分5858 本科生发布自研 4-bit Qwen2.5 量化模型，fp16 精度保持优于官方 AWQ
一位本科生在 Claude 辅助下开发了一个 GPTQ 量化器，在 Qwen2.5-1.5B 和 7B 上产出 4-bit 权重，由 M. Federico 在 NVIDIA A10G 上用独立脚本复现结果。
推荐理由：作者给出自建 GPTQ 量化器的具体改进点，并附 fp16 与官方 AWQ 的困惑度和 HumanEval 对照数据，还坦陈了局限。
Hugging Face · 新模型：uncensoredAI 评分5757 
Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored GGUF 微调发布
作者在 Hugging Face 发布了基于 Qwen3.8-27B 的多阶段微调 GGUF 量化版本，用 Heretic v1.2.0 加 ARA 方法去审查，Stage 1 拒绝率从原版 99/100 降到 0/100（KL 散度 0.0535），Stage 2 为 11/100（KL 0.0025）。
Hugging Face · 趋势模型精选AI 评分5757 speridlabs 发布 3B 像素空间扩散模型 Iris-3B
speridlabs 在 Hugging Face 发布 3B 参数的像素空间扩散 Transformer 模型 Iris-3B，不经过 VAE 和潜空间，直接输出每个像素，文生图默认 1024×1024，需 NVIDIA GPU，采用 Apache License 2.0，文本编码器为冻结的 Qwen3-VL-4B-Instruct。
推荐理由：原文同时给出架构细节、训练步数与 depth、修复任务的量化指标，可作为像素空间生成路线的参考样本。
Hugging Face · 新模型：uncensored同新闻AI 评分6060 
Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored GGUF 量化发布
Humberto16 在 Hugging Face 发布基于 Qwen3.8-27B 的多阶段微调 GGUF 量化版，8bit ARC-C 达 0.735、ARC-E 0.882，4bit ARC-C 0.719，均高于原版 Qwen3.8-27B（8bit ARC-C 0.591）。
同一新闻，精选展示《TopherAU 发布 Qwen3.8-27B TURBO 去审查 GGUF 微调版，ARC-C 达 735》
Hugging Face · 新模型：uncensored精选AI 评分5858 Qwen3.5-2B 去审查量化版 Q4_K_M 发布，附 Pareto 最优配方与复现配置
作者发布基于 Abliterix SOM 方法对 Qwen3.5-2B 去审查后的 Q4_K_M 量化版本，选用综合表现最优的 Trial #107，拒绝率 0.49%（2/408），KL 散度 0.2686 nats/token。
推荐理由：原文给出各拒绝率档位的 Pareto 最优解及 KL 散度数据，读者可据此比较不同去审查配方的拒绝率与知识损伤权衡。
Hugging Face · 趋势模型AI 评分3434 Perplexity AI 发布 pplx-decider-v1.1-27b，Decision Index 升至 61.56
Perplexity AI 发布 pplx-decider-v1.1-27b，基于同一 Qwen3.8-27B 骨干，Decision Index 总分从 56.4 提升至 61.56，领先 Jev 超过 3.5 分。提升主要来自移除因果掩码及引入 tasksource 等更多训练数据。模型为私有仓库，需 Python 3.12+ 与约 49 GiB 显存，图像决策默认上限 2048×2048 像素，训练与评测时上限为 512×512。