MemStrata 论文:本地 Qwen 3.8 27B 读取器在 LongMemEval-500 达 95% 源感知准确率
论文提出源感知评分方法,由裁判先对照完整对话源再评判系统答案,并用本地 Qwen 3.8 27B Q4_K_M 读取器测试 MemStrata CL1。
推荐理由:论文用源感知评分重新衡量长对话记忆基准,同一答案在两种评分下差距明显,提示仅对照参考答案的榜单可能低估系统。
模型与平台
阿里千问系列的开源权重发布、量化版与社区衍生变体。
129 条精选近 30 天 128 条共收录 446 条
论文提出源感知评分方法,由裁判先对照完整对话源再评判系统答案,并用本地 Qwen 3.8 27B Q4_K_M 读取器测试 MemStrata CL1。
推荐理由:论文用源感知评分重新衡量长对话记忆基准,同一答案在两种评分下差距明显,提示仅对照参考答案的榜单可能低估系统。
作者 Jiaming Yue 发布可复现的本地开源模型工具调用评测项目,用官方 BFCL 数据和逐条评分代码对比三个本地部署模型,三个模型各完成全部 3641 个单轮用例。
推荐理由:作者用官方 BFCL 数据和逐条评分代码实测三个本地开源模型的工具调用表现,并公开全部原始输出与复现脚本,便于核对与复跑。
Jeff v1.3 发布,其中 Jeff-Code 是 Pi(MIT 协议)的分支,内置两个为 Qwen 3.8-27B 训练的 Jeff v1.3 适配器,让一个小型决策模型深入 agent 循环决定何时触发思考。
推荐理由:原文给出按任务配对的对照数据和置信区间,读者可以据此判断这个决策模型方案在哪些基准上真正省时。
作者在 36 GB M3 Max MacBook Pro 上实测 oMLX 0.7.0、Rapid-MLX 0.15.5、Splash 1.2.1 与 MTPLX 2.12.2 四款推理引擎,测试 Qwen3.8-27B-4bit 与 Qwen3.6-35B-A3B-4bit。
推荐理由:作者在同一台 M3 Max 上用统一流程实测四款 MLX 推理引擎,还指出 KV cache 跨重启保留会误导二次跑分。
Yamz Labs 发布了 Qwen3.8-Flash-Next(125B MoE,6B 激活)的 95 GB EXL3 量化权重和自研推理引擎 Kyojin 新版本(基于 ExLlamaV3,开放源码),可在单台 AMD Strix Halo 迷你主机(Ryzen AI Max+ 395,128 GB)上运行。
推荐理由:作者给出了与 FP8 原模型的 top-1 一致率以及和 Halogen、llama.cpp 的同机对比数据,可据此评估这套量化方案的实际取舍。
一位本科生在 Claude 辅助下开发了一个 GPTQ 量化器,在 Qwen2.5-1.5B 和 7B 上产出 4-bit 权重,由 M. Federico 在 NVIDIA A10G 上用独立脚本复现结果。
推荐理由:作者给出自建 GPTQ 量化器的具体改进点,并附 fp16 与官方 AWQ 的困惑度和 HumanEval 对照数据,还坦陈了局限。
作者发布基于 Abliterix SOM 方法对 Qwen3.5-2B 去审查后的 Q4_K_M 量化版本,选用综合表现最优的 Trial #107,拒绝率 0.49%(2/408),KL 散度 0.2686 nats/token。
推荐理由:原文给出各拒绝率档位的 Pareto 最优解及 KL 散度数据,读者可据此比较不同去审查配方的拒绝率与知识损伤权衡。
StillDeadcode 发布 Qwen3.8-Flash-Next 的无对齐版本,消融了原模型的拒绝方向,打包为单一 .rad 容器用于 radiance 推理引擎(AMD RDNA4、ROCm)。
推荐理由:模型卡不仅宣布去对齐,还给出与 bf16 原始权重的全词表 KL 散度和 top-1 一致率数据,可据此评估量化误差。
orcarouter 在 Hugging Face 放出 Qwen3.8-Flash-Next 的去对齐(abliterated)GGUF 量化版本,覆盖 2-bit 到 8-bit,供 llama.cpp 运行。
推荐理由:原文给出消融后拒绝率从64-100%降到约0-3.3%、能力与基线差±2分以内的实测数据,并说明各量化的取舍。
Unsloth 在 Hugging Face 发布 Qwen3.8-27B 的 Dynamic V3.0 GGUF 量化版本,称同等体积下精度比其他所有 GGUF 提供方高出逾 10%。
推荐理由:原文给出了 Dynamic v3.0 量化在同等体积下与其他 GGUF 提供方的精度对比,以及 27B 密切模型的完整架构与部署参数。
shefowl 发布了 Qwen3.8-Flash-Next 的混合精度 GGUF,非专家张量取自 SC117 的 IQ3_XXS 档、路由专家张量取自 Q2_0 档,逐字节复制未重新量化,权重为上游已去拒绝的 abliterated 版本。
推荐理由:作者给出了与 IQ3_XXS 和 Q2_0 档在困惑度、解码速度和内存占用上的实测对比,可据此权衡这套混合量化的取舍。
发布 Swift-Qwen3.8-27B 的 abliterated 无对齐版本,采用 orcarouter/Qwen3.8-27B-Uncensored 的单方向拒绝消融方法,从权重差异中恢复拒绝方向后投影到 Swift 的 131 个张量。
推荐理由:原文给出拒绝率与 KL 散度的前后对照数据,以及恢复拒绝方向并投影到 Swift 权重的完整方法,可复现性较强。
xannie1 在 Hugging Face 发布 Qwen3.8-27B RVN Heretic Abliterated Uncensored GGUF,在 trohrbaugh 的 heretic-ara 基础上追加两轮全权重 ARA 消融,有害提示拒绝率从 3/100 降至 0-1/100,KL 损伤从 0.0535 降到 0.0085。
推荐理由:原文给出两轮 ARA 消融后的拒绝率与 KL 前后对比数据,并附各量化的 PPL 和 MTP 实测速度,便于按硬件选文件。
Qwen 团队在 Hugging Face 开放 Qwen3.8-Flash-Next 权重,这是支撑 Qwen4 架构的实验性预览版本,总参数 125B、激活 6B,另有 51B n-gram 嵌入和 4B MTP。
推荐理由:官方模型卡给出了完整架构细节与多基准对比数据,读者可以据此评估新架构在长上下文和 Agent 任务上的实际表现。
DavidAU 在 Hugging Face 发布基于 Qwen/Qwen3.8-27B 的多阶段微调去审查版 Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored 的 GGUF 量化。
推荐理由:作者给出了用 Heretic ARA 方法去审查的拒绝率前后数据,并附各量化档位与 Qwen 官方模型的基准对比,可核验其宣称。
ISTA-DASLab 发布 Qwen3.8-Flash-Next 的 GSQ-RCO Coder 压缩版 GGUF 权重,通过移除一半路由专家并将剩余权重存为 3.5 bpw,使 176.9B 参数模型的常驻显存从 354 GB 降至 29.6 GB,可装入单张 32 GB 加速卡。
推荐理由:原文给出压缩方法细节与 SWE-bench、LiveCodeBench 前后对比,读者可据此评估专家剪枝加量化的实际代价。
OrcaRouter 发布 OrcaSAQ-2-27B-Uncensored GGUF,将无对齐的 Qwen3.8-27B 从 54.7 GB BF16 压缩到 15.7 GB,PPL 仅 +0.80%,Top-1 agreement 94.4%,mean KLD 0.020。
推荐理由:原文给出了量化后与 BF16 基线的 PPL、Top-1 agreement 和 KLD 对照数据,可据此评估这类高压缩权重的保真程度。
Viggle 在 Hugging Face 发布 Qwen/Qwen-Image-2.1 的少步蒸馏版本 Qwen-Image-2.1-viggle-turbo,以 LoRA 形式实现 6 步生成替代 40 步,无需 CFG,端到端约快 5 倍,质量与基座接近。
推荐理由:原文给出蒸馏步数、速度倍数、各量化格式的 LPIPS 对比和已知短板,读者可据此判断该 LoRA 是否适合自己的部署场景。
ISTA-DASLab 发布 Qwen3.8-Flash-Next 的 GSQ-RCO 非均匀量化 GGUF,提供 Q2_0、IQ2_XS、IQ3_XXS、IQ3_S 四档及多模态 mmproj 文件。
推荐理由:原文给出四个量化档位的实测跑分、吞吐与显存占用数据,读者可按内存预算与质量需求直接选型。
千问(Qwen)开源 Qwen-Image-2.1,一个统一的文生图与图像编辑模型,视觉生成组件仅 7B 参数(32 层 Single-Stream DiT)。
推荐理由:官方发布页给出了架构规模、四项改进点和 diffusers 快速上手代码,读者可以直接评估生成与编辑能力是否匹配自己的用途。