跳到正文

方向

本地部署与推理 最新动态

把模型跑在自己机器上:量化、推理引擎、显存优化、微调与蒸馏,以及让更大的无对齐模型跑得起来的工程进展。

2,011 条精选近 30 天 538 条共收录 7,883 条

更新

精选归档 · 第 100 页

10月4日周日第 1981–2000 条
  1. Hugging Face · 新模型:abliterated73

    vaultai 发布 GLM-5.3-Flash-Abliterated MLX 4bit 量化版,上游拒绝率约 1.3%

    vaultai 在 Hugging Face 发布 GLM-5.3-Flash 的 abliterated 4bit 量化版(oQ4e,173 GiB,35 个分片),基于 Blackfrost-Research 的去对齐 BF16 权重,面向 Apple Silicon 的 oMLX 运行时。去对齐在上游权重层完成,Blackfrost-Research 用 R1-HARMFUL-BENCH-450 测得有害提示拒绝率 1.3%(4/300),本 4bit 版仅做了抽查未系统复测。视觉塔与 MTP 草稿头均保留并经真实请求验证,M3 Ultra(256 GB)实测短上下文 DFlash2 解码最高 51.2 tok/s,附带的前缀缓存补丁把多轮长上下文 TTFT 从约 46 s 降到 0.26 s。

    推荐理由:模型卡附上了上游拒绝率实测与 Apple Silicon 上的逐档解码速度和 TTFT 数据,读者可以对照判断量化后的行为和性能。

  2. Hugging Face · 新模型:uncensored74

    TokenTinkerer 发布 Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive 十档 GGUF 量化集

    TokenTinkerer 基于 HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive 发布了 TTQ 十档 GGUF 量化集,从 3.33 bpw 到 6.72 bpw,全部从上游 Q8_K_P 用自建 imatrix 重量化。每档以同一机器同一协议实测 KLD/RMS 与 llama-bench 速度,每档 KLD 均优于上游仓最接近尺寸的量化 1.26× 到 3.51×,同质量档位小 1.44 到 7.90 GiB,匹配对比下 decode 快 6% 到 19%、prefill 快 28% 到 80%。

    推荐理由:作者用同一协议实测十档量化的KLD、体积与速度,并给出与上游仓位的逐项对照,读者可按显存和用途挑选合适的档位。

  3. Hugging Face · 趋势模型64

    nerkyor 发布 Qwen3.8-27B-Coder390 微调版,修复不停止推理问题并放出十余档量化权重

    nerkyor 在 Hugging Face 发布基于 Qwen3.8-27B-EfficientThink 的多轮 SFT 与 RLOO 后训练模型 Qwen3.8-27B-Coder390-EfficientThink,目标是修复原模型已有答案却反复推导直至撞上 94K 上限导致空答案的习惯。GPQA 178/198、MMLU 450/500、LCB 90/100(静态 FP8,原模型为 177/444/83),94K 截断从 GPQA 4 降到 1、LCB 13 降到 3。仓库提供 BF16、静态 FP8、NVFP4、INT8、INT4、GGUF Q2 至 Q8_0 等多档权重,均含内置 MTP,支持 SGLang 免补丁加载,并给出 DFlash2 与 MTP 两种投机解码的测速建议。

    推荐理由:从模型卡给出多档量化的完整三套评测与截断对比,读者可据此判断修复后模型在精度和速度上的实际表现。

  4. Hugging Face · 趋势模型71

    ausboss 发布 Qwen Image 2.1 换装一致性 LoRA

    ausboss 在 Hugging Face 发布 Qwen-Image-2.1-Outfit-Swap-Consistency-LoRA,让 Qwen Image 2.1 在把图片 2 的服装穿到图片 1 人物身上时保持画面原位。在 16 个未训练过的换装样本上,结果偏离从无 LoRA 的 3.6 px 降到 0.1 px,面部明显变化像素从 14.1% 降到 1.7%,背景从 10.8% 降到 0.9%;提供 step 1000/1250/1500 三个权重文件,主推 step 1000,rank 32,用 ostris/ai-toolkit 以 66 对样本训练 1500 步。不改变服装绘制质量,且保持原有姿势,需要换姿势的服装不适用。

    推荐理由:作者用 16 个未训练过的换装样本给出位移、面部和背景像素级对比,读者可据此判断这个 LoRA 值不值得装进自己的 ComfyUI 工作流。

  5. Hugging Face · 新模型:abliterated82

    BoldingBuilds 发布 Qwen3.8-27B Abliterated ThinkFix GGUF 无对齐版本

    BoldingBuilds 在 Hugging Face 发布 Qwen3.8-27B-Abliterated-ThinkFix-GGUF,在移除拒绝行为之外增加一处权重行编辑,使模型完成思考后更快给出答案。

    推荐理由:原文给出多种敏感提示词与代理任务的实测对照数据,可据此评估这个去对齐加推理修复版本的实际取舍。

  6. Hugging Face · 新模型:abliterated56

    Qwen3.8-Flash-Next GSQ-RCO 量化包发布,附运行时去拒绝方向向量与实测数据

    alesha-pro 在 Hugging Face 发布 Qwen3.8-Flash-Next 的 GSQ-RCO 量化包,收录 ISTA-DASLab 的 Q2_0、IQ2_XS、IQ3_XXS、IQ3_S 四档 GGUF(逐字节复制并校验 SHA256),另附一个 480 KB 的拒绝方向向量文件,可在 Strata 引擎中运行时投影去除拒绝行为,权重保持原样。

    推荐理由:原文保留原始量化权重并给出拒绝率、KL 散度和解码速度的实测数据,读者可据此评估运行时去拒绝向量对输出的实际影响。

  7. Hugging Face · 新模型:abliterated80

    TechPrototyper 发布 Qwen3.8-27B GridBook 13GB 视觉版 abliterated 权重

    TechPrototyper 发布了基于 rdtand 的 GridBook 13GB 量化版 Qwen3.8-27B 的 abliterated 变体,通过将 BF16 消融供体权重移植进已有量化 checkpoint 并按原量化网格重编码,不重新量化,仅改动 1363 个张量中的 113 个。

    推荐理由:原文给出在量化格式内做消融的完整方法与拒绝率、工具调用前后对比,读者可据此判断这种不重新量化的去对齐做法是否可靠。

  8. arXiv · cs.AI64

    SEIS 论文提出智能体自我进化方法优化推理系统

    论文提出 SEIS(Self-Evolving Inference Systems),用智能体自我进化在无人干预下端到端优化 mini-sglang 推理引擎。在 H100 上服务 Qwen3-0.6B 时吞吐达到原版 mini-sglang 的 3.27X,并在单请求负载下超过 vLLM、TensorRT-LLM 和 SGLang;正确性通过数值差异及数学、长上下文检索任务的下游准确率验证,会话经验继承的迭代优化优于独立尝试。论文地址 https://arxiv.org/abs/2610.04646v1

    推荐理由:论文用智能体自我进化端到端优化整个推理引擎,并在实测中与 vLLM 等主流引擎做了吞吐对比,方法可迁移到系统优化场景。

10月3日周六
  1. arXiv · cs.CL57

    开放权重 LLM 流水线将 218 万份放射报告存档自动结构化

    一项回顾性研究用开放权重模型 gpt-oss-120B 构建流水线,将自由文本放射报告无人工监督地转为结构化报告,含 150 个分层模板,经三步受限解码选择模板并在单张 GPU 上本地运行。

    推荐理由:论文用开放权重模型在单张 GPU 上无人工监督地结构化了整院放射报告存档,并给出模板选择与内容保真的量化结果。

  2. arXiv · cs.CL70

    arXiv论文:激进GGUF量化的语言模型仍能写出已无法定义的生僻词

    arXiv论文2610.04403审计27个GGUF量化产物,覆盖13个模型族、0.35B-14B参数,用429个低频英文词测试写词与定义两种探针。发现Q2_K下三种状态:完全崩溃、2B以下模型出现严重语义脱节(定义能力比基线低20-67%)、约3B以上基本保持;词表大小不预示损伤(rho=0.12),参数量主导(rho=0.72),Q4_K_M在1B以上词汇无损,且WikiText-2困惑度无法校准该损伤,需逐产物验证。

    推荐理由:论文用429个低频词实测27个GGUF量化产物,指出WikiText-2困惑度无法预警语义损伤,对本地部署有直接参考。

  3. arXiv · cs.CL57

    GlitchPatch:通过局部重切分修复冻结语言模型中的 Glitch Token

    arXiv 论文 2610.04399 提出 GlitchPatch,一种针对冻结语言模型的 glitch token 修复框架,离线阶段用 Behavioral Path Optimization(BPO)为每个 glitch token 找到行为最优替换序列并编译成规则表,在线阶段仅替换匹配的 token ID,不改模型参数或内部状态。在覆盖六种 tokenizer 家族的十个模型上,平均修复率达 85.10%,比最强基线高 14.37 个百分点,平均 glitch 率从 14.88% 降至 2.27%,全词表评估中 RR 为 0.00%,规则未匹配的输入保持不变。

    推荐理由:论文提出不动模型参数的 glitch token 修复框架,并给出十个模型的修复率与副作用数据,方法可复现。

10月2日周五
  1. Hugging Face Blog70

    Ai2 开源科研报告生成模型 AstaBrief 8B 及训练数据

    Ai2 开源了基于 Qwen3-8B 的科研报告生成模型 AstaBrief 8B 及训练数据,模型可将研究问题和检索到的文献片段转化为带引用的报告,已在 Asta 平台作为 Fast mode 上线。

    推荐理由:官方完整披露了 SFT 与 DPO 数据构建、引用密度过滤和评测细节,读者可复用其数据质量过滤方法。

  2. arXiv · cs.CL55

    KV$^2$:一种自精炼 KV cache 压缩方法发布于 arXiv

    论文提出 KV$^2$,一种基于选择性重构的 query 无关 KV cache 压缩方法,先用轻量代理评分器筛选上下文中的有效 token,再仅对该子集重新计算最终淘汰分数。

    推荐理由:论文给出 KV$^2$ 在 RULER 和 LongBench 上随预算收紧而扩大的对比数据,可复用的 KV cache 压缩不必重处理全上下文。

  3. arXiv · cs.CL58

    arXiv 论文从强化学习视角解析 On-policy 蒸馏的收益与坍缩机制

    arXiv 论文 2610.03185 从强化学习视角解释 on-policy 蒸馏(OPD)为何有时提升性能、有时坍缩为过长且重复的生成:教师隐式奖励学生行为,即使教师自身很少表现出这些行为。

    推荐理由:论文用强化学习视角解释 on-policy 蒸馏为何有时提升性能、有时坍缩,并给出掩蔽不健康响应和 SFT 初始化两种缓解手段。

  4. arXiv · cs.CL52

    HARPO:兼顾忠实与创造力的幻觉感知强化学习框架

    论文提出 HARPO 强化学习框架,用可验证反馈训练的幻觉感知生成奖励模型 HA-GRM 联合优化忠实性与创造力,仅对无幻觉输出激活写作奖励,并通过课程从创作任务渐进过渡到幻觉任务。

    推荐理由:论文给出了 HA-GRM 在 RAGTruth 上的 F1 对比和 Qwen3-4B 幻觉率与创作分的前后数据,可评估该框架的实际收益。

  5. Hugging Face Blog54

    ServiceNow CoreAI 发布 AutoSynthData 用智能体失败案例生成企业训练数据

    ServiceNow CoreAI 发布 AutoSynthData,用目标模型的失败和更强教师模型的成功来定位能力缺口,生成经环境验证的合成训练任务用于 SFT。在 EnterpriseOps Gym Hybrid 域用 Gemma-4-26B-A4B-it 配 Qwen3.8-27B 教师生成 2000 样本,Pass@1 相对提升 35%;在 ITSM 域配 DeepSeek-V4.1-Flash 教师生成 1994 样本,Pass@1 从 18.77% 升至 27.18%。

    推荐理由:原文给出从模型失败生成可验证训练任务的完整流程和两组实验数据,方法细节可以直接迁移到企业智能体的数据构造。

  6. Hugging Face · 趋势模型68

    SC117 发布 Qwen3.8-Flash-Next GSQ-RCO 消融版 GGUF,144 张量移植保留原始量化

    SC117 在 Hugging Face 发布 Qwen3.8-Flash-Next-GSQ-RCO-abliterated-GGUF,通过对已量化 GGUF 做 144 个残差流投影张量的字节级移植实现去拒绝,不重算任何 GSQ 学到的量化值。IQ3_S 版经逐张量 blake2b 校验,1223 个张量中 1079 个与上游逐字节一致,decode 速度仅降 0.1%,四个量化档位体积仅比上游多 0.25 至 0.44 GB,行为抽查显示上游拒答的绕过付费墙请求该版本会详细回答。作者提示模型无内置安全护栏,需自行部署审核与访问控制。

    推荐理由:作者用逐张量 blake2b 校验和性能对照说明直接移植已量化张量做消融的代价,方法可复用到其他 GGUF 模型。

10月1日周四
  1. Hugging Face · 趋势模型52

    Cactus Compute 发布端侧语音识别模型 Whistle,整个模型仅 16.9 MB

    Cactus Compute 团队发布面向手机、可穿戴、机器人、智能家居、汽车和微控制器的端侧语音识别模型 Whistle,整个模型为单个 16.9 MB 文件,无需 GPU 和外部依赖,与 Needle 共用同一运行时。支持英德法西意荷波七种语言的转写(单次最长 30 秒)、词级时间戳和语音嵌入,静音返回空文本而非编造句子。WER 基于 86,174 条语音实测,并用与 Whisper、Moonshine 已发布数据对比;精度为 Whistle 2 至 4 bit,Whisper fp32,Moonshine int8。

    推荐理由:原文给出了完整的 WER 基准、精度设置和与 Whisper、Moonshine 的对比口径,读者可以据此评估端侧语音识别的实际表现。

9月29日周二
  1. Ollama Blog64

    Ollama 0.35 支持 Jev 风格决策模型,新增 nimble 与 tev1 等 3 个模型

    Ollama 0.35 新增基于 TypeSafe Jev API 的决策模型支持,通过 /v1/systemone 端点在本地一次请求回答多个命名问题,适用于工单分诊、模型路由和内容审核等快速决策场景。

    推荐理由:官方给出了本地决策模型的延迟数据、三个可用模型和 API 用法,读者可以直接照着在本地跑起来。