跳到正文
#推理引擎
10月5日周一
  2. Hugging Face · 趋势模型65

    Liquid AI 发布基于 LFM2.5-VL-3B 的决策模型 d1-3B

    Liquid AI 发布 3.1B 参数的多模态决策模型 d1-3B，基于 LFM2.5-VL-3B 后训练，对状态（文本、JSON 或图片）中的一组问题一次前向返回带置信度的类型化答案，零输出 token。Decision Index 0.2.1 得分 48.57，高于所有 4B 和 9B 模型及 Decider 35B-A3B（47.11）；RTX 4090 上单次决策 8 ms，AMD MI325X 上打包 64 个状态吞吐达 1,106/s。它不是聊天模型，适用于路由、分类、审核、reranking、LLM-as-a-judge 等场景。模型卡：https://huggingface.co/LiquidAI/d1-3B

    推荐理由：官方给出了完整基准表和各硬件实测延迟，读者可以据此判断这个 3B 决策模型在自己的部署场景里是否划算。

  5. GitHub · 去对齐工具与仓库76

    PXA v2026.10.2 发布：面向 P100/V100 的推理引擎与 PXQN 量化格式

    poisonxa16 发布 PXA v2026.10.2，为 Tesla P100、V100 和 GTX 10 系列提供 PXQN 量化格式、tensor split、MTP 投机解码与一键 PXA Control 网页控制台。

    推荐理由：原文给出了 PXQN 各档位与 K-quant 的 KL 散度对比和 P100/V100 实测速度表，可据此评估老卡部署 27B 的收益。

  9. Hugging Face · 趋势模型69

    NVIDIA 发布 Nemotron-3.5-Bolt-E4B-4GB 量化小模型

    NVIDIA 在 Hugging Face 发布 NVIDIA-Nemotron-3.5-Bolt-E4B-4GB，从 Gemma-4-E4B-it 后训练而来，Q4_K_M 量化、总参数 8B（有效 4B），上下文最长 64K tokens，采用 OpenMDW-1.1 许可。模型主打低内存、低 TTFT 的本地语音助手、交互人格和嵌入式接口，支持多轮工具调用、指令遵循、可开关的思考模式与运行时思考预算，可搭配 DFlash drafter 做投机解码，llama.cpp 部署，10/23/2026 GA。

    推荐理由：官方给出了 BF16 与 Q4_K_M 两档精度、多组同类小模型的同基准横向对比数据，读者可直接核对这个 4GB 级小模型的实际水平。

  10. Hugging Face · 趋势模型81

    Qwen3.8-Flash-Next 开放权重发布：125B 参数激活 6B，原生 262K 上下文

    Qwen 团队在 Hugging Face 开放 Qwen3.8-Flash-Next 权重，这是支撑 Qwen4 架构的实验性预览版本，总参数 125B、激活 6B，另有 51B n-gram 嵌入和 4B MTP。

    推荐理由：官方模型卡给出了完整架构细节与多基准对比数据，读者可以据此评估新架构在长上下文和 Agent 任务上的实际表现。

  11. Hugging Face · 趋势模型82

    DeepSeek-AI 发布 DeepSeek-V4.1-Flash：552B 多模态 MoE 模型，支持 1M token 上下文与 KV cache 压缩

    DeepSeek-AI 在 Hugging Face 发布多模态 MoE 模型 DeepSeek-V4.1-Flash，552B 骨干参数、每 token 预填充激活 8B、解码激活 16B，支持 1M token 上下文，MIT License 开放权重。

    推荐理由：原文给出CED架构与CSA2等KV cache压缩设计细节，并附同框架基准分数，读者可自行对比它与V4-Flash及前沿模型的性价比。

  12. Hugging Face · 趋势模型61

    TaichuAI 发布 9B 多模态基础模型 ZDTaichu5.0-9B

    TaichuAI 在 Hugging Face 开放 ZDTaichu5.0-9B 权重，这是一个面向视觉理解、空间推理、Agent 工具调用与具身智能研究的多模态基础模型，采用 Qwen3.5-9B 语言骨干加 C-RADIOv4-H 视觉编码器，支持文本、单图、多图和视频输入，任意分辨率，上下文最长 128K tokens。

    推荐理由：模型卡附完整基准表，把该模型与同规模开源及闭源 VLM 在空间、具身和 Agent 任务上逐项对比，便于按需选型。

  13. Hugging Face · 趋势模型68

    Contrastive-LM 发布开放权重模型 CLM-v0.1-8B（Apache 2.0）

    Contrastive-LM 开源了 CLM-v0.1-8B 权重（Apache 2.0），这是一个基于冻结 Qwen3-8B 编码器加状态头与动作头的 System One 对比学习模型，用于快速决策打分。

    推荐理由：原文给出了与 Jev 的延迟对比和 DeepSWE、Terminal-Bench 具体分数，读者可据此评估该快速决策模型的实际性价比。

  14. Hugging Face · 趋势模型75

    Qwen3.8-27B 开放权重发布：原生视觉语言稠密模型

    千问（Qwen）在 Hugging Face 开放 Qwen3.8-27B 后训练权重，称其为 Qwen 开放模型家族迄今最强一代，基于 Qwen3.5 架构、27B 参数稠密模型，原生支持图像与视频理解。

    推荐理由：原文给出与 Qwen3.6-27B、Qwen3.7-Plus、Muse Glimmer-30B、Opus4.6 Max 在编码、Agent 和视觉任务上的完整对照数据，读者可据此评估这个 27B 稠密模型在自家工作流中的实际取舍。

  15. Hugging Face · 趋势模型67

    Aleph Alpha 发布 MoE 推理模型 Kolibri 1，开放 Apache 2.0 权重

    Aleph Alpha 开源了 MoE 推理模型 Kolibri 1，总参数 78B、每 token 激活 3.46B，专注德语和英语，支持显式推理模式与工具调用，原生上下文 262,144 tokens，可外推至 1,048,576 tokens，权重采用 Apache 2.0 许可。

    推荐理由：模型卡附完整技术报告，给出训练配置、能耗数据与同设置下的德英双语评测对比，可据此评估其实际水平。

  19. Reddit · r/LocalLLaMA19

    LLM 推理资源监控面板开发中：轻量 64MB、全本地、支持多引擎

    一位开发者在 r/LocalLLaMA 展示一款正在开发中的 LLM 推理资源监控面板，容量上限 64MB、完全本地运行，可经由 collector 扩展到网络 API 端点，支持 llama、strata、自定义 CUDA 引擎、unsloth 和 LMS 多种引擎。该工具提供比默认端点 API 更丰富的日志与指标，尚未公开发布。

10月4日周日
  1. Hugging Face · 新模型：uncensored74

    TokenTinkerer 发布 Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive 十档 GGUF 量化集

    TokenTinkerer 基于 HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive 发布了 TTQ 十档 GGUF 量化集，从 3.33 bpw 到 6.72 bpw，全部从上游 Q8_K_P 用自建 imatrix 重量化。每档以同一机器同一协议实测 KLD/RMS 与 llama-bench 速度，每档 KLD 均优于上游仓最接近尺寸的量化 1.26× 到 3.51×，同质量档位小 1.44 到 7.90 GiB，匹配对比下 decode 快 6% 到 19%、prefill 快 28% 到 80%。

    推荐理由：作者用同一协议实测十档量化的KLD、体积与速度，并给出与上游仓位的逐项对照，读者可按显存和用途挑选合适的档位。

  2. Hugging Face · 趋势模型64

    nerkyor 发布 Qwen3.8-27B-Coder390 微调版，修复不停止推理问题并放出十余档量化权重

    nerkyor 在 Hugging Face 发布基于 Qwen3.8-27B-EfficientThink 的多轮 SFT 与 RLOO 后训练模型 Qwen3.8-27B-Coder390-EfficientThink，目标是修复原模型已有答案却反复推导直至撞上 94K 上限导致空答案的习惯。GPQA 178/198、MMLU 450/500、LCB 90/100（静态 FP8，原模型为 177/444/83），94K 截断从 GPQA 4 降到 1、LCB 13 降到 3。仓库提供 BF16、静态 FP8、NVFP4、INT8、INT4、GGUF Q2 至 Q8_0 等多档权重，均含内置 MTP，支持 SGLang 免补丁加载，并给出 DFlash2 与 MTP 两种投机解码的测速建议。

    推荐理由：从模型卡给出多档量化的完整三套评测与截断对比，读者可据此判断修复后模型在精度和速度上的实际表现。

  3. Hugging Face · 新模型：abliterated32

    Huihui-Qwen3.8-27B-abliterated-AWQ-MTP：基于 Qwen3.8-27B 的去审查 AWQ 版本

    Hugging Face 上发布 Huihui-Qwen3.8-27B-abliterated-AWQ-MTP，这是用 abliteration 技术对 Qwen/Qwen3.8-27B 去除拒绝行为后的无审查版本。模型支持 AWQ Marlin kernel 和 MTP 投机解码，在单张 A800 80GB 上（vLLM 0.21.0、MTP 开启、fp8 KV cache）达到 110+ tok/s，支持 65536 上下文长度。发布方警告安全过滤大幅减弱，仅建议用于研究和受控环境。

  4. arXiv · cs.AI48

    PyINE：基于代码执行的可扩展引导与监督框架发布

    研究者推出 PyINE 框架，以带插桩的 Python 程序执行轨迹作为可验证基础来研究大语言模型的“捷径”行为监督问题。首个版本 PyINE-v1 包含近 100 万条确定性执行轨迹和超 50 万个匹配的 LLM 生成代码变体，并用 RL 训练出一个会跟随误导性线索的捷径模型。评估发现，便宜的习得式监督器常漏掉罕见的捷径错误，而更强的基于模型的检查更均衡但成本显著更高。

  5. arXiv · cs.CL37

    WNet：用离散小波变换实现高效 token mixing

    arXiv 论文提出 WNet，一种用离散小波变换（DWT）替代 self-attention 的 Transformer 编码器，包含线性融合、学习门控和 token 选择尺度三种无注意力 mixer，混合版仅在最后一层保留 self-attention。分析显示 Haar 等双抽头滤波器无法跨越固定块关联 token，更长滤波器可在两层内覆盖整个序列。在 C4 预训练和 GLUE 微调上与 BERT、FNet 对比，token 门控 mixer 在 256 token 时训练速度与 attention 相当，4096 token 时快 2.7 倍。

  7. arXiv · cs.AI64

    SEIS 论文提出智能体自我进化方法优化推理系统

    论文提出 SEIS（Self-Evolving Inference Systems），用智能体自我进化在无人干预下端到端优化 mini-sglang 推理引擎。在 H100 上服务 Qwen3-0.6B 时吞吐达到原版 mini-sglang 的 3.27X，并在单请求负载下超过 vLLM、TensorRT-LLM 和 SGLang；正确性通过数值差异及数学、长上下文检索任务的下游准确率验证，会话经验继承的迭代优化优于独立尝试。论文地址 https://arxiv.org/abs/2610.04646v1

    推荐理由：论文用智能体自我进化端到端优化整个推理引擎，并在实测中与 vLLM 等主流引擎做了吞吐对比，方法可迁移到系统优化场景。

  9. arXiv · cs.AI41

    LatentIndex：基于层特定选择的跨层共享稀疏注意力

    LatentIndex 将 Multi-head Latent Attention 的潜在共享原则扩展到稀疏注意力索引层，通过共享潜在缓存加层特定打分实现跨层索引复用。在 DeepSeek-V3.2 上，四层共享使逻辑 indexer 缓存存储减少 61.1%；免训练版本在 DeepSeek-V3.2 与 GLM-5 上的头级注意力质量召回率最高超出 IndexCache 3.28 个百分点，同时保持接近原生 DSA 的 RULER 和 LongBench 表现。分层选择（HS）变体在 8K-128K 上下文下实现相对 DSA 2.30-2.72 倍的 decode indexer 加速。

10月3日周六
  1. arXiv · cs.CL49

    SIFT：分布偏移下链式推理元忠实性验证方法

    研究者提出元忠实性不变性原则，并发布 FaithShift 压力测试协议和 SIFT 隐状态轨迹检测器。在 14,996 条轨迹、四个领域、八个模型的评测中，现有检测器在分布偏移下 AUROC 下降均不低于 0.15，但超 80% 的不稳定性来自随机种子变化而非偏移。SIFT 将不变性违例降低 64%，但任意检测器的四种子集成可把差距缩小到 0.01，且 SIFT 需要 51% 的弃判率。

  2. arXiv · cs.AI25

    PAL：一次投影即可实现精确约束满足的投影自适应损失

    一项 arXiv 研究提出投影自适应损失 PAL，发现训练中仅需一次 detached projection 步骤即可，利用该步骤后的约束残差自适应加权原始预测的约束惩罚。PAL 是唯一在极非线性约束上保持几乎完美可行性的方法，在 ACOPF benchmark 上训练速度比基于修复的 DC3 快 2.5x，还可在约束评估昂贵（如经 neural surrogates）时训练，而现有 unrolled 方法在此场景内存不可行。

  3. arXiv · cs.CL42

    理解并缓解工具使用型 LLM 智能体中的幻觉逃逸

    研究发现，现有工具幻觉缓解方法在所调优的工具配置上降低幻觉，却在其他配置上使其上升，抵消收益，这一失效模式被称为幻觉逃逸。提出的免训练推理时方法 EscapeGuard 结合冲突感知门控与基于配置的注意力增强，在六个基准上将工具选择幻觉降低 9.0 pp，跨配置均值降低 23.7 pp，配对查询评估净改进 89.1%。

  4. arXiv · cs.CL70

    arXiv论文：激进GGUF量化的语言模型仍能写出已无法定义的生僻词

    arXiv论文2610.04403审计27个GGUF量化产物，覆盖13个模型族、0.35B-14B参数，用429个低频英文词测试写词与定义两种探针。发现Q2_K下三种状态：完全崩溃、2B以下模型出现严重语义脱节（定义能力比基线低20-67%）、约3B以上基本保持；词表大小不预示损伤（rho=0.12），参数量主导（rho=0.72），Q4_K_M在1B以上词汇无损，且WikiText-2困惑度无法校准该损伤，需逐产物验证。

    推荐理由：论文用429个低频词实测27个GGUF量化产物，指出WikiText-2困惑度无法预警语义损伤，对本地部署有直接参考。

  5. arXiv · cs.CL25

    孟加拉国公立vs私立大学话语立场检测：低资源语言数据集与零样本 LLM 评测

    一项针对孟加拉国社交媒体上公立vs私立大学两极分化话语的研究发布了 4,060 条人工标注孟加拉语评论数据集，标注为亲公立、亲私立或中立，Fleiss's Kappa 达 0.89。BanglaBERT+XGBoost 混合模型准确率 91.81%，macro F1 91.70%；零样本 Llama 4 Maverick 不经微调即取得 macro F1 0.931、准确率 93.31%，超过所有监督基线。

  6. arXiv · cs.CL57

    GlitchPatch：通过局部重切分修复冻结语言模型中的 Glitch Token

    arXiv 论文 2610.04399 提出 GlitchPatch，一种针对冻结语言模型的 glitch token 修复框架，离线阶段用 Behavioral Path Optimization（BPO）为每个 glitch token 找到行为最优替换序列并编译成规则表，在线阶段仅替换匹配的 token ID，不改模型参数或内部状态。在覆盖六种 tokenizer 家族的十个模型上，平均修复率达 85.10%，比最强基线高 14.37 个百分点，平均 glitch 率从 14.88% 降至 2.27%，全词表评估中 RR 为 0.00%，规则未匹配的输入保持不变。

    推荐理由：论文提出不动模型参数的 glitch token 修复框架，并给出十个模型的修复率与副作用数据，方法可复现。

  7. arXiv · cs.CL32

    标注边界一致、标签却不一致：标注者内部动态可作为一种训练数据质量信号

    arXiv 论文提出用「标注者内部动态」衡量训练数据质量：一名专家读者与三个 LLM 模型族对三篇苏美尔神话分段并标注七种因果功能。数月间隔的多次运行中，人类切分位置基本一致但标签名称不同，且功能启动错开一步；模型则无此一致模式。作者据此提出该模式可作为数据质量度量和污染检测手段。

  8. arXiv · cs.CL30

    HarA：基于 Fused Gromov-Wasserstein 几何的 RLVR 分层信用分配方法

    研究者提出分层信用分配方法 HarA，改进 GRPO 等基于分组的 RLVR 方法对所有 token 赋予相同优势的问题。HarA 将 rollout 表示为隐状态和 token 位置的分布，用 Fused Gromov-Wasserstein（FGW）重心度量推理行为的语义新颖性，并引入 anchor 引导的线性化，使其可通过 Sinkhorn 算法高效求解。在三种分组 RLVR 方法上的即插即用实验显示，HarA 有效增强 LLM 探索，在多个推理基准上超越现有方法。

  9. arXiv · cs.CL27

    面向 LLM 流式 ASR 的因式分解延迟流建模 F-DSM

    研究提出 Factorized DSM（F-DSM），改进基于 LLM 的流式语音识别中 Delayed Streams Modeling 的 padding token 设计。F-DSM 将等待概率从原 LLM 词表分布中分离，避免在等待步骤执行大词表 softmax。在 Corpus of Spontaneous Japanese 和 LibriSpeech 上识别性能优于 DSM，同时大幅降低 GPU 内存占用、小幅提升推理速度，并减少纯文本困惑度的退化。

  10. arXiv · cs.CL46

    R-Quest：如何让推理模型的自进化持续不崩

    R-Quest 通过问题有效性与新颖性反馈维持推理模型的自进化：先训练求解器识别并拒答无效问题，再用其判断引导提问者奖励并过滤训练数据，同时用冻结的基础模型对比问题对提供新颖性反馈。该方法在两个模型家族的 12 个数学推理、通用推理与代码生成基准上取得最高平均性能，十轮自进化中保持稳定提升，最终比 R-Zero 高 17.32 分。

最多提供 50 页，更早的内容请使用搜索或主题页。