新闻、仓库与研究，按时间排列。
西湖大学与蚂蚁集团团队在 GitHub 开源 SparseDecoding，配套预印本论文，包含 N:M 稀疏 GEMV Triton 内核与解码感知的 SparseGPT 剪枝流水线。其自回归校准只在解码步骤（排除 prefill）收集层输入激活用于剪枝，也支持离线 teacher-forcing 校准、token 位置 Hessian 加权与多卡 Hessian 收集，提供 2:4、8:16 及 50% 非结构化稀疏等配置示例。
TimeCraker 在 GitHub 发布 coding-plan-bench 测速台，测量 TTFT/TPS/Total 并在同条件组内排名，支持 Anthropic 兼容与 OpenAI 兼容双协议。内置智谱 glm-5.3 / glm-5.3-flash / glm-5.3-flashx 同 key 三档直对比，外加方舟、千帆、DeepSeek、Kimi 渠道；提供浏览器直连、受信代理、Windows 本地版三种连接方式，Key 不入应用存储。2026-10-05 实测 32/32 成功，GLM-5.3 端到端中位 19.9s / 89 TPS，GLM-5.3-Flash 34.7s / 64 TPS。
开源项目 Pocket-Assistant 将截图、照片、PDF 和分享文本转为摘要、任务和提醒，OCR 与 LLM 推理默认全部在手机端完成，核心功能无厂商托管后端。应用支持 ML Kit OCR、最多 5 页 PDF 提取、本地运行 Qwen3 0.6B、Qwen2.5 1.5B、Gemma 4 E2B/E4B 等模型，并提供 RAG 问答、语义搜索和可选的自托管 Ollama 连接（AUTO 模式先远程后回退本地）。项目采用 MIT License 开源，可从 Google Play 下载或从源码构建。
一项 arXiv 研究显示，RAG 中检索多样化的效果取决于候选池的冗余度：在干净池上会损害相关性、证据覆盖和答案质量，但在多证据任务且冗余导致最近邻检索重复选段时有益。作者提出查询自适应规则，仅在最近邻 top-k 的有效不同文档数低于查询证据需求时才多样化，该规则基于现有 embedding 计算，可跨数据集和编码器迁移；另提出带精确最近邻回退的几何重排器 RNG-Score。
研究者提出 CHASE（Channel-Aligned Structure Exploitation），利用几何与谱对齐（GSA）刻画的结构开展模型修改、重构与压缩，共覆盖六项应用。其中 CORA、COEC、CORAM 分别用于参数高效微调、结构化剪枝补偿和模型合并，新方法 CAGA 通过多头注意力共享 KV 表示改进 MHA-to-GQA 转换，SAKV 与 CAPS 分别在 KV-cache 压缩和结构化剪枝上优于代表性基线。结果表明 GSA 识别的结构可直接用于多种模型操作的方法设计。
一项研究以 FNS 2020 共享任务数据集（伦敦证券交易所上市公司年报及其摘要）为基准，比较了多种预训练 Transformer 摘要方法与抽取技术，并考察不同评估指标的行为差异。研究者认为部分指标无法真实反映摘要能力，提出由 ROUGE-2 与 BERTscore 调和平均构成的新指标 BRUGEscore，并通过统计显著性检验和三种污染方法的对抗分析验证结果稳健性。
一项基于 7 个开源模型、5 种验证信号、37,000 条标注链式推理（CoT）轨迹的研究提出“弃权即有效”观察：低触发率证书虽满足 (\alpha,\delta) 有效性，失败概率却可达 δ/P_fire，模拟中标准证书在校准抽样失败至多 0.3%，但触发时失败高达 69%。研究提出 floor-started 固定序列证书，在所有模型-信号组合上覆盖率超过 Bonferroni，在目标 0.75π₀ 下覆盖率从 0.05 提升到 0.16。研究还发现 benchmark 偏移和 best-of-n 选择下证书错误会超过目标，弃权机制吸收了这些失败。
一项 arXiv 研究评测开源与闭源 LLM 在否定基准上的表现，发现 37-71% 的情况下模型在否定问句中重复原答案（如问"什么不是西班牙首都"仍答 Madrid）。机制分析显示，专门的 attention heads 和 MLP 神经元通过抑制原答案并提升类别内偏好候选来实现否定，与人类处理方式不同，是失败的关键来源。研究提出的训练目标要求对高置信度原预测做更大的偏好偏移，在减少否定失败的同时，比标准微调基线更能保留通用能力。
论文提出协作推理蒸馏框架 CRD，通过教师互相交叉反馈批评、细粒度步骤质量评估与连贯性步骤拼接，提升小模型推理能力，并以带预算约束的 Reasoning Quality Optimization 训练。其模型 CRD-4B 在 MATH-500 达 97.3%、AIME'25 达 70.3%，仅用 50K 训练样本，比同类模型数据集最多小 12 倍。
论文提出 LASEF（Language-Aware Skeleton Exploration Framework），研究多语言数学推理中 LLM 骨架提示应使用哪种语言。实验覆盖多个数学 benchmark、模型规模和语言，发现英文骨架平均带来小幅正向倾向，在小模型和低资源语言上最明显，但校正后语言层面收益大多不显著，英文并非普遍最优。研究总结出方向一致、依赖评测与 benchmark、非对称负向三类效应，指出骨架语言是依赖具体情境的设计变量，资源已开源。
arXiv 论文 2610.09639 通过受控合成框架测量发现，reverse-KL 在线蒸馏（OPD）能在三个模型家族的四个模型上稳定迁移跨未见推理结构的组合性技能，但几乎不迁移事实知识。消融显示换用 forward KL 可恢复事实迁移，学生 rollout 则专门提升多步推理执行；在事实问答与竞赛数学实验中呈现同样的不对称。结论是 OPD 不扩充模型参数化知识，而是教会模型组织与组合已有知识。
推荐理由：论文用受控合成框架区分知识与技能两类能力，说明了 reverse-KL 在线蒸馏为何只迁移推理技能而不扩充事实记忆。
一项基于 Qwen3-0.6B 的受控研究显示，数据重复使 held-out loss 相对恶化 75%，同时 centred RankMe 反而升高 13.5 个合并标准差，谱弥散导致单侧监测把最差 checkpoint 判为最健康。作者提出双侧多通道时序监测器，能在 fork 后 10 到 60 步内检出全部三种损伤并按触发方向区分损伤类型，但其预警从不早于 held-out probe loss，且双种子校准会对留出的健康种子产生误报。
研究者提出 rubric 条件化简答题评分框架 RUSPAN，将 rubric 描述视为语义标签表示，把题目、学生答案和候选评分等级序列化为单序列，在单次 LLM 编码中逐级打分。其改进版 RUSPAN-RIM 引入 Rubric-Independent Mask，阻止 rubric span 相互注意以促进零样本迁移。在覆盖英语、德语、葡萄牙语的六个 ASAS 基准上，RUSPAN 优于判别式与生成式基线，RIM 配合位置重排在跨语言与 rubric 结构偏移最大的 PT-ASAG 留出基准上带来持续显著提升。
研究者发布 Alice，一个大规模、基于量规的德语自动简答题评分（ASAS）数据集，包含 Alice-LP（学习表现）、Alice-KE（知识要素）和 Alice-SK（技能）三个子任务。团队将其建模为量规检索任务，测试了从 encoder-only 模型到轻量 LLM 的多种语言模型及零样本提示。结果显示 LLM 在零样本下难以评分知识要素和技能；量规文本对 Alice-KE 与 Alice-SK 尤为有用。
Tianle Wang 等在 arXiv 发布论文，提出 Step-Aligned Privileged Distillation（SAPD），一种免 rollout 的自蒸馏方法，将示范解法转化为步对齐的分布性监督。在数学推理基准上平均优于 SFT 和标签平滑，与 on-policy 强化学习和自蒸馏相当，同时大体保持域外编码性能，训练循环较 on-policy 基线提速约 2x。代码已开源。
研究者推出 InsClaimBench，一个端到端评测 LLM 保险理赔裁定的基准，涵盖车险、财产险和健康险共 3,780 个案例、375 个案例族、86,656 条原子规则判断。对六个 LLM 的评测显示，赔付决策准确率为 74.23%–80.19%，决策与金额联合准确率降至 47.54%–73.15%；原子规则准确率达 95.48%，但规则向量完全匹配最高仅 36.90%，表明沿决策链的可靠组合与传播仍是关键挑战。
研究者提出 PersonTTS，一个摊销式智能体策略发现框架，将个性化测试时扩展（TTS）建模为发现可最大化用户在准确率、延迟和推理成本多维需求联合满足率的可执行控制器。该框架通过需求匹配的控制器初始化和源蒸馏的程序化引导复用先前搜索经验，同时对每个候选保留目标画像评估。在 AIME 和 HMMT 上的实验显示，PersonTTS 在未见用户画像和留出题目上大幅超越强 TTS 基线，跨用户体验复用还能在相同候选评估预算下显著降低发现智能体的时间与成本。
研究者提出 SpikingVLA，一种 ANN-to-SNN 转换框架，实现高精度、低延迟的脉冲 VLA 推理。其核心是 Dendritic Integrate-and-Fire（DIF）神经元与跨 VLA 组件的异步执行机制，以减少同步开销和延迟。相比现有脉冲 VLA 方法，SR 和 SPL 分别提升 11.9% 和 12.6%，首动作延迟降低 11.2×。
一项被 EMNLP 2026 录用的研究在 Llama 3.1 70B 和 Qwen 2.5 72B 中定位出 Bridge Routing Heads（BRH），发现其跨五种语言几乎互斥，Jaccard 相似度仅 0.017 与 0.057。消融实验显示，移除通用 BRH 会使两跳推理的 NLL 升至随机基线的 39-89 倍；在推理失败时放大这些头可无需训练地挽回最高 51.7% 的跨语言失败案例。
研究者提出 LatentGRM，一种基于语义分块、压缩与重建的潜空间评估框架，通过 rubric 引导压缩学习连续轨迹，无需生成文本评估即可完成自主成对判断。在相同训练数据与骨干模型下，LatentGRM 在 4B 与 8B 规模上取得与显式 SFT judge 相当的偏好准确率。LatentGRM-8B 在四个 benchmark 域上将评估轨迹压缩 8.9--9.2x，在 vote@5 下将 judge 总推理时间降低 6.1--7.0x。
Sergei Polezhaev 在 arXiv 论文 arXiv:2610.09858 中提出 Caddie，通过强化学习训练批评模型，依据 Agent 接收反馈后最终是否成功来优化，不依赖步骤级标注，且基础模型保持冻结。基于 Qwen3-4B 训练的批评模型提升了四个不同规模与架构基础模型的成功率；在 MuSiQue 上使 Qwen3-4B 成功率提高超过 25 个百分点，超过无批评模型的 Kimi K3，并在 τ³、DeepDive 等域外交互基准上无需额外训练即有增益。
推荐理由：论文用任务最终成败而非步骤标注训练批评模型，读者可以了解一种可跨模型迁移的 Agent 反馈训练方法。
GitHub 仓库 jev-study 记录了对 TypeSafe AI 判断模型 Jev 的学习：Jev 由 ChatGPT 联合发明人 Diogo Almeida 于 2026 年 9 月 15 日发布，不做文本生成，只对预定义选项返回类型保证的值与校准概率，耗时 70~500ms。仓库用 TypeScript 类型建模决策与 confidence，含 37 个测试、校准工具（Brier score、ECE），并实测开源替代 Laya 本地免费且比 GPT-5 快 26 倍。
iopsystems 在 GitHub 发布了 llm-perf，一个用于 OpenAI 兼容 LLM 推理服务器（如 llama-server、vLLM、TGI）的高性能基准测试工具。它支持 SSE 流式 TTFT 测量、并发与固定 QPS 负载模式、uniform 和 Poisson 到达分布，输出 TTFT、TPOT、ITL 及端到端延迟的 mean/P50/P90/P95/P99 分位数，并可按输入上下文大小（small 到 xxlarge）分层统计。
推荐理由：这个开源压测工具覆盖 TTFT、TPOT、ITL 分位数和按上下文长度分层统计，还能把 Azure 编码智能体会话数据重放到 llama-server 或 vLLM 上。
ikigai-rs 的 ikigai-llm 通过统一门面 urn:llm:ask 将请求分派到可插拔后端，每个后端也可经 urn:llm:::ask 直接寻址。其 OpenAI 兼容 REST 后端可覆盖 Ollama、vLLM、llama.cpp 服务器、mlx_lm.server 和 LM Studio，仅 base_url、默认模型与是否需要密钥不同。目前仅支持缓冲、单轮生成（尚无 streaming），结果默认不可缓存；所有网络访问经 urn:cap:net 门控，未授权时在打开 socket 前即拒绝，并通过 ikigai-conformance 测试验证。
GitHub 仓库 jinsan02/qwen-llmops 发布 SafeWave-AI M5 模块，基于 Qwen2.5-1.5B 构建独居老人安全监测的紧急判断 SLM 管线，整合 M1~M4 专家模型输出与每分钟 vital 时序（≤60行）判断风险，并按 GGUF Q5_K_M 量化（1.29 GB）面向 RPi5(arm64) 部署。Track B 合成测试 strict 317/328 = 0.966、grounded 323/328 = 0.985，规则门限 0.6 以下不调用模型。全部评估数据为 100% 合成生成，所有指标均来自开发 PC(x86)，RPi5 实机实测未进行，且声明该项目是 LLMOps 工程研究而非医疗器械。
作者开源了 aimo3-agentic-inference，一个可在 vLLM 等 OpenAI 兼容服务上运行的 AIMO3 风格数学推理 Agent。它并行发出多路解答，各路可调用带时限的 Python 工具验算，先按票数、再按 token 熵破平局选出 \boxed{整数} 答案，并在达成一致时提前停止。项目为独立 clean-room 实现，不含竞赛数据或模型权重，Python 包无第三方运行时依赖，支持 JSONL 评测与无 GPU 的 mock 演示，MIT 许可。
推荐理由：作者以 clean-room 方式把采样、工具调用、投票与熵破平局这套推理循环写小到可读可测，方法可迁移到自有项目。
IndustrialGrip 发布仓库 optimizin-llms-contextual-reasoning，收录论文《Optimizing Large Language Models for Contextual Reasoning in Multi-Task Environments》的实现与实验代码。该论文提出增强 LLM 跨多任务上下文推理的优化策略，实证结果显示在动态环境中适应性更优，目前正投稿 COAI 2025 在审。仓库代码、benchmark 结果、预训练模型 checkpoint 与文档均标注"即将发布"，尚未放出。
gLLM 是一个面向分布式 LLM serving 的开源推理引擎，2025 年 4 月开源，相关论文发表于 SC'25，DynaPipe 被 NeurIPS'25 接收。它支持 dense、MoE、多模态和混合注意力架构，集成 continuous batching、paged attention、chunked prefill、prefix caching、cuda graph、token throttling，以及流水线、张量和专家并行。2026/08/31 已支持 DeepSeek V4（mHC 超连接、KV 压缩、lightning indexer、MXFP4 专家），此前还支持了 Qwen3.8、DeepSeek V3.2、Kimi K2.5/K2.6/K2.7-Code 等。
GitHub 项目 RobinBandit 发布了一个介于 Agent 与多个 LLM 提供商之间的自适应路由器，根据历史调用的质量、延迟、健康度、配额等信号动态重排提供商，而非固定 fallback 列表。打分公式结合 Thompson Sampling、Peak EWMA 与占用惩罚，无需 torch、sklearn 或 numpy；内置 41 个提供商目录（13 个免费额度、4 个本地、2 个订阅制），支持经 Claude Code 与 ChatGPT Codex 的已认证 CLI 会话接入，提供 /painel 面板与 OpenAI、Responses、Anthropic 三种协议端点，MIT 许可。
推荐理由：原文完整给出了打分公式、Thompson Sampling 与 Peak EWMA 等机制和实测数据，读者可以直接复用这套多提供商路由方法。
一篇题为《Optimizing Large Language Models for Contextual Reasoning in Multi-Task Environments》的论文提出优化策略，以增强 LLM 在多任务间的上下文推理能力，实验结果显示其在动态环境中具有更优的适应性。该论文正在 COAI 2025 会议评审中，论文作者为 John Smith 等。相关仓库尚未发布，后续将提供实现代码、实验配置、benchmark 结果、预训练模型检查点和文档教程。
/u/Prudent_Appearance71 在 2 张 64GB CMP 170HX 上用 EXL3 3.05bpw 让 GLM-5.3-Flash 目标权重完全驻留 HBM，配合 6bpw DFlash2 草稿模型和环形缓存跑通 384K 上下文，解码约 90 tok/s，配置和脚本已开源在 https://github.com/Flun/glm53-flash-cmp170hx-exl3。
推荐理由：作者在同一台机器上实测两套本地部署方案，把原始推理速度和真实智能体任务完成时间分开对比，思路对搭建类似配置有参考。
vllm-project 的 GuideLLM 是面向真实负载的 LLM 推理基准测试与评估平台，模拟 OpenAI 兼容和 vLLM 原生服务器端到端交互，采集 TTFT、ITL 等完整延迟分布以支持 SLO 驱动评估。支持文本、图像、音频、视频多模态的真实与合成数据集，提供 synchronous、concurrent、constant、poisson、sweep 等流量模式，新增多轮对话、tool calling、Mooncake/WEKA/OTEL trace 回放等能力，输出 、csv、html 等报告，采用 Apache License 2.0，可通过 pip install guidellm 或容器镜像使用。
mmogr 发布了开源工具 GGLib（GitHub：https://github.com/mmogr/gglib），它读取每个 GGUF 的元数据和聊天模板自动确定启动参数、工具调用格式和采样默认值，通过在 llama-server 与客户端之间运行智能代理，让整个本地 GGUF 库以 OpenAI 兼容端点（http://127.0.0.1:8080/v1）的形式供 Cline、Aider、Zed 等客户端使用。
推荐理由：README 写清了工具调用修复的实测数据和采样、上下文、KV cache 各层的处理方式，适合想本地跑智能体客户端的人参考。
一个用于论文《Optimizing Large Language Models for Contextual Reasoning in Multi-Task Environments》的代码仓库目前标注"To be released"，论文正投稿 COAI 2025 在审。论文提出优化策略以增强 LLM 在多任务间的上下文推理，实验显示在动态环境中适应性更优。仓库将陆续放出实现代码、benchmark 结果、预训练 checkpoint 和文档教程。
GitHub 项目 Modelgate 计划构建一个 provider 中立的 LLM 网关，用于 stable、canary 和 shadow 模型发布，现已支持 M3 持久化与路由。网关用 PostgreSQL 保存不可变的发布配置与评测元数据，含一条同步服务路径和有界的进程内 shadow 队列，并通过 Prometheus、OpenTelemetry Collector、Jaeger 和 Grafana 提供本地可观测性。项目基于 Python 3.12 与 uv，可通过 Docker Compose 启动本地栈，并支持 Groq（openai/gpt-oss-20b、openai/gpt-oss-120b）与 OpenAI 的免费验证脚本。
nmorgowicz-org 在 GitHub 发布 Local LLM Foundry 2.0，定位为 llama.cpp 与 GGUF 推理的统一管理面板，支持模型发现、GPU/系统实时遥测、聊天工作区和硬件感知配置向导，覆盖 macOS、Linux 和 Windows。该版本将 Rapid-MLX 列为 Apple Silicon 的一等推理后端，运行时由应用托管安装与回滚；项目是 Llama Monitor 的兼容性更名，2.x 内保留原有 API 路由与浏览器存储，许可证为 MIT。
推荐理由：README完整描述了llama.cpp与Rapid-MLX双后端的管理方式、遥测面板和硬件向导，读者可据此评估是否替换现有本地推理工具链。
footprintjs 在 GitHub 发布 Agentfootprint，一个 TypeScript 可解释 Agent 框架，将每次读取、写入、决策和工具调用记录为相互关联的证据。框架把上下文注入抽象为 Injection = slot × trigger × cache，3 个 slot、4 种 trigger，支持技能、steering、RAG、记忆和 guardrails，提供 mock 到 anthropic、openai、bedrock、gemini、ollama 的生产切换，并带 hash 链审计导出、工具目录 lint 和可通过 npx agentfootprint-setup 安装给 Claude Code 等编程助手的 skill，MIT 许可。
推荐理由：框架把上下文注入统一成 slot、trigger、cache 三要素，可迁移到自己的 Agent 调试与审计流程。
cogitator-ai 在 GitHub 发布 Cogitator，一个用于构建 AI 智能体的 TypeScript 框架，支持 11 家内置 LLM 提供商（OpenAI、Anthropic、Google、Ollama、vLLM 等）和结构化输出。框架以独立 npm 包提供记忆、多智能体 swarm、DAG 工作流、MCP、A2A、RAG、语音、浏览器自动化、评测和沙箱等能力，含 74 个可运行示例，并支持用 YAML 配置在 Telegram、Discord、Slack、WhatsApp 上搭建个人助理。项目采用 MIT 许可证。
推荐理由：这是一个模块化的 TypeScript Agent 框架，从核心运行时到消息渠道、评测、沙箱都拆成独立包，附 74 个可运行示例，想搭多渠道助手的读者可以直接对照上手。
GitHub 仓库 conceptual-ravel203/DeepSeek-Reasonix 发布了 DeepSeek-Reasonix，一款运行在终端里的 AI 编程 Agent，由 DeepSeek 模型驱动，支持代码生成、调试、代码解释和终端自动化。它主打 prefix-cache 稳定性，采用 TypeScript 和 Ink UI 构建，需 Windows 10 以上、最低 4 GB 内存和 500 MB 存储空间，首次设置需联网，项目采用 MIT License 开源。
Lucenor 在 GitHub 开源了 mnesis，一个 Python 实现的 LCM（无损上下文管理）架构，把记忆管理从模型转移到确定性引擎层，应对长上下文中准确率下降 30-40% 的 context rot 问题。引擎采用三级压缩升级（LLM 结构化摘要、激进压缩、确定性截断）、工具输出向后扫描剪枝（默认保护最近 40K token）、大文件外部引用（默认超 10K token 转 FileRefPart）和不可变 SQLite 追加日志。在 OOLONG 长上下文基准上，基于 Claude Opus 4.6 的对比显示原始模型超过 32K token 后分数崩塌，LCM 管理的上下文在 8K 到 1M token 各长度上均有提升。
推荐理由：原文给出了三级压缩机制、工具输出剪枝和在 OOLONG 上的对比图表，读者可以借此评估用引擎层管理长上下文的可迁移做法。