新闻、仓库与研究，按时间排列。
astigmatism 在 GitHub 发布 LLM Router，一个兼容 OpenAI 与 Ollama API 的推理路由器，生产部署基于 llama.cpp，Ollama 仍为受支持的后端。其主目录常驻两个模型：coding qwen3.8-27b-q8_0（160K 上下文）与 everyday qwen3.8-27b-abliterated-q6_k（128K 上下文）。路由器支持流式响应、请求历史持久化、推理遥测，并提供独立端口的管理门户，运行于 Node.js 22 且无运行时 npm 依赖。
DynaLM 开源了一个无需 GPU 和 Python 的 C++20 大模型推理引擎，可在普通 CPU 上运行 Llama、Qwen、Gemma、Phi、Mistral、Granite 及 Mixtral 等 MoE 模型，支持 GGUF、Hugging Face SafeTensors 和 GPTQ/AWQ 格式，提供 OpenAI 兼容 API 服务器，采用 Apache-2.0 许可。
推荐理由：原文给出了与 llama.cpp 的吞吐对比和并发首 token 延迟数据，读者可以据此评估这个纯 CPU 推理引擎是否适合多用户场景。
GitHub 仓库 Anbarasu661/LLM_StreamingResponse 提供了实现 LLM 流式响应的代码示例，核心文件为 app.py。该仓库目前处于初始阶段，尚无 stars、watchers、forks，也未发布 Releases 或拥有贡献者。
GitHub 仓库 YYYJH1/LP-MAPPO 发布，实现 LLM 引导、计划约束的多智能体 PPO，用于城市空中走廊的协作无人机边缘计算，包含仿真器、实例生成器与 MAPPO 执行器训练（对比 IPPO、HAPPO、CoPPO、A2PO 基线）。规划器基于 Qwen3-1.7B 做 LoRA 微调，用 vLLM 生成计划并做计划约束评估，微调后的 LoRA 适配器以 Apache-2.0 附于 release v2.0，代码采用 MIT 许可。
GitHub 开源项目 Reflective Reasoning Transformer（R2T）是一个原型应用，使用在因果图谱（causal graphs）数据上预训练的大语言模型（LLM），通过结构化因果信息提升逐步推理的准确性。它提供因果图谱支持、直观界面和逐步推理功能，适用于教学、科研和数据分析场景，提供 Windows（.exe）、Mac（.dmg）和 Linux 版本下载，最低需 4GB 内存和 200MB 存储空间，采用 MIT License。
GitHub 仓库 ebowh/hf.cpu 是一个用 C99 编写的纯 CPU LLM 推理引擎，面向 AVX2 笔记本等小型内存受限机器，可读取 llama.cpp 和 ik_llama.cpp 的 GGUF 文件，仅通过 stdin/stdout/stderr 通信，适合由管道或 Emacs 驱动。项目目前处于 phase 0 基础阶段，尚无推理功能，已实现并测试的内容包括带故障注入的内存分配检查、Linux/macOS 平台层、经 fuzz 测试的 GGUF v2/v3 读取器，以及支持 18 种类型的反量化器。
该项目构建一个 LLM 服务测试平台，复现短请求被长生成任务阻塞的 Head-of-Line (HOL) blocking，并对比三种调度策略：FCFS 基线、FastServe 式 3 级 Skip-Join MLFQ（q1=32, q2=128, q3=∞）和无预测器自调度器。目标模型为 Llama-3.2-1B 或 Qwen2.5-Coder-1.5B-Instruct，评测用 80% 短（约 20 token）、20% 长（约 512 token）的双峰合成负载。M1 里程碑为期 10 天，交付可运行仓库、CSV 基准日志、Wait-Time CDF 图表、4 页技术报告和 6 页演示。
gmlx 是一个面向 Apple Silicon 的本地推理平台，用 mlx-kquant 的 Metal 内核原样运行社区 K-quant 和 IQ-quant GGUF 文件，支持终端/浏览器聊天、OpenAI 与 Anthropic 兼容 API、语音、LoRA 微调和连接 pi 编码智能体。在 M5 Max 上同一文件 prefill 速度在所有基准模型和各上下文深度均快于 llama.cpp，双引擎开启 speculative decoding 后解码也更快，长上下文差距最大；MoE 模型超出内存时可从磁盘流式加载专家。需 macOS 26.2+，可经 brew install asher/gmlx/gmlx 安装，示例模型 Qwen3.8-27B UD-Q6_K 为 20.5 GB 下载。
推荐理由：原文给出了与 llama.cpp 的 prefill 和解码对比数据，并说明长上下文差距最大，读者可据此评估是否换用。
PLSemanticsBench 是首个反事实编程语言语义数据集，用于评估 LLM 的规则条件推理能力，包含轻量级 C 语言 C* 的小步操作语义和 K-framework 两种形式化。数据集通过 PredState、PredRule、PredTrace 三个任务及 NL2Rule、Rule2NL 辅助任务进行评测，支持通过 OpenAI API 或 Ollama 运行 DeepSeek-R1 1.5B 等模型，数据可用 datasets 库加载。
GitHub 开源项目 Inferno 用 C++/CUDA 从零实现 Llama 架构推理引擎，支持 continuous batching、paged KV、prefix caching 与投机解码，可端到端运行 HuggingFace 的 SmolLM2-135M 权重。在 A100 上其 FP32 + cuBLAS 路径达 279 tok/s、TTFT 8.5ms，prefix caching 使 16 并发请求 TTFT 从 1171ms 降至 47ms（24.9×）；吞吐仍不及 vLLM 0.4.2，FP16 为后续工作。
GitHub 用户 bkisonka 发布 llmhost，一个 Linux 服务器上的本地大模型托管工具，由 headless 守护进程 llmhostd 和命令行 lhctl 组成，底层驱动原版 llama.cpp，对外提供 http://127.0.0.1:7330/v1 的 OpenAI 兼容 API。支持路由器模式同时驻留多模型（默认 2 个，LRU 换出）、多 GPU 自动分配与张量切分、MoE 专家放 RAM、自动参数调优、MTP 投机解码免配置加速、闲置 15 分钟自动卸载、Prometheus 指标和 Bearer 密钥鉴权；从 HuggingFace 目录搜索下载模型并按显存自动选量化。
推荐理由：这个自托管工具给出完整部署方案与实测算速，想在自己服务器上跑兼容 OpenAI API 的本地大模型可以参考。
mercurialsolo 发布 claudectl，一个约 6 MB 的二进制工具，用本地 LLM 大脑编排 Claude Code 智能体集群，无需云端 API、零配置、启动低于 50ms。内置大脑可自动批准或拒绝工具调用、终止失控会话并在会话间路由上下文，示例数据显示追踪 1200 次决策中自动处理 71%、准确率 96.2%、拦截 12 次危险操作。支持 Homebrew、Cargo、Nix 安装，并提供 agent bus、supervisor 任务生命周期、Hive Mind 跨机器知识共享和 Open Cluster 只读查询等能力。
推荐理由：作者用一份可复现的 impact 数据说明本地 LLM 大脑的实际效果，包括自动处理比例、准确率与被拦截的危险操作数量。
ezRouter 是一款 100% Rust 编写的内存安全 LLM 代理与智能路由器，提供 OpenAI 兼容网关，本地路由延迟低于 1 毫秒，空闲内存占用小于 25MB。其 Token Saver 引擎通过提示词压缩节省 30% 至 60% 的 token 用量，支持 Google Antigravity、OpenAI Codex 多账号配额池轮换，以及 DeepSeek、Groq、Ollama、vLLM 等自定义提供商的透传，并内置暗色模式 Web 管理控制台。
John Smith 等人的论文《Optimizing Large Language Models for Contextual Reasoning in Multi-Task Environments》正在 COAI 2025 审稿中，其 GitHub 仓库即将发布。仓库将包含优化策略的完整实现、实验代码与配置、benchmark 结果分析、预训练模型 checkpoint 及文档教程。
Kiwano 是一个本地优先的桌面应用，在 coding agent 与 AI provider 之间运行 127.0.0.1:8317 的本地网关，API 密钥只存本机的 owner-only SQLite 数据库，请求不经 Kiwano 服务器。支持 single、failover、roundrobin、timewindow、quota 五种路由策略，失败请求自动重放到下一个候选；可一键接管 Claude Code、Codex、Gemini CLI 等 26 个内置 agent 并备份原配置；按 provider 和 agent 计量用量与成本，附带配额提醒、请求日志、cc-switch 导入和可选的 per-agent insights。
推荐理由：原文详细说明了一个本地网关如何统一管理多个 coding agent 的 provider 密钥、路由和成本计量，做法可参考。
halu-sys 在 GitHub 开源 llm-probes，为本地 llama.cpp/llama-swap 栈提供部署级评测探针，回答只有本机才能回答的问题，如 IQ3_S 量化下 262k 上下文是否真实、长上下文格式遵循、循环退化率、MTP 投机解码是否无损、跨上下文事实组合与多跳 Agent 委托链等。所有探针运行时程序化生成（可复现、无训练数据污染），由代码评分而非 LLM 评分。实测显示 Qwen3.8-Flash-Next IQ3_S 在 8k–256k 各探针多数通过，并总结了推理预算不足会静默吞掉答案、参数剥离使评测失效、探针自矛盾曾误导结论等六起生产事故复盘。
推荐理由：针对本地 llama.cpp/llama-swap 部署的实测探针，给出各探针的真实运行结果与踩坑复盘，方法可直接复用。
aagit 开源了 synthmerge，一个基于 Patchpal 研究的命令行工具，利用 AI 自动解决 cherry-pick、merge、rebase 等操作产生的 Git 冲突，要求 git config merge.conflictStyle diff3。工具支持并行查询多个 AI 端点（Patchpal-backend、llama.cpp/vLLM 自托管模型、OpenAI、Gemini、Claude），按共识对结果排序，AI 生成的代码仍需在编辑器中人工审查后才能提交。内置 benchmark 在 1129 个 C 语言冲突上评测，单个模型最高为 Gemini 3.8 Flash（准确率 72.19%），全部模型加全部变体和 beam 聚合后准确率达 84.85%。
推荐理由：仓库附带完整的跨模型冲突消解基准数据，读者可以直接对比各模型和多端点聚合方案的实际准确率。
Teyeray 在 GitHub 发布终端工具 llmtap，可对任意 OpenAI 兼容端点测量 TTFT、吞吐（tok/s）等指标，并用 6 项固定检查（regex 评分，0–100 分）探测中转站是否降级模型，还能通过 GET /models 扫描端点全部模型。支持 OpenAI、DeepSeek、Moonshot、Qwen、OpenRouter、Ollama、LM Studio、vLLM 等，数据不出本机，提供 TUI、中英双语界面与可选成本统计，MIT 协议开源，安装需 Python 3.10+。
推荐理由：终端工具 llmtap 集延迟、吞吐、降级探测与中转站扫描于一体，还给出与同类工具的功能对比，便于按需选型。
Trishula Software 在 GitHub 发布 Trishula-vLLM-Bridge，一个高吞吐推理客户端与集群路由工具，采用 Apache-2.0 许可证。它可将 Trishula Swarm 工作站通过局域网直连本地 vLLM 推理节点，实现零云端出口流量。
GitHub 仓库 Mariop4826/club-3090 提供在 RTX 3090 硬件上运行本地 LLM 的已验证配置，覆盖 vLLM、llama.cpp 和 SGLang 三种推理方案。仓库针对高吞吐和长上下文稳定性分别给出优化设置，目前处于早期阶段，暂无 star、fork 或 release。
一项 arXiv 研究（AACL-IJCNLP 2026 短文）提出惩罚框架下的无有效选项 MCQA 设定，在 MMLU-Pro 数学子集上移除标注正确选项，允许模型选择剩余选项或输出 ABSTAIN 并对无效强制作答施加惩罚。实验表明，高 MCQA 准确率并不能完全保证弃权可靠性：即使在明确的无有效选项指令和惩罚计分下，模型仍会对部分原本答对的题目给出无效强制作答，揭示了标准选择题准确率无法反映的可靠性维度。
arXiv 论文（https://arxiv.org/abs/2610.08164）提出免训练的两阶段闭式低秩量化误差补偿框架：Stage 1 以 Fisher 加权非对称目标将各层输出对齐全精度模型，Stage 2 在补偿后模型上做秩约束自然梯度步吸收剩余一阶信号，每个 adapter 只需一次截断 SVD。在 2 bit QuIP# 下，Qwen3-8B 的 WikiText-2 困惑度从 12.43 降至 10.26，Qwen3-4B 从 21.11 降至 13.22；在 C4 上相对最强基线（31%/63%）分别恢复 51% 和 84% 的到 FP16 的差距，并在更高位宽和另一量化器下保持增益。
推荐理由：论文指出既有低秩量化误差补偿的两个共同简化，并用两阶段闭式框架在 2 bit 极端量化下给出可复现的困惑度改进。
一篇 arXiv 立场论文指出，多语言 LLM 评测依赖的“翻译同构假设”对语用标记、敬语、历时分层词汇等概念在原理上不成立，并定义了 α-unalignability 形式化刻画。论文用 usage-cloud 框架给出三层证据：FLORES-200 翻译失败与语系和资源等级相关而与文字无关，以及九模型 Yami 案例中的 Representation-Intervention Gap。作者提出 Cycle-Consistency、Pragmatic-Load Disagreement、Manifold-Curvature Mismatch 与 RIG 构成的多维诊断框架。
研究者提出 Foresight-over-Graph（FoG），一种面向知识库问答（KBQA）的前瞻式证据检索框架，通过迭代构建问题相关证据子图、远到近反馈引导路径探索，并以紧凑记忆子图支持持续探索，克服现有逐跳贪婪剪枝的短视问题。FoG 在常用 KBQA 基准上达到 SOTA，其中 CWQ 的 Hit 提升 16.58%，同时减少 LLM 调用和 token 用量。代码已开源，论文被 NeurIPS 2026 接收。
一项 arXiv 研究构建了含 423 段对话、1,661 个标注 turn-states 的多轮基准，用六个数据集和六个开源权重 LLM 检验「不可回答性」探测信号。数学与阅读理解（SQuAD 2.0、MuSiQue）间探测迁移稳健（AUROC 0.77-0.97 与 0.77-0.90），但单轮探测零样本无法识别对话何时变得可回答。基于校准探测的门控无需微调即可远超随机水平地识别欠规范回合，端到端成功率距真实标签门控仅差 0.08，但并未稳定优于普通生成，主要差距在模型如何利用澄清而非检测本身。
一项 arXiv 研究检验跨 tokenizer 在线蒸馏（OPD）中的序列与词表对齐问题。在三个异构师生模型对的数学推理与代码生成任务上，严格 1:1 对齐位置已覆盖绝大部分学生生成 token；将 reverse KL 限制在共享词表中学生选择的 top-16 子集，准确率与全共享词表 OPD 相当，优于所评测的跨 tokenizer 基线。对不匹配组补充 span log-probability 的 MSE 监督反而降低准确率，研究表明应从扩大对齐覆盖转向优先保障监督可靠性。
arXiv 论文（2610.08463）提出 UNREAL 框架，直接从冻结 LLM 的内部表示生成检索查询和编码文本块，仅新增不到 500K 可训练参数且不改动主干。在 3B token、21M chunk 的 Wikipedia 索引上，四种 dense 和 hybrid 主干均超越现有 retriever-reranker 系统，HotpotQA 召回率从 49.1% 提到 73.2%，2WikiMultiHopQA 从 31.7% 到 60.1%，MuSiQue 从 8.8% 到 14.4%。
推荐理由：论文用不到500K可训练参数统一语料检索与长上下文证据选择，并给出多基准召回率对比数据，方法与结果都可复用参考。
Anthony Pym 的实验将一份地震应急指令由英文翻译成中文和西班牙文，结果显示使用针对话语类型的提示词可显著提升生成式 AI 译文的可理解性和可操作性，但译者可能仍不信任这些译文。人工修订仍不可少，既要查错，也是出于伦理考虑需要有人为应急信息的错误或延误负责。
一项研究用“同数引用交换”评估 Jev 作为 GPT-4.1-mini 计算痕迹的来源支持验证器，测试财务报告中数值相同但角色不同的引用问题。实验固定操作数与算术，在相同数字单元格间移动引用，发现既存在能通过检查的错误角色引用，也存在被扣留的有效替代引用；显式列标签改善部分错误角色判断，却降低部分等价证据的支持度。在 36 个新来源页面上的扩展评估揭示了检测角色错误与保留有效引用之间的同样权衡。
一项发表于 arXiv 的系统性研究在 ARC-TGI 基准上考察小语言模型的抽象推理能力，涵盖 decoder-only、encoder-decoder 和 MoE 模型家族，进行了超过 1,000 次运行。结果显示模型在训练分布内可达到较高准确率，但分布外性能急剧下降，即使规则不变、仅网格尺度变化也会退化；技能获取对优化敏感，且在不同任务族间分布不均。研究表明抽象推理分数依赖于模型、适配方式、评测分布和响应格式。
该研究在 NQ320K 和 MS300K 上系统比较自回归、掩码扩散与块扩散生成式检索模型，控制标识符方案、训练预算与解码方式以厘清各因素贡献。解码方式单独使扩散模型 Hit@1 变动 6.6 至 13.7 个百分点；提出的一次打分（one-pass scoring）解码在 12 个设置中的 11 个上持平或超过 generate-and-match。自回归模型 Hit@1 仍领先，且随机标识符可保留 83-90% 的 Hit@1。
论文提出分层连续扩散语言模型 H-CDLM，通过对 token 及其由预训练嵌入聚类得到的粗粒度簇等多模态并行扩散，以极小计算与参数开销改进连续扩散语言模型。应用于 CoBit 得到 H-CoBit，在 LM1B 和 OWT 上生成困惑度分别为 49.4 和 50.4，比基线提升 24.2 和 20.7 点，GSM8K 准确率达 27.4%，超过同规模离散 DLM 及以往连续扩散和流匹配模型；应用于 FLM 得到 H-FLM 也有一致提升，代码将公开。
arXiv 论文提出 DeltaTTT，针对非线性 test-time training 记忆网络中串行更新优势不稳定、单遍优化困难的问题，将两层记忆网络的联合内环优化改为逐层学习，每层分配局部预测目标并通过状态依赖的 delta rule 更新，保留非线性 readout 同时支持 chunkwise 并行计算。在 DeltaNet 和 LaCT 骨干上的实验显示，语言建模与检索能力较各自循环基线有所提升。
研究提出 Adaptive Power Sampling（APS），一种无需训练的 LLM 推理方法，可在测试时按查询调整幂采样的锐化指数。理论上进一步锐化的收益取决于正确与错误回答之间的 self-reward gap，APS 据此利用答案一致性与 self-reward 的关系逐查询自适应调节。在 MATH500、HumanEval、GPQA 等推理任务上，APS 持续优于固定锐化指数的幂采样。
arXiv 论文提出从 200-update 试点训练中选择 Adam 共享记忆参数 β1=β2=β 的方法，选定的 β 在后续完整训练中保持固定。基于 Adam 归一化方向的局部模型导出三次记忆规则，用四个 checkpoint 各十六个 probe 梯度估计系数。在十一个视觉与语言 workload 的 seed-matched 回溯评估中，相比共享 β=0.95 的网格代表，平均相对验证 gap 降低 40.7%，最差四分之一平均 gap 降低 44.3%。
一项 NeurIPS 2026 海报论文提出"特征信息动力学"，用 I-MMSE 恒等式把特征互信息变化率与最优无条件及特征条件去噪损失之差联系起来，定位特征在扩散过程中何时被生成，并通过链式分解分离共享与增量信息。该框架定量证实了像素扩散中的谱自回归现象，并在类→掩码→Canny 条件链下比较 pixel、SDVAE、VAVAE、RAE 的特征信息密度，揭示了不同表示的根本差异，暗示有序生成或有助训练。代码已开源。
论文提出 Parallel Predictive World Model（PPWM），以并行方式预测有限时域轨迹，同时保留未来表征间的因果交互，避免自回归 rollout 的逐状态解码反馈。在四个视觉控制任务中，PPWM 取得最低长时程预测误差和最高的 CEM 模拟器成功率，CEM 规划速度较自回归 LeWM 基线平均加速超过 3×。
Selective-RL 方法通过隔离 RL 训练阶段产生的参数更新，保留其主导矩阵方向并迁移至 VLM 的语言模块，实现免训练的能力迁移。在 3 个模型家族和 5 个视觉推理基准上，该方法在 15 组对比中的 12 组优于全量更新插值，其中 Qwen 接收模型在 MathVision 上提升 8.55 个百分点。对照实验表明，仅更新幅度或任意低秩都无法复现这些收益。
两个 PersonaPlex-7B 实例在共享时钟下进行无脚本语音对话，轮次交替时机相互耦合，但换手明显偏晚：中位间隙为 400-560 ms，远高于人类的 137 ms。人类约十分之一的转移发生在对方话轮最后 120 ms 内，而模型仅占 1%，行为更像是感知到话轮结束后的被动等待，而非人类所需的话轮结束预测。
arXiv 论文提出 IdeaAnchor 训练范式，用结构化规范作为特权信号教 LLM 基于文献进行研究构想，实例从已发表论文中挖掘。模型通过示范、自蒸馏和强化学习训练，并在推理时结合检索。实验显示构想质量持续提升，其中 anchor 训练强化创造性综合、检索增强细节展开，两者结合效果最佳。