新闻、仓库与研究，按时间排列。
arXiv 论文 ECHO 提出偏好优化的失败源于共同模态偏移，即隐状态中跨 token 位置、提示词和 chosen/rejected 响应共享的方向性偏移，相对排序损失几乎察觉不到其累积；该偏移投影到输出层形成词表井，使单一 token 概率主导解码并引发生成坍缩。在所研究的 per-token 排序损失下，同样的坍缩出现在 17 个 base 模型谱系中的 14 个，且注入该偏移可复现坍缩、屏蔽该成分可预防；教科书式 DPO 偏移较弱，而全参数 SimPO 在 Llama-2 和 Llama-3.1 上均驱动其坍缩。17 次 UltraFeedback 运行显示排名指标越好，两个公开奖励模型反而越少偏好其样本，揭示了标准排序指标的盲区。
推荐理由：论文用注入和消融实验把偏好优化中的共同模态偏移与词表坍缩因果联系起来，并给出可在坍缩前预警的表征层信号。
一篇 arXiv 论文提出 Harness Scaling，将智能体 RL 的训练从单一固定 harness 扩展到多样化的执行配置。方法上构建因子化的 harness 空间，选取覆盖均衡的小型训练子集并组织跨 harness 训练。在多个 benchmark、模型规模和 RL 算法上，该方法持续提升对未见 white-box 配置的泛化，且能迁移到未见的外部 black-box harness，优于单一复杂 black-box harness 训练的模型。
研究者提出 OmniSimulator 训练框架，用五维结构化 schema 和教师模型生成的高质量推理轨迹，提升小语言模型在短视频平台上模拟真实用户行为的能力。该框架基于 200 名真实用户三个月的历史交互轨迹构建了 9,881 条训练实例，使 Qwen3-8B 平均成绩提升 34.33%，性能可与 Claude-Sonnet-4.5 竞争，并支持小规模自托管部署。论文已被 NeurIPS 2026 接收。
arXiv 论文提出用 MoE 模型的专家路由统计作为过程置信度信号，性能可与传统输出 logit 置信度竞争。基于总路由质量、头路由质量与步内路由变化构建路由置信度，RoCo-Rethink 识别置信度最低的推理步骤并选择性地重新生成后续轨迹，RoCo-PRM 则用强 MoE 自动标注推理轨迹并蒸馏为独立 PRM。二者在多种 MoE 架构和多样推理任务上均优于强基线，RoCo-PRM 还可跨架构、跨任务迁移。
一项 arXiv 研究检验了“时间算术 vs 时间语义”这一时间推理二分法的有效性。微调各基准子集只带来数据集专属提升（+6.8 到 +23.1 个百分点），同模式跨数据集迁移仅为 -3.2 到 +1.1 个百分点；基于认知需求的评估显示，驱动性能的主要是知识而非量化和逻辑推理。结论是现有基准并未真正实现算术-语义区分，主要奖励模型记忆时间的通常运作方式。
一项 arXiv 研究将上下文感知解码（CAD）应用于 CoT 推理，提出 Rationale Contrastive Decoding（RCD），通过对比有、无推理过程时基于 query 的 token 分布，放大因 rationale 而提升似然的 token，并给出 KL 正则化奖励最大化的理论解释。实验覆盖五个推理 benchmark，RCD 准确率超过标准 CoT；干预分析表明最终答案对 rationale 内容的行为依赖增强，且该方法无需训练。
一项研究比较 4 个通用 LLM 与距离加权最近邻投票（Distance-KNN），在 19 个表格分类数据集上使用相同检索邻居。结果显示，在任何候选池规模下 Distance-KNN 平均准确率最高；LLM 的增益集中在检索邻居标签一致性低的场景，且在特征距离最近和中等邻域内部分 LLM 能胜出，但在最远距离组全部平均落后。
RCSD 是一种投机解码训练框架，将 draft 模型优化与最大化接受长度的系统级目标对齐，利用投机推理中自然产生的接受与拒绝序列构建隐式偏好对，并用 masked loss 避免惩罚与 target 对齐的 token。在多个 benchmark 上，RCSD 相比 HASS 将平均接受长度提升 35%，端到端推理速度达 HASS 的 1.35x，且不损失生成质量。
PACE 是一种面向线性注意力语言模型的后处理四比特状态量化器，只需每生成几个 token 舍入一次状态，并按列共享量化比例、将误差保留最久的头保持在 8 比特。在 4B 到 35B 参数的四个混合模型上，混合 4/8 比特头的 PACE 在约为 8 比特 DAMP 三分之二内存的情况下性能相当，全程 4 比特版本在同等内存下得分高于 Q-Mamba，且保持解码加速。
Berth v0.3.4 引入实验性 Linux GPU 直通功能，berth vfio run 会在安全点排空引擎并确认无占用后运行用户脚本，脚本自行处理 sudo 和驱动切换，卡片回到 NVIDIA 驱动后才交还引擎，期间可通过 berth status 和 Web UI 查看。作者在 4090 上用一个按键完成密码提示、切换到 Windows 并在关机后由 llama-swap 接回，contrib/vfio 提供示例启动器和 libvirt 配置。
推荐理由：作者本人实测给出 VFIO 直通流程和 4090 上的操作细节，附带 contrib/vfio 的启动脚本与 libvirt 配置可复用。
Reddit r/LocalLLaMA 用户分享一种投机解码思路：GPU 上保留模型 2-bit 副本负责起草 token，6-8 bit 残差权重留在系统内存由 CPU 校验，仅激活值经过 PCIe。实测 2-bit + 8-bit 残差比 Q8_0 更接近 bf16（KL 约减半）；6-bit 残差达到 Q8_0 级质量且从 RAM 读取字节减少约 28%；复用校验器 KV cache 的 2-bit 起草比 Google 官方 Gemma 4 drafter（31B）每次校验多接受 25-30% token（5.23 对 4.20）。代码已开源。
Reddit 用户 /u/Happy_Guitar3521 分享一种面向 Q8 量化模型放不进显存场景的投机解码思路：GPU 上只保留 2-bit 副本用于起草候选 token 树，残差 W−Ŵ 以 6/7/8-bit 存在系统内存，由 CPU 与 GPU 分工完成验证，仅激活值跨 PCIe 传输。实测该验证器比 Q8_0 更接近 bf16（KL 约为一半），2-bit 起草器读取验证器精确 KV 后，在 Gemma 4 31B 上每次验证接受 token 数比 Google 官方 Gemma 4 drafter 高 25–30%；AVX-512 CPU 内核使一次验证 16 个 token 的成本接近验证 1 个。
推荐理由：作者给出完整的量化拆分方案和 KL、接受率等实测数据，还附上可复现的 POC 配方与失败经验，方便他人在此基础上继续实验。
Reddit 用户 /u/Numerous-Ad6217 分享了围绕 MoE 模型搭建预算型本地推理工作站的思路：用单张 32 GB VRAM 的 AMD Radeon AI PRO R9700 加廉价 DDR4 ECC RAM 存放闲置专家。作者对多个主流开源 MoE 模型在 Q4 和 Q8 量化下的活跃与闲置参数量作图，拟合出约 0.0565 的斜率，即每 1 GB 活跃 VRAM 权重对应约 18 GB 闲置 RAM 权重；据此 384 GB DDR4 配 32 GB VRAM 是其配置的平衡点，可给 KV cache 和运行时开销留出余量，而升到 512 GB RAM 会逼近 GPU 上限。作者提醒实际结果取决于模型架构、专家路由、缓存效率和推理后端。
推荐理由：作者用主流开源 MoE 模型拟合出活跃与闲置权重约 1:18 的经验比例，可据此判断 RAM 与 VRAM 的加配时机。
Setmaster 发布 comfyui-llamacpp，为 ComfyUI 提供本地 llama-server 集成，支持文本与视觉提示、结构化输出、直接与路由模式，并显式管理 LLM 进程的 VRAM 释放。已发布的 Registry 包为 0.3.0 含 17 个节点，master 分支的 0.4 源码版本含 25 个节点，新增 llama.cpp Generate 节点、任务配置档案、自动 projector 匹配和最多 10 秒英语音频转写；安装可用 comfy node install comfyui-llamacpp，项目采用 MIT 许可证。
推荐理由：README 明确区分了 Registry 已发布的 0.3.0 与源码 0.4 版本及节点数差异，还给出进程树所有权与 VRAM 释放契约，可据此评估部署方案。
一位 Reddit r/LocalLLaMA 用户将装上第 4 张 RTX 3090，考虑把日常模型换成 Qwen3.8 Flash Next，询问该配置下应选哪个推理引擎。其目前用 vLLM 跑 Qwen3.8-27b，速度约 100+ tps、prefill 约 3000 tps；首选引擎 Strata 在 96GB VRAM 下或可以 4-bit 将整个模型装入显存。
Reddit 用户 /u/jacek2023 发帖称 Flint 模型已合并进 llama.cpp，PR 在 6 小时后被合并，GGUF 版本托管在 unsloth/flint-GGUF。
开源本地 AI 平台 Vortelio 发布，用单个 Go 二进制在本机运行 LLM、Stable Diffusion/FLUX.1 图像生成、Whisper large-v3 语音转写、Kokoro TTS、WAN 2.1 视频生成、TripoSR 3D 生成，并通过 CrewAI 编排多智能体工作流，无需云端、API 密钥或订阅。平台提供 OpenAI 和 Ollama 兼容 API，可无缝替换现有 SDK 代码，还内置类似 Claude Code 的终端编程智能体 vortelio code。
Recursive 在 Hugging Face 开放其面向编码智能体的 MoE 模型 Flint 权重，总参数 39.8B、每 token 激活约 2.5B，Apache 2.0 许可。官方评测中 Terminal-Bench 2.1 得分 54.9%、SWE-bench Pro v2 为 89.7%、SWE-bench Verified 为 74.2%；仓库含 BF16 checkpoint 和 SGLang 部署套件，支持 262,144 token 上下文与 OpenAI 兼容工具调用，单个 B300 或 H200 GPU 即可运行一个副本。
推荐理由：官方模型卡完整给出架构规格、评测设置和单卡部署方法，读者可以据此判断这个编码智能体模型的实际部署成本。
GitHub 上的独立社区研究项目 Maxxxel/v100-volta-ai-optimization-lab，在单张 NVIDIA Tesla V100-SXM2（16 GB HBM2）上研究推理性能、agent 可靠性与能效。项目基于 CUDA 12.8 与 llama.cpp/GGUF，累计覆盖 130 个模型挑战者、32 种附加技术、108 个合格因子范围，证据快照为 Matrix revision 237。项目与 NVIDIA、Ollama 等无隶属关系，研究仍在进行，未得出通用最优模型结论。
GitHub 仓库 joyjeni/arc-agi2-hybrid-solver 发布面向 ARC-Prize-2026 的三层混合 ARC-AGI-2 求解器，目标 LB 35–45%。方案由 Tier-1 的 18 个确定性规则求解器、Tier-2 的 LLM 程序合成（Qwen3-4B 微调模型写 Python，最多重试 3 次）、Tier-3 的 8 提示词多数投票 Chakra Ensemble 组成，模型 qwen3_4b_grids15_sft139 以 4-bit 加载于 Kaggle GPU。与 NVARC 的 test-time training 不同，该流水线不做 LoRA 适配，代码以 MIT 协议开源。
pipe1os 发布开源 CLI 工具 modelinfo-cli，可离线检查 .safetensors、.gguf、.pt 模型 checkpoint 并计算硬件需求，仅用 Python 标准库读取二进制头文件，本地解析在 100ms 内完成。支持通过 Hugging Face Hub 的字节范围请求在 2 秒内远程读取头部而无需下载 checkpoint，可按上下文长度计算 VRAM、用 --vllm 模拟 PagedAttention 池可服务 token 数，并按 --gpu 与多卡 --topology、--strategy 做硬件适配诊断和并排对比。
推荐理由：工具只用标准库解析模型头文件，本地毫秒级、远程免下载整个 checkpoint 就能算 VRAM，部署前选型可以省大量磁盘和时间。
NVIDIA 发布预训练关系型基础模型 Kumo Relational，直接在企业数据库上做预测，无需任务训练、特征工程或表拼接，单次前向传播即可预测流失、需求、欺诈等结果，权重已开放下载。模型通过 in-context learning 读取最多 10,000 个历史样本，在 15 个数据库的 41 个任务上超过监督式关系深度学习和梯度提升树流水线，在 SAP SALT 企业基准上 MRR 领先 AutoGluon 集成 8%，微调后领先 16%；预训练使用基于 PluRel 方法的合成关系数据。模型可在 RelArena-α 榜单上以约 17 秒/千样本的速度达到 Elo 1,842，比最高分条目快约 430 倍。
推荐理由：原文给出了跨 41 个任务的基准对比和架构细节，可以了解结构化数据基础模型这条路线的实际水平与用法。
一位用户在不到 2000 欧元的二手 PC（RTX 3090 24GB、128GB DDR4、i9-9900X）上运行了 748B 参数的 DeepSeek-V4.1-Flash-1017，采用 1-bit 量化（Unsloth UD-IQ1_S GGUF，磁盘占用 233GB），通过 llama.cpp 实测速度 7.2 tok/s。110GB Engram 表留在 NVMe 上按需读取，上下文长度 16384；作者认为实用性有限，Qwen 模型在该配置下表现更好。
Reddit r/LocalLLaMA 用户验证了一个免费的 RTX 3090 提速技巧：在单张 3090 上用 Qwen 3.8 27B 测试，提示词处理吞吐量提升 22–30%，生成速度提升 1–5%，测试全程无 GPU 报错。该卡功耗限制在 230 瓦，实际收益可能更高。
Dharma AI 在 Hugging Face 博客预览 VocabX 论文结果：按每个 token 的成本而非频率重建词表，在不改基座模型、数据和训练配方的前提下，将基于 Qwen3-4B 的葡萄牙语作文自动批改器实测推理成本降低 77.0%。响应平均从 350 降到 101 个 token，bench 分数从 0.703 升到 0.810，LM head 从约 152,000 行缩到约 65,000 行；在 5 个公开领域和 Qwen3、Llama-3.1、Gemma-3 三个模型族的 15 种组合中，压缩率和估算推理成本均领先 FVT、MWT 和 in-place BPE 三个参照方法。
推荐理由：作者用同一基座、同一训练配方做对照实验，把成本按读写分别计价，方法思路可迁移到其他单一领域的专用模型。
Hugging Face 发布 TorchNeuron 系列教程第一部分，讲解如何在 AWS Trainium 上用 torch.profiler 与 Neuron 系统级 profiling 系统分析推理性能。文章介绍通过 NeuronConfig、NeuronProfiler 配置捕获 DEVICE 与 RUNTIME 数据流，并用浏览器工具 Neuron Explorer 查看系统 trace 与设备时间线。教程以 RMSNorm 的三种实现（朴素 PyTorch 算子、torch.rms_norm()、torch.compile）为例对比，脚本可在 torch-neuronx examples 目录获取。
Hugging Face 发布 TorchNeuron 系列教程第一部分，讲解如何在 AWS Trainium 上用 torch.profiler 与 Neuron 系统级 profiling 系统分析推理性能。文章介绍通过 NeuronConfig、NeuronProfiler 配置捕获 DEVICE 与 RUNTIME 数据流，并用浏览器工具 Neuron Explorer 查看系统 trace 与设备时间线。教程以 RMSNorm 的三种实现（朴素 PyTorch 算子、torch.rms_norm()、torch.compile）为例对比，脚本可在 torch-neuronx examples 目录获取。
/u/jesdga95 在自研推理引擎 Basalt 中跑通 DeepSeek V4.1 Flash 1017（Unsloth UD-IQ1_S），硬件为 RTX 5090 加 RTX 5060 Ti 16 GB 和 128 GB DDR5。107 GiB 专家全部放内存、5090 作热门专家缓存时解码 53.6 tok/s，让 5060 Ti 计算部分专家后达 63.5 tok/s，同硬件同量化的 llama.cpp --fit 基线约 20 tok/s；6.2k 提示词 prefill 为 610 tok/s。支持工具调用、图像和最高 1M 上下文（1M 提示词约 26 分钟），greedy 输出与 llama.cpp 在全部测试提示词上一致，尚无 PPL/KLD 数据。
一位开发者针对 DeepSeek 开源推理引擎 DeepInfer（基于 commit 9bd9cf2）构建了交互式逐块代码讲解静态站点，用 Python 脚本从官方仓库抽取代码引用并配上简短说明，内容覆盖 paged KV cache、speculative decoding 和 model workers 在生产环境中的实现，可作为阅读官方仓库的配套学习指南。
作者开源了一个基于 LangGraph.js 的 GitLab 代码审查 agent，用 sglang 在两块 4090（PCIe、TP=2）上跑 Qwen3.6-35B-A3B（QuantTrio AWQ 4-bit）。单流解码约 180 tok/s（~50k 上下文）、prefill 9-10k tok/s，8 并发共 985 tok/s；单次审查平均 26 次 LLM 调用、2.3M tokens，已累计 1300+ 次审查，约 70% 的评论被作者采纳解决，约 7% 的运行因模型自我循环而终止。
推荐理由：作者给出双 4090 跑 Qwen3.6-35B-A3B 做代码审查的完整吞吐数据和 1300+ 次实测结果，可复用到自己的本地部署。
generative-computing 发布 granite-switch-systemone v0.1.1，一个 vLLM 端点插件，在同一服务器和 GPU 缓存上通过 POST /v1/decisions（OpenAI Decisions API 格式）和 POST /v1/systemone（jev 的 system-one API）两个接口提供 Granite Switch 检查点的决策适配器服务。每次问题由单次引擎读取适配器的单 token 选项标签完成，以 softmax 概率返回。8b 检查点可装入单张 80 GB H100，测试版本为 vLLM 0.30.0；Docker 镜像约 30 GB，权重需单独挂载。
OpenBMB 的技术文章介绍 MiniCPM-V 4.7 通过 Lookahead Expert Scheduling（LES）在本地运行 35B-A3B MoE，不改变路由或跳过专家。该方法预测下一层所需专家并提前从闪存预加载权重，配合优化的权重布局、混合精度量化和 DSpark 投机解码，在 iPhone 18 Pro Max 达到 20.51 tok/s，是 3.38 tok/s 基线的 6.07 倍；专家权重缩小 26.7% 且五个基准仅降 0.16 分，低内存配置峰值内存约 3 GB。实现已开源在 llama.cpp-omni。
推荐理由：原文转述了 LES 预加载专家权重、不改路由的思路，并给出 tok/s、体积和内存等实测数字，可作本地跑大 MoE 的参考。
Taalas 的 ChatJimmy 项目将 8B Llama 模型直接烧录进硅片，实现单芯片 17k tok/s 推理速度，约为 RTX 5070 上 80 tok/s 的 213 倍。其原理是把模型权重固化到芯片中，算力全部用于模型矩阵运算。该项目仍是实验性概念验证，尚未成为产品，且模型烧录后无法更换，更新需购买新芯片。
TokenGate 是一个即插即用小组件，通过受 MoE 启发的 token-gated attention 机制实现端到端可学习的 token 剪枝，用于加速和降低长上下文 prefill 的内存占用。在多种任务上实现 1.4-11.3 倍更快 TTFT 和 1.5-3.4 倍更低峰值内存且无精度损失，较此前最优 token 剪枝方法最高 6.4 倍提速和 2 倍内存降低；可适配 Qwen3 等标准 Transformer 及混合注意力模型，适配成本类似参数高效微调。代码与论文见 arXiv 2610.26754 和 GitHub。
Vipera 团队在 GitHub 发布本地 AI 网关 Vipera（PyPI 包名 vipera-ai，MIT 协议），读取 .gguf 模型后提供 OpenAI 兼容的 HTTP 接口，默认监听 http://127.0.0.1:8686/v1。核心特性是硬件感知 planner，根据硬件探测结果生成 gpu_layers、KV cache 类型、n_batch、mlock 和 KQV offload 配置，GPU 加载失败时逐阶段回退到 CPU 安全方案并打印变更；CLI 与 API 共享同一引擎实例，内置 system doctor 诊断、HuggingFace 模型搜索和 bench 吞吐测试。
推荐理由：作者给出 planner 逐层分配 gpu_layers 与 KV cache 类型的具体机制，并在硬件溢出场景下说明了适用边界和基准数据。
开发者 kruzif-x 发布 LM Switcher v0.9.15b（beta），一款仅支持 macOS Apple Silicon 的菜单栏应用加 CLI 加 MCP，用于发现、加载和卸载本地 GGUF 与多种 MLX 系后端模型，各模型独立端口并行运行。核心功能包括 mmproj 视觉投影文件自动配对、mtp/dflash 文件自动排除与挂载、DFlash 投机解码（默认开启）、聊天模板覆盖以修复 Gemma 4 在 opencode 等 agentic 工具下的多轮调用问题，以及独立的 MCP 服务器让 Hermes 等 agent 按需加载卸载模型（默认关闭）。
推荐理由：作者是开发者本人，给出了各引擎端口、CORS 兼容表和 Muse Glimmer 实测吞吐数据，读者可对照自己的硬件与工作流判断是否适用。
struklabs 开源发布 Harness Studio v0.1.2，一个基于 Tauri、Rust 和 Svelte 5 的桌面应用，管理 llama.cpp 等引擎让用户在本地电脑运行大模型，无需订阅、离线可用。应用提供 Model Hub 搜索 Hugging Face 并校验 SHA-256、OpenAI/Anthropic/Ollama 兼容网关、MCP 双向支持、CLI 与 headless 模式，并内置 P50/P95 请求分析和 Prometheus 指标；Windows 安装包约 21 MB，应用自身占用约 250-350 MB 内存，MIT 许可。
veildawn 在 GitHub 开源了 Go 库 ai-protocol，可在 OpenAI Chat Completions、Anthropic Messages、OpenAI Responses、Gemini generateContent 及图像生成 wire 格式之间互转请求、响应与 SSE 流。库仅依赖标准库、无 I/O 与网络，所有映射为纯函数，无法保留的协议事实通过 BodyLosses 和类型化错误显式报告；映射语义基于 LiteLLM v1.100.1 的 MIT 协议映射校验，当前处于 v0.8.x 的 Pre-1.0 阶段。
推荐理由：把 OpenAI、Anthropic、Gemini 等多种 LLM 接口格式的互转抽成无依赖纯函数库，转换丢失的参数会显式报告，适合自建网关的人参考。
arXiv 论文 Specter 提出一种 MoE 推理系统，用量化让轻量 draft 模型在设备上运行，对未来专家使用做多步投机预判，提前安排专家的搬运与执行。单请求推理下相对 SOTA 系统平均取得 1.50x（最高 1.88x）的 TPOT 加速，让单 GPU 受限显存下的 MoE 推理在消费级硬件上更可行。代码在 https://github.com/wwwwwf/specter_asplos，论文见 https://arxiv.org/abs/2511.14102。
jsonderulo 是一个可通过 npm 安装的库和 CLI 工具，能把普通提示词自动转换为带 JSON Schema 的结构化提示词，让 LLM 返回更一致的输出。它提供 schema 生成、模板库、校验与自动修复，以及 Strict、Explanatory、Streaming、Validated 四种输出模式。V2 增强版还加入了语义记忆上下文管理、Chain of Thought（CoT）、Tree of Thoughts（ToT）、Self-Consistency 与 A/B Testing 等功能。