新闻、仓库与研究，按时间排列。
一项 arXiv 研究通过对 Qwen3-4B-Base 做生成时干预，分析 RLVR 对数学推理的增益来自哪里。仅在两模型贪心解码分歧的约 4% 位置借用 RL 模型的 token，就能恢复 90.5% 的 pass@1 增益；强制 base 模型以 "Alright" 开头可恢复 35% 的 RL 增益，开头之后的后续替换再增加 5.2 个百分点，而固定插入 "Wait" 等反思词的规则无法复现该效果。稀疏替换在 k=256 时解决 67.5% 的问题，高于 RL 模型的 61.4%，同时保留较多 base 模型多样性；比较基于相同尝试次数而非相同算力。
推荐理由：论文用生成时干预把 RLVR 增益拆到具体 token 决策层面，结论对理解 RL 训练到底改变了什么有参考价值。
一位用户在 llama-server 上以 Q5_K_XL 量化运行 Qwen3.6 35B A3B（26GB、132k 上下文、KV cache q8_0），在 4060TI 16GB 加老 i7 与 48GB DDR4 的配置下获得 19.53 t/s 生成速度，prompt 处理 132.58 tokens/s，仅占 4.5GB VRAM；而 26B 稠密模型（Gemma 或 Qwen）Q4_K_M 量化仅约 2 t/s。用户疑惑 MoE 版本为何快近 10 倍，并询问专家层经 PCIe 与 DDR4 是否会成为瓶颈。
Reddit r/LocalLLaMA 用户分享 Qwen 3.8 Flash Next 解码提速技巧：将 --adapt-every 从校准值 1 调到 6 后，UD-Q4_K_XL 量化下 4 个提示词的输出速度提升 12%-55%（最高 43.1 t/s），UD-IQ4_XS 提升 9%-24%（最高 71.6 t/s）。测试环境为 Intel 11700F、RTX 4070 ti super、64GB DDR4、Arch linux TTY。
llama.cpp 通过 PR #30673 新增对 Aleph Alpha 的 Kolibri-1 模型支持，作者称在等待 GGUF 权重。该模型是 78B 总参数、每 token 激活约 3.46B 的 MoE 推理模型，主打德语和英语，支持显式推理模式与工具调用，上下文长度 1,048,576 tokens（服务建议不超过 262,144），FP8 权重约占 78 GB 显存，最低需 2× A100 80GB 或 1× H200，采用 Apache 2.0 许可，模型卡见 https://huggingface.co/Aleph-Alpha/Kolibri-1。
GitHub 新仓库 avakado0/ai-video-gen-aws 提出一套在 AWS 上按需生成 AI 视频的成本优化架构，目标是空闲时近零成本：GPU 仅在任务排队时以 Spot 实例（g4dn.xlarge / g5.xlarge）运行，并支持从零扩缩容。技术栈包括 CloudFront、Cognito、API Gateway + Lambda（FastAPI）、SQS 队列与 S3 存储。目前架构设计与图表已完成，Terraform、API 和 worker 尚未开始开发，采用 MIT 许可证。
开发者 jayanth9884 在 GitHub 开源了 PDF Knowledge Assistant，一个基于 Streamlit 和 Google Gemini API 的 Python 应用，用 RAG 流程对上传的 PDF 做问答。工具使用 gemini-embedding-001 生成嵌入向量，通过余弦相似度检索相关段落，回答时附带 PDF 页码和引用片段供验证，并缓存文档处理与嵌入结果以减少 API 调用。扫描版 PDF 暂不支持，需 OCR，答案仍需对照引用段落核查。
Artificial Analysis 开源了 agentperf-local，通过重放录制的智能体对话测量本机对 AI 智能体的服务吞吐与延迟，支持 llama.cpp、vLLM、SGLang、LM Studio、Ollama 等 OpenAI 兼容服务器，或自动下载固定版本模型并启动服务器后测试。默认回放 agentperf-default-v1 包含 8 个智能体任务共 168 轮，完整运行需 65,536 token 上下文，每轮携带全部历史对话；结果只测速度不测输出质量，提交数据为可选项。
研究者提出 RareCipherFT，将训练目标与含相同稀有术语的上下文示例配对，并用字符乱序密码替换该术语，迫使模型只能从上下文中复制学习，从而强化大语言模型的 in-context term learning（ICTL）能力。在英语与泰米尔语等五种语言间的七个翻译方向、4 个 1B 至 7B 参数模型上，RareCipherFT 将术语召回率较标准 IC-Train 提升 5-15 个绝对百分点，且不降低 COMET 分数，也无需词汇资源。
一项发表于 SPECOM 2026 的研究在单说话人病理语音场景下，对 Whisper 中的 LoRA 适配做了组件级分析。结果显示：全注意力层的 LoRA 提供最可靠的准确率和最佳时间-准确率权衡；模型扩容虽能降低错误，但无法消除说话人失配；中等长度语音受益最大，短和长语音仍是难点。研究强调适配器位置与依赖时长的评估在数据稀缺个性化场景中的重要性。
DeepSeek 发布 DeepSeek-V4.1-Flash-1017，是 DeepSeek-V4.1-Flash 的小版本更新，在推理、编码、Agent 任务和视觉基准上大幅提升，同时缩短任务执行时间和输出长度，推进多 Agent harness 下的性能成本帕累托前沿。Terminal-Bench 4.0 达 42.3（上一版 31.2），Automation-Bench 达 60.5。该版本不含 Jinja 聊天模板，改为提供 encoding.py 参考实现和 deepseek-recipe Rust 库工具包，支持 1M tokens 上下文窗口、max_tokens ≥ 256K，推荐 temperature 1.0、top_p 1.0，采用 MIT 许可证。
推荐理由：技术报告给出与 Kim3、GPT-5.6、Opus 5 等的对比数据，并附推荐采样参数与推理工具链，方便本地复现。
GitHub 上新开源仓库 lioilsources/AiStack，包含 Prompts、bench、gateway、spark、workflows/ugc 等目录及 audioclient 组件。仓库还附带 CLAUDE.md、SKILL.md 与多项计划文档，涉及模型 bench、spark 调度器和 vLLM 升级，部署方面提供 cloudflared 与 .env.example 配置。
用户在 64GB 内存的 Nvidia AGX 嵌入式设备上以 50W 功耗实测 Qwen3.8-Flash-Next-Gyro-L-TQ3_0.gguf（108GiB），处理速度 82 token/s、生成速度 9.86 token/s。同机测试中 Qwen3.8-27B Q8_K_XL 生成 8.3 token/s、Q4_K_M 达 10.5 token/s，Qwen3.6-35B-A3B 单请求 23 token/s、双请求 43 token/s。作者原以为 Framework 桌面 128GiB 版会更快，但按其博客预估 Qwen3.8 27B Q4 仅 11-12 token/s，手持 5000 美元预算仍难找到数量级提升的方案。
hranicka 在 GitHub 发布 llm-gateway，一个 OpenAI 与 Anthropic 兼容的代理，按请求中的 model 字段按需启动和关闭本地模型后端，用顺序切换解决消费级显卡 VRAM 只能装一个量化模型的问题。它支持 /v1/chat/completions、/v1/messages、/v1/responses、图像生成与编辑端点，可代理 llama-server、vLLM、ExLlamaV3、sd-server、ComfyUI 等后端，并利用 ROCm/CUDA/Metal 编译目标与 flash attention 等原生运行时参数。
推荐理由：作者给出了单槽 VRAM 下按需切换模型后端的具体做法，并附 EXL3 与 GGUF 的实测速度和困惑度对比数据。
一篇 NeurIPS 2026 论文提出 RLAWM（基于公理化世界建模的强化学习），通过惩罚模型内部公理化世界模型与题目真实物理世界的偏离（建模漂移），在建模和求解两个层级分别给予物理奖励，且仅在训练时使用、推理无额外开销。该方法在 PhysReason 上较基线最高提升 12.2 分、在 PHYSICS 上提升 5.2 分，并在奥赛级物理和数学上零样本泛化，较最强基线取得 2.45 倍增益和 10 分提升。
研究者提出 ProbePO，一种无 Critic 的 LLM 强化学习方法，通过无奖励不确定性分数选择部分解答状态、在有限续写预算下估计期望验证器奖励，将 GRPO 的轨迹级优势重分配到 token 层面。在 1.5B-7B 参数的三个 DeepSeekMath 与 Qwen 系列模型上，ProbePO 在 18 组模型-基准对比中的 16 组取得四种方法中最高准确率；对比 VinePPO，在 DeepSeekMath-7B 上六个基准全部领先且端到端训练时间减少 76%。
MiniMax 发布 MiniMax-M3.1-Flash，一个面向编码、Agent 工作流、computer use 和网络安全的原生多模态 MoE 模型，总参数约 428B、每 token 激活 23B，支持文本、图像、视频输入，上下文窗口最高 1M tokens。相比 M3 的三项主要变化是全程稀疏注意力、量化感知训练，以及用 DSpark 投机解码取代此前的 EAGLE 类 MTP 方案。
推荐理由：官方公布与 DeepSeek、Kimi 等模型在十余个 Agent 与编码基准上的横向对比，并说明评测设置，读者可据此自行评估实际水平。
一项对照研究在 Qwen2.5-3B 上以 6B token 持续训练预算比较上下文扩展的长文档选择方法，发现随机采样长文档优于 repacking，而按 LongPPL 关键 token 密度选文档效果更好。其提出的 truncLongPPL 通过截断前缀计算密度，获得 2.28× 端到端评分加速，在验证 HELMET 上超过 random-long 4.54 分、held-out RULER 上 3.28 分。在 Qwen2.5-3B、Qwen3-8B、OLMo 3-7B 的短长混合训练及 SFT 后，该方法的 LongBench v2 提升 1.13–1.67 分、MRCR 提升 0.62–1.44 分。
开源工具 gguf2mlx 新增 Qwen3VLTextEncoderConverter，可将 Qwen3-VL-8B 的文本条件组件转换为 BF16 safetensors，保留多模态 RoPE 分段和视觉 token ID，默认 BF16 输出，FP32 解码避免 FP16 溢出。工具面向 Apple Silicon Mac，把 GGUF 模型转成 MLX-LM 兼容的 HF 风格目录，支持 LLaVA、Qwen2-VL 和 MiniCPM-V 4.7 的 VLM 适配器、显式 direct-quant 4-bit 量化及 .mlx 打包与 SHA-256 校验。仓库明确声明文本转换未经真实推理的隐藏状态或画质验证，不支持安静降级精度，未知架构直接失败而非回退。
推荐理由：README明确区分已验证与未验证的转换边界，并把Qwen3-VL文本编码器的精度和mRoPE保留写清楚，适合想在Mac上做GGUF转MLX的读者。
Muvon Un Limited 发布 OctoHub，一个用 Rust 编写的高性能 LLM 代理，对外提供统一的 OpenAI 风格 API，后端可路由到 OpenAI、Anthropic、Google、DeepSeek、Ollama、OpenRouter、Modal 托管的 vLLM 等 20 多个上游。支持多租户 API key、完整请求响应日志（SQLite/MySQL/PostgreSQL）、按 key 和时间桶的用量统计、模型映射与随机负载均衡、缓冲式 chat SSE、媒体生成端点、per-provider 并发限制、Prometheus 指标和 SIGHUP 配置热重载；提供 6 个平台的静态二进制，Apache-2.0 许可。
Reddit r/LocalLLaMA 用户报告在 4 x Intel B70（128GB VRAM）、128GB RAM 的容器化 vLLM 环境中跑通 QFN 3.8 FP8，支持 256k 上下文与 MTP，实测 prefill 450 t/s、生成 20 t/s。借助 GLM 5.3 flash 等模型协助修复了多个 2^32 溢出导致的随机崩溃，目前运行基本稳定。
ZhiYuan Agent 是一款开源（AGPL-3.0）、本地优先的桌面 AI 智能体，内置免费模型，无需第三方 API key 即可使用，也可通过 llama.cpp 运行本地 GGUF 模型并调节上下文长度、GPU 分配等参数。它能读写文件、执行命令、操作浏览器，生成 PPT、Word、PDF、Excel，并支持从微信、飞书、钉钉等应用接收任务，提供 Experts、Skills 和 MCP 扩展。
一位用户回顾 2025 年 3 月至今的本地 LLM 之路：从 RX 7800 XT 上跑 Mistral Nemo Q4_K_M 的 15 t/s，到双 RTX 5060 Ti 16GB 加持下，llama.cpp 0.7.0 运行 Gemma 4 31B IT QAT 超过 60 t/s 生成、1100 t/s 处理，Qwen3.8 27B 推理约 70 t/s、写代码约 100 t/s。随着 tensor split 与 MTP 引入及 Web 界面改版，本地模型已能完全替代云端 LLM。
hokanosekai 发布 llama.kt，一个 Kotlin/Android JNI 绑定，可在设备端加载任意 GGUF 模型运行推理，无需服务器或云端，原生 C++ 引擎提取自 llama.rn 并以纯 Kotlin API 重新暴露。在 OPPO（MediaTek Dimensity 900）上验证，Qwen2.5-0.5B（q4_K_M）CPU 约 20 tok/s；实测显示稠密模型在大核 CPU 上最快，Vulkan 仅对 Gemma 3n/4 更优，8GB 级设备可用上限约 4B 量化模型。多轮对话通过 KV cache 前缀复用，4 轮后 TTFT 保持 1.7–2.4s，而完整重预填充约需 48s。
推荐理由：作者在真机上给出多款模型的 CPU 与 Vulkan 后端实测数据，读者可据此判断这类端侧 GGUF 推理方案的实际可用规模。
Reddit 用户 /u/Sanbi_Ai 复盘 Kimi K3 发布三个月后的实际使用状况：全模型 1.56 TB，Unsloth 推荐的最小量化为 594 GB，需约 610 GB RAM+VRAM，装不进 512 GB；1-bit 量化与全模型下一 token 一致率 79%，2-bit 达 90% 但需 861 GB。其在 Artificial Analysis 指数已从 57 降至 44，GLM-5.3（753B）得 45，Step 5 Preview（600B）以 44 追平；自家 API 仅 43 tok/s，AA agentic 基准平均每任务近一小时、超 $10。许可证非 MIT，公司若 12 个月内总收入超 $20M 需与 Moonshot 另行签约。
推荐理由：作者用 Unsloth 量化文档和 AA 数据逐项核算了 Kimi K3 的本地运行门槛、API 速度和许可证限制，信息可直接用于部署决策。
一位 Reddit r/LocalLLaMA 用户在 128GB 内存的 Jetson AGX Thor 上成功加载并运行约 566GB（FP8）的 MiMo-2.6-Pro，速度仅 0.646 tokens/sec，模型需在推理过程中从磁盘读取。作者逐层追踪了 decoder layer、routed expert 和 SSD 读取过程，并计划进一步优化速度。
一位用户在本地运行 SillyTavern 并通过自建服务器连接 llama.cpp 使用 Qwen3.6 时遇到输出不稳定问题：模型有时只输出一行，有时输出大段 "Here is a thinking process" 思考块和乱码标签。用户尝试了 jinja 模板、"derive from model metadata" 选项、在 System Prompt 添加标签以及 --reasoning-budget 0 参数均无效，且角色扮演中的 Impersonating 功能完全无法使用，在论坛求助通用模板。
网友在 Quadro M6000 / Tesla M40 上运行 Strata，实测 Prefill 150 tk/s、Decode 25 tk/s，速度不算快、能效也一般，但对本地 LLM 部署意外实用。借助 Strata 全部专家可装入 VRAM，作者仅用 Strata 提升 prefill 速度，未做代码优化，只是将 NVIDIA 架构移植到 Strata 以支持 Maxwell 显卡。
GitHub 新仓库 mtchms/TinyCode 开源两个基于 Tern 124M 的独立模型：Code Generator 将英文请求转成 Python 代码，Code Narrator 将 Python 代码转成讲解。推理通过 ONNX 在访客本地 CPU 的 Web Worker 中运行并支持 token 流式输出，无需推理服务器或 API key，每模式按需加载约 650 MB FP32 权重，用户请求和代码不会发送到模型托管方。
Anthropic 团队让内部研究模型在不到半小时内发现 NIST P-192、P-224、P-256、P-384、P-521 等曲线种子并非哈希结果，而是以 Unix 时间戳初始化的 C 库 lrand48 随机数生成器的输出，例如 P-256 需要 1842 次迭代。
团队发布 ORL（On-Policy Residual Learning）研究并全量开源，用 on-policy 残差学习和 Adjacent Entropy Contraction 让扩散语言模型在更少前向传播内收敛更多 token。配合自研推理引擎 dlmrt，LLaDA-2.1-mini + ORL 在单张 RTX 5090 上达 2,788 tokens/s（NVFP4），DiffusionGemma 26B MoE 达 7,708 tokens/s（8× B200）；QwenDLM-4B 端到端吞吐提升约 6.9×，HumanEval pass@1 从 82.9% 升至 89.6%，单 H100 上 1,298 tokens/s，快于 DFlash 的 746 和 EAGLE3 的 405。
推荐理由：原文给出各模型吞吐、HumanEval 前后对比和与 DFlash、EAGLE3 的同精度对照，可复现的代码和权重也已开放。
JacobBowie 用 marimo 响应式笔记本制作了 Eldan & Russinovich (2023)「Who's Harry Potter?」论文的交互式讲解，展示 Llama-2-7B 在约 1 GPU 小时的微调后遗忘 Harry Potter，而预训练原本需约 184,000 GPU 小时，通用 benchmark 分数基本不变。笔记本经 WebAssembly 完全在浏览器运行，首次加载需 30 到 60 秒，在线地址为 jacobbowie.com/unlearning。文中也指出该方法已被 NPO、SimNPO、RMU 等新方法超越。
NVIDIA 在 Hugging Face 发布 4B 参数的循环（latent-recurrent）模型 NVIDIA-Nemotron-Labs-Dory1.0-4B-BF16，采用 normalized-GPT 架构，通过重复应用共享 Recurrent 块（8 层输入、20 层循环、8 层输出）让每个 token 获得更多计算。单一 checkpoint 可设 1-4 个循环，无需重训即可权衡算力与精度，官方推荐默认 2 循环，并支持 last-loop KV caching 使 KV cache 开销保持在一循环大小。
推荐理由：同一个 checkpoint 可调循环次数换精度，作者还给出各 loop 数的实测对比与 KV cache 省显存方案，适合关注小模型推理成本的人。
arXiv 论文提出 ReDiST，一种面向证据丰富推理的学生条件化轨迹构建与知识蒸馏框架。该框架从学生自身尝试出发，结合证据修订正确草稿、借助验证答案修复失败草稿，并由冻结的学生匹配 reader 依据答案恢复率和验证答案概率筛选候选轨迹。在问答 benchmark 上，ReDiST 超越仅答案监督、原始轨迹及所评估的轨迹选择与改写基线，且源任务与跨基准迁移表现排名可能不一致。
一项 arXiv 研究指出，有损投机解码的松弛验证虽然每轮平均多接受 1.34× 的 token，但会通过延长推理轨迹使补全长度膨胀 1.54×，抵消表面加速。对十二组 target-drafter 组合的评测显示，部分规则降低验证轮数时准确率显著下降，原因之一是持续推理耗尽输出预算。因此评估解码效率还须同时报告补全长度与验证轮数。
研究者提出 Paired-Residual Subspace Removal（PRSR），一种免训练的推理时干预方法，从多语言平行句构建成对残差、逐层估计低秩子空间并加以抑制，将 LLM 表示导向更语言无关的语义空间。该方法在 MTEB 和 MMTEB 上覆盖 18 种语言的 200 多项单语评测，以及英语与 200 多种语言间的跨语 bitext 挖掘中，均一致优于现有免训练基线。
Wei Wang 在 arXiv 发布 FUTRANSFORMER，一个面向 NVIDIA Hopper GPU 的 Llama 风格 Transformer 推理 CUDA 实现，prefill 用 FP8、decode 用 INT4 权重和 INT4 KV-cache，并采用块对角 Hadamard 变换降低缓存量化误差。
推荐理由：论文给出 Llama 推理在 H100 上 FP8 prefill 与 INT4 decode 的具体实现和量化精度代价，数字可核对、方法可参考。
研究团队推出 DrugHarness，一个面向计算药物发现的可进化智能体框架，集成超 80 种科学操作，并可通过条件化技能进化持续改进。在 MolBench 上，无进化状态下其亲和力比较准确率超过 MolClaw-CC 报告结果 10.8 个百分点；技能进化使 Qwen 的亲和力比较准确率从 62.2% 升至 81.1%。在 HPK1 前瞻性研究中，合成化合物的细胞 IC50 达 14.19 nM，较最佳输入参考提升 2.64 倍效力。
arXiv 论文提出 DLite，一种面向智能体工作负载的免历史投机解码框架，直接复用目标模型的上下文隐藏状态做局部预测，无需维护历史 KV cache。针对智能体长上下文中 draft 模型接受长度最高衰减 80% 的问题，DLite 用轻量级 sequential head 恢复块内因果依赖，并配合两阶段训练策略，实验中达到 2-6 的接受长度，最高比 SOTA 方法 DSpark 快 70%。
一位用户在 4x RTX3090 上运行 Qwen3.6 35b a3b（Q6）时发现，关闭 MTP 后解码速度从 70t/s 提升到 82t/s。原因是 MTP 的 draft-and-verify 需要在四块 GPU 间额外同步，层切分下 PCIe 通信开销超过其收益。
研究者用经人工标注验证的 LLM 抽取流程，把意大利议会非结构化文本转为带日期的有序事件（法案提出、委员会审议、全会审议、批准等），构建了覆盖 1985 至 2026 年、第 IX 至 XIX 届议会全部 5346 部法律、共 101413 个事件的数据集。该数据集可用于计算法律与立法研究及过程导向的数据科学方法。