跳到正文
#推理引擎
10月10日周六
  1. arXiv · cs.CL28

    结构自动机如何改进神经语义解析

    arXiv 论文提出接受路径解码（APD），在长度受限下保证语义解析输出可被自动机接受，DRS 上 Smatch++ 较局部掩码提升 5.1 和 2.4 点，AMR 上提升 6.4 和 3.2 点。事后处理方面，训练数据受限时 10.2% 的输入在 8 个无约束采样下仍无有效输出，全量数据时降至 0.4%。训练中惩罚被自动机拒绝的 token 在 10% 训练进度后可将开发集 Smatch++ 提升 3.6-11.0 点，但该优势随训练推进逐渐消失。

  2. arXiv · cs.AI34

    任务上下文如何塑造大语言模型中组件的角色

    一项针对五个开源权重模型（跨四个模型族、1.5B-14B 参数）的研究发现，任务变化会重新分配注意力头的 influence。在 Gemma-2-9B 和 Qwen3-14B 中，激活编辑可在保持指令不变的情况下切换模型读取的事实，同一批 head 会响应不同的图事实并以不同方式影响后续组件；对应的线性响应映射将预测均方误差在 Gemma 中降低 53.6%、Qwen 中降低 5.0%。这表明任务上下文同时改变共享组件响应的内容及其对后续计算的作用方式。

  3. GitHub · 灵魂体仓库59

    JaakkoLipp 开源 luna-middleware-decisions：基于 GPT Luna 的决策中间件

    JaakkoLipp 发布 luna-middleware-decisions，一个由非推理 GPT Luna 模型驱动的决策 API，接收状态和有界问题（predicate/choice/score），返回带概率的类型化答案，同时支持 OpenAI Decisions 格式（POST /v1/decisions）和 TypeSafe 的 Jev 格式（POST /v1/systemone）。

    推荐理由：原文给出与 TypeSafe Jev 的实测对比数据、成本延迟数字和已知局限，读者可以据此评估这个自建决策中间件是否值得采用。

  4. GitHub · 灵魂体仓库47

    LLM-Smart-Router：智能路由器将简单提示发给低成本模型、复杂提示发给强模型

    GitHub 开源项目 LLM-Smart-Router 发布 Phase 1A，构建一个把简单提示路由到本地 qwen2.5:1.5b（经 Ollama）、复杂提示路由到 Groq 免费层 openai/gpt-oss-120b 的网关，全部免费无需付费 API。路由标签基于 routellm/gpt4_dataset 数据集（约 119k 条 GPT-4 判分的提示），按 mixtral_score 划分低/高档。项目还包含 Phase 1B 的逻辑回归分类器路由（TF-IDF 加手工特征，按 ROC-AUC 选优并校准阈值）和 Phase 1C 的 FastAPI 网关与纯 HTML/CSS/JS 聊天前端。

  5. GitHub · 灵魂体仓库70

    Pie 发布预览版：用 WebAssembly inferlet 在模型旁自定义推理控制

    Pie 项目在 GitHub 上架预览版软件，允许用户用 Python、JavaScript 或 Rust 编写运行在模型旁的 WebAssembly 程序 inferlet，由其驱动 forward pass 并独占 KV cache，从而按应用实现 agent 循环、工具调用、自定义采样器和缓存策略，无需修改引擎。示例涵盖 beam search、投机解码、KV-cache 共享与扩散等；pie serve 在同一端口兼容 OpenAI、Anthropic 和 Google 的客户端 API，支持 cuda、metal、vulkan、wgpu 四种后端，npm 包可在浏览器经 WebGPU 编译运行，Apache License 2.0 开源。

    推荐理由：README完整给出了安装、示例inferlet和四种GPU后端的构建方式，读者可以据此评估这个把控制逻辑下沉到模型旁的推理引擎是否适合自己。

  6. GitHub · 去对齐工具与仓库44

    Quazmoz/InferBridge：基于 OpenVINO GenAI 的 Intel 硬件本地 AI 服务器

    InferBridge 0.9.6 正式版发布，把 Intel Windows PC 变成本地 AI 工作站，底层由 OpenVINO GenAI 驱动。它提供 Windows 优先的 OpenAI 兼容服务器，支持流式聊天、本地视觉聊天、嵌入向量、CPU/GPU/NPU 设备定向和 System Doctor 诊断，并提供 Windows 安装包与 Portable ZIP。目前安装包尚未 Authenticode 签名，需通过 SHA-256 校验，签名版与 Microsoft Store 上架正在筹备中。

  7. GitHub · 灵魂体仓库74

    Ollama Herd 发布：用 mDNS 自动发现把多台设备组成 Ollama 本地推理集群

    Ollama Herd 是一个本地推理路由器与负载均衡器，通过 mDNS 自动发现局域网内运行 Ollama 的设备，用打分机制按热状态、显存、队列深度等把请求路由到最优机器，仅需 pip install ollama-herd 后运行 herd 和 herd-node 两条命令。除 LLM 外还路由视觉（gemma3、llava）、图像生成（mflux 的 FLUX、DiffusionKit）、语音转文字（Qwen3-ASR）和嵌入向量，提供 OpenAI 兼容 API（端口 11435）、模型回退、46 项自动健康检查和实时仪表盘，支持 macOS、Linux、Windows，其中图像生成和 MLX 语音转文字仅限 Apple Silicon。

    推荐理由：README讲清了部署步骤、评分路由维度和平台差异，想复用闲置设备搭本地集群的读者可以直接照做。

  8. GitHub · 去对齐工具与仓库44

    Noema：用 LLM 提案、Z3 验证 + 沙箱执行的神神经符号工程系统

    GitHub 上的开源项目 Noema 是一个神经符号系统：由 LLM 提出方案，用 Z3 对形式化契约进行验证（不可用即 fail-closed 拒绝），再经 Docker 沙箱执行，全程留下可审计的推理记录。其 Phase 1（Architect）已生产就绪，Phase 2 自主自愈和 Phase 3 多节点 grid 联邦仍在开发中，支持 Python 3.11+，12 个演示无需 API key。

  9. Hugging Face · 新模型：uncensored47

    Qwen3.8-Flash-Next-Uncensored-NVFP4 DGX Spark 部署包在 Hugging Face 发布

    DevelopingDad 在 Hugging Face 发布 Qwen3.8-Flash-Next-Uncensored-NVFP4 的 DGX Spark 部署包，封装 OrcaRouter 现有量化权重， checkpoint 约 183.5 GB，未做微调或重量化。包内含自动挂载运行时补丁的启动器，基于 ARM64 vLLM 0.30.0 提供 OpenAI 兼容 API，最大上下文 131,072 tokens，需 DGX Spark/GB10 与 128 GB 统一内存。K1b 配置实测单客户端 prose 吞吐 37.29 tok/s，较此前配置提升 48.9%，52/52 请求全部完成、无 OOM。

  10. GitHub · 去对齐工具与仓库62

    suntree-j 开源 ai-comic-studio：用 Comic IR 中间层把小说自动改编成漫画

    作者开源了 ai-comic-studio，把小说自动改编成漫画，核心思路是让 LLM 只产出受 Schema 约束的 Comic IR，由确定性引擎负责渲染。项目用 12 条业务规则校验加自修复循环解决一致性、可编辑性和可复现性问题，改一句对白只需约 3 秒重渲染该页而不用重出图；附面板编辑器、Docker 部署、269 个测试和源自《全职法师》2426 至 2445 章 168 页改编的实战经验。

    推荐理由：原文详细给出 Comic IR 的四文件结构、12 条规则和自修复实测，读者可以直接评估这套小说改漫画方案的落地程度。

  11. GitHub · 去对齐工具与仓库61

    WhoFlips 论文开源：反方论证如何让大语言模型放弃正确答案

    WhoFlips 论文（arXiv:2606.16011）开源配套仓库与数据集，用两阶段协议测量 LLM 答案稳定性：先让模型为错误选项写论证，再用该论证挑战其原本正确的答案。实验覆盖 GPT-5.1、Gemma-4-26B、Llama-3.1-8B、Llama-3.3-70B 和 Qwen3.5 系列，变量包括论证长度 k ∈ {1,3,5,10}、归属（盲/自）与来源（同模型/跨模型），解码温度为 0 并禁用推理。数据集 nafisehNik/WhoFlips 约 1.18 GB、约 20.3 万行，含 self_mmlu、cross_mmlu 和 maxflip_mmlu 三个子集，CC BY 4.0 许可，每行保留两阶段完整信息可直接重算 AFR 等指标。

    推荐理由：论文配套仓库同时放出了完整代码、复现脚本和约 203k 行的公开数据集，读者可直接复核答案翻转指标而不必重跑实验。

  12. GitHub · 去对齐工具与仓库50

    Vericode：离线 AI 代码验证 Git pre-commit hook，用本地 LLM 拦截幻觉代码

    Vericode 是一个离线 AI 代码验证工具，通过 Git pre-commit hook 用本地 LLM 在提交前捕捉幻觉导入、不安全代码并甄别误报，源码不上云。其架构分三层：import_check 快速标记幻觉包、Semgrep 离线规则安全扫描、Qwen2.5-Coder-7B（Q4_K_M）经 Ollama 做本地推理与修复建议。仅 setup 时需联网，之后全部离线运行，被拦截的提交可用 VERICODE_OVERRIDE=1 强制通过。

  13. arXiv · cs.CL40

    语言模型能否学会何时拒答？策略学习与校准答案选择研究

    一项 arXiv 研究在 Qwen3-14B 上探索让模型学会何时拒答，比较训练模型本身与训练独立答案选择器两种方法。在 TriviaQA 上，学习型选择器将平均覆盖率从 20.2% 提升到 30.9%，已评分答案的错误率从 23.0% 降至 14.5%；但测试的强化学习方法未带来一致增益，NQ-Open 上选择器仍不如始终拒答，跨数据集的可靠拒答仍未解决。

  14. GitHub · 去对齐工具与仓库40

    epittman23/local-llm：基于 Open WebUI 硬分叉的个人 AI 助手项目

    GitHub 上的 epittman23/local-llm 是一个个人 AI 助手项目，通过 OpenRouter 调用云端开源权重模型，并使用 Open WebUI 的永久硬分叉（固定在 v0.11.3、vendor 进仓库）作为聊天界面。项目将原 SvelteKit 前端替换为 Astro + React 前端，聊天与 RAG 数据存于 Postgres+pgvector，后端以 uvicorn 运行在 127.0.0.1:4000。它需 Linux（2026-10-09 起为原生 Fedora 44）、Docker、Bun、Node ≥ 22.12 和 uv，并内置 Benchmarks 页面用于本地推理的测试与调优。

  15. arXiv · cs.CL30

    LLM 查询扩展如何通过子序列关联过滤与广度感知选择追踪并驯服幻觉词：SAFE-QE 方法

    论文提出 SAFE-QE，一种免训练、与检索器无关的查询扩展方法，基于子序列关联假说识别并降权幻觉扩展词。在 TREC 和 BEIR 基准上，其 nDCG@10 与生成式及语料引导扩展统计上无差异，但每查询不获支持的词仅 4.3 个，低于 Query2doc 的 27.8 和 HyDE 的 57.5；同时提出查询侧忠实度指标 HETR。

  16. arXiv · cs.CL25

    错误率还不够：低资源 ASR 中数据增强的代价分析

    一项低资源语音识别（ASR）研究在四种低资源语言和英语的五种数据规模上，比较了 SpecAugment 等音频增强与基于文本合成音频的增强方法。音素级分析显示两者错误类型互补：SpecAugment 增加声调和腭化错误，文本方法引入辅音插入，组合后各自抵消对方的错误，且组合提升超过各自提升之和；但超加性在 100 小时数据量时消失。研究建议按训练暴露度和声学属性选择增强方法。

  17. Hugging Face Blog47

    Ai2 如何为 GPU 集群设计高影响力调度

    Ai2 AI 基础设施团队用包含 GPU 时间预算、层级公平共享和时间切片合约的调度系统替换了原有的优先级调度器，以提升高价值研究任务的资源分配。团队管理数千块 NVIDIA H100、B200 和 B300 GPU，集群规模从 88 到 1024 块，GPU 需求长期达供给的 2-3 倍。新方案把研究项目应得 GPU 时间的争论从逐案运营协商变成了透明的预算分配流程。

  18. GitHub · 去对齐工具与仓库73

    AINode 开源：一条命令把 NVIDIA GPU 变成本地 AI 集群平台

    AINode 在 GitHub 开源，一条命令即可在 NVIDIA GB10（DGX Spark、ASUS GX10）或任意 NVIDIA GPU 主机上安装自托管 AI 平台，提供浏览器内推理、微调、量化和 OpenAI 兼容 API，支持 UDP 自动发现组网和跨节点 tensor parallel。README 附带作者在自有 4 节点 487 GB VRAM 集群上的实测记录，包括 Qwen3-235B-A22B TP=4 16.5 tok/s、DeepSeek V4 Flash TP=2 34.5 tok/s 等吞吐与编码 harness 数据，并明确列出尚未验证的项目如 TP=4 当前路径和 Ornith 1.5 视觉。

  19. GitHub · 去对齐工具与仓库48

    kyegomez 开源 PyTorch 实现 Google DeepMind 多模态嵌入模型 EmbeddingGemma 2

    GitHub 仓库 kyegomez/Open-EmbeddingGemma 用纯 PyTorch 实现了 Google DeepMind 的 740M 参数多模态嵌入模型 EmbeddingGemma 2。文本、图像、视频和音频经一个双向 Gemma 4 风格编码器输出统一的 768 维向量，支持 Matryoshka 截断至 512、256 或 128 维，官方 safetensors 权重可直接加载。训练（对比损失等）和 pip 打包尚在 Todo 中。

  20. arXiv · cs.AI20

    离散图扩散模型（GDM）其实存在记忆化现象

    一项 arXiv 研究首次证明离散图扩散模型（GDM）存在记忆化。在 two-block SBM 上训练的 GDM 在反向扩散轨迹中能近乎完美恢复被破坏的训练图，而对 held-out 测试图则不然，作者称之为“条件性记忆化”。该现象伴随训练损失与 held-out 损失间泛化差距扩大，无法用 early stopping 缓解，且记忆化出现前生成的图均无社区结构。

  21. Reddit · r/LocalLLaMA51

    Google AI Edge 团队开源端侧 GPU 推理引擎 ML Drift

    Google AI Edge 团队宣布以 Apache 2.0 许可开源端侧 GPU 计算引擎 ML Drift，专为设备端 AI/ML 推理构建。它抽象了 OpenGL ES、OpenCL、Metal 和 WebGPU 等端侧 GPU 的硬件与底层 API 复杂性，可作为 LiteRT 的核心 GPU 加速引擎，也可作为独立库供自定义图形和推理运行时使用，支持从视频特效到生成式 AI 的实时交互式 ML 体验。

  22. Reddit · r/LocalLLaMA43

    Aplomb 1 登顶 Hugging Face 官方 Typed Decisions 榜单

    5.3B 参数的 Aplomb 1 登顶 Hugging Face 官方 Typed Decisions 概率决策基准，KL from gold 为 0.123，Brier score 为 0.065，均居榜首，低于约为其五倍规模的 27B 第二名模型（KL 低 40%）。模型支持文本、JSON、图像、视频和音频单次输入，上下文达 1M tokens，API 上 1M-token 文档约 3 秒读完，输入价格 $0.02 per 1M tokens 且输出免费。权重已在 Hugging Face 开源。

10月9日周五
  1. arXiv · cs.AI47

    ReplaySSM：缓存 SSM 输入而非状态

    arXiv 论文提出 ReplaySSM，将 SSM 状态表示为检查点加近期 SSM 输入缓冲区，跳过大部分步骤的状态写入，使混合模型的主要状态内存流量约减半。已在 vLLM 中为 Mamba-2 和 Gated DeltaNet 实现，batch size 256 下较调优后的 vLLM 基线加速 1.20–1.47×，在两个 120B 级模型上吞吐量约为 vLLM 投机解码的 1.8×，并支持低成本投机回滚与分离精度的检查点以降低精度损失。

  3. arXiv · cs.AI50

    DualQuant：面向 LLM 的双尺度免校准权重与激活量化框架

    研究者提出 DualQuant，一种双尺度、免校准的后训练量化框架，通过最小化权重重建 MSE 得到逐通道激活 rescaling，无需校准数据即可完成 W4A4 量化，并首次正式支持 MX 与 NV block 格式。在 Llama 和 Qwen 模型的 WikiText-2、C4 及零样本任务上，其精度达到或超过基于校准的 SmoothQuant。Llama-3.1-8B 在 RTX 4090 上的实测推理相比 BF16 最高实现 2.61x 内存节省和 2.46x 吞吐加速。

  4. GitHub · 灵魂体仓库59

    Showdar Router 发布：面向 OpenCode 等客户端的本地优先 AI 路由网关

    Showdar Router 在 GitHub 发布，为 OpenCode 及 OpenAI 兼容客户端提供本地路由网关，将多个提供商、凭证和模型统一到 http://127.0.0.1:21298/v1 单一端点。支持有序 combo fallback、健康感知冷却与恢复（half-open 探测、Retry-After 等恢复元数据）、空响应视为路由失败，默认端口 21298，可通过 npm install -g showdar-router 安装，MIT 协议，源自 decolua/9router 的独立 fork。

    推荐理由：README 讲清了健康感知路由、有序 fallback 和恢复元数据的处理方式，想给多提供商工具做统一本地网关时可以参考这套做法。

  5. GitHub · 去对齐工具与仓库22

    herbal-remedies-guide-info：基于 Mistral 7B 的自托管 RAG 草药问答助手开源文档仓库

    GitHub 开源文档仓库 herbal-remedies-guide-info 展示一个基于《The Little Handbook of Natural Remedies》的 RAG 草药问答助手。它默认使用 Mistral 7B (v0.3) 自托管模型，通过 Ollama 本地开发、vLLM 4-bit 生产部署，在 Modal serverless GPU 上冷启动约 20 s、热响应约 3 s。检索采用手写混合方案（嵌入相似度加关键词评分），不依赖 LangChain 或第三方 LLM API，前端用 React 19 + TypeScript，并配有 Stripe 付费访问控制。

  6. GitHub · 灵魂体仓库32

    mft-engine：Rust 编写的确定性研究与模拟交易引擎

    henryzhangpku 开源 mft-engine，一个用 Rust 编写的确定性中频研究与模拟交易引擎，回测与实盘模拟共用同一事件循环。引擎整合 Hyperliquid 价格、Kalshi 预测市场阶梯、Jev 推理分类器对 HN 帖子的打分及 Hyperliquid 排行榜前 100 钱包仓位，决策约 2 微秒（p99 47），实盘数据帧到决策约 0.4 ms。预先注册的策略在 3.5 天数据上扣费后均亏损；v4 资金费率套利策略在密封样本外测试中被淘汰，36 天亏损 $478.69（Sharpe -1.91），仓库不含任何下单代码，仅支持 paper trading。

  7. GitHub · 灵魂体仓库77

    SharpAI 发布 SwiftLM：原生 Swift 的 MLX 推理服务器，兼容 OpenAI API

    SharpAI 开源了 SwiftLM，一个原生 Swift 编写、面向 Apple Silicon 的 MLX 模型推理服务器，提供严格 OpenAI 兼容 API，无需 Python 运行时，编译为单一二进制文件。项目内置 TurboQuant KV 缓存压缩（约 3.6 bits/坐标，较 FP16 压缩约 3.5 倍）、NVMe SSD 专家流式加载（Qwen3.5-122B 上提速约 10 倍）、投机解码与 MTP，支持 VLM 和音频模型，并附 iOS 端 SwiftBuddy 应用。

  8. GitHub · 灵魂体仓库24

    ondrysL 开源 llm-reasoning-optimization v0.1：缩短 Qwen3-0.6B 思考过程的数据管道首发

    独立研究项目 llm-reasoning-optimization 发布 v0.1，目标是用 SFT 加 GRPO 缩短 Qwen3-0.6B 的思考长度且不损失答题准确率，当前版本仅实现数据准备管道，尚未包含 SFT 训练、GRPO 和评估。管道克隆 BottleCapAI ThinkingCap-Test 固定 commit，下载四个数据集并加载 GSM8K 人工解答生成 SFT 数据，保留 BottleCap 评估基准（SVAMP、BFCL、MBPP+、IFEval）不用于训练，每来源固定 seed 0 并留出 200 条防止训练验证泄漏。下一步计划包括基于 LoRA 的 SFT 训练、BottleCap 评估适配器及 vLLM 后端。

  9. arXiv · cs.AI43

    只会打分不会搜索的特权教师：批评条件化的在线自蒸馏推理方法

    arXiv 论文研究发现，on-policy 自蒸馏中基于参考答案打分的教师信号既不能定位推理错误，也不能可靠区分正误 rollout。论文提出批评条件化自蒸馏：先让教师生成批评，再据此打分，产生的信号能定位错误并使概率转向"Wait""But"等回溯 token。该批评在测试时能解出原本无法解出的数学题，并在冷启动 GRPO 中为可验证奖励无法提供信号的问题提供优势信号。

  10. arXiv · cs.AI40

    Orthros：面向高效 Transformer 的相位感知异构注意力

    研究者提出 Orthros attention，通过相位感知解耦实现线性复杂度 prefilling 与全注意力解码，相比标准 Transformer 获得最高 21.9× prefilling 加速。该模块支持数据高效的 Transformer-to-Orthros 转换，转换后性能甚至超过原 Transformer。128K needle-in-a-haystack 测试接近满分，保持长上下文能力。

  11. GitHub · 去对齐工具与仓库36

    CAGE：面向 LLM 服务的 KV-cache 复用评测框架

    GitHub 上的开源项目 CAGE（Cache-Augmented Generation Evaluation）提出在统一协议下同时衡量 KV-cache 复用（CAG）、检索（RAG）及其混合方案的服务性能与答案质量，指标包括 TTFT、吞吐量和 grounding、faithfulness、abstention。项目以"服务产出 Y"（按时且正确的请求每秒数）为核心指标，并附上 truth tax 等归因分析，覆盖 vLLM、SGLang、LMDeploy 四种引擎、十二条基线与八个数据集。工程链路已建成并配有 3,000+ 测试的离线套件，但正式评测活动尚未运行，早期数据仅为试点、不可作为结果引用。

  12. arXiv · cs.CL24

    基于知识图谱引导多任务预训练提升预训练语言模型的法律推理能力

    研究者提出一种针对德国交通法（StVO）的多任务预训练方法，结合 NSP、知识图谱引导聚类（CLU）与知识图谱感知段落分类（CLS）三个目标，将结构化法律知识直接编码进模型权重，实现零样本法律推理而无需离散图遍历。在 9 个 Transformer 编码器、324 次实验中，模型在合成 StVO 问答上相对基线提升 10.3%–155.0%，并在 LexGLUE 七项基准中的四项超过既有结果，在奥地利驾驶法规上取得 3.4%–15.8% 的零样本迁移增益。该工作已被 EMNLP 2026 共同举办的 NLLP 2026 Workshop 接收。

  13. GitHub · 去对齐工具与仓库31

    robowatch：把 RSS 源变成每周机器人情报简报的 AI 管线

    robowatch 是一个开源 AI 管线，每周五抓取约 40 个 RSS 源、去重并用 Groq（llama-3.3-70b）过滤和打分，再用 Gemini 2.5 Flash 生成为 9 个板块的 HTML 邮件，通过 Gmail SMTP 投递。它面向学生机器人团队和研究者，附带 CFP 追踪器（覆盖 ICRA、IROS 等会议），并依据反馈文件自我学习偏好。项目采用 MIT 许可，支持 Docker、GitHub Actions 定时运行，测试覆盖 Python 3.10–3.12。

  14. GitHub · 去对齐工具与仓库37

    dialexity/dialectical-framework：用结构化张力图让 LLM 推理实现客观与综合

    dialexity 开源的 dialectical-framework 为每个命题生成真正的反题，发展 T+、T-、A+、A- 四个方面，并通过形式化生成规则驱动正反双方走向综合（S+）。所有推理步骤以规则校验的节点和边写入 Memgraph 或 Neo4j 图数据库，知识可跨调用持续累积。框架包含 Analyst、Explorer、Advisor 三个 agent，可用于决策支持和系统思考。

  15. arXiv · cs.AI50

    Adaptive DHiSparse：面向负载自适应 KV 层级的投机解码

    Adaptive DHiSparse 在层级稀疏 KV 上支持 DSpark、DFlash2 等投机解码，并按负载自适应调整缓存驻留。100K 上下文、并发 128 下，GLM-5.3 配 DFlash2 达每解码 GPU 793 output tokens/s，为 HiSparse 的 1.45 倍；同等延迟约束下并发最高 4 倍、输出 2.3 至 3.7 倍。DeepSeek-V4.1-Flash 在 500K 上下文、并发 512 下输出达常驻服务配 DSpark 的 1.85 倍。

  16. arXiv · cs.AI18

    方差缩减策略梯度算法 LVR-PG 达到近似极小极大最优

    论文提出 Loopless Variance-Reduced PG（LVR-PG），一个统一的理论框架，抽象出一类结合递归更新与防御性重要性采样的一阶估计器，涵盖 PAGE-PG 和 STORM-PG 等已知方法。该类算法在弱梯度支配条件下，仅用一阶更新即实现 $\tilde{\mathcal{O}}(\epsilon^{-2})$ 的 last-iterate 全局收敛。通过将下界扩展到连续参数化策略，论文给出 $\Omega(\epsilon^{-2})$ 样本复杂度极限，证明该框架在对数因子和 horizon 项内达到极小极大最优。

  17. GitHub · 灵魂体仓库38

    LMCache：面向 LLM 推理的开源 KV cache 管理层

    LMCache 是一个开源 KV cache 管理层，可将 KV cache 持久化存储、跨服务引擎复用，降低 TTFT 并提升吞吐，尤其适用于长上下文 agentic、多轮对话和 RAG 工作负载。该项目已加入 PyTorch Foundation，GitHub star 超 5,000，并与 NVIDIA Dynamo、vLLM 等集成。它支持引擎独立部署、分层存储（CPU 内存、SSD、Redis/Valkey、S3 等）、CacheBlend 非前缀 KV 复用以及 PD 分离下的 KV 传输。

  18. GitHub · 灵魂体仓库50

    digitalservicebund experimental-llm 项目文档：用 Ansible 在 Ubuntu 26.04 NVIDIA 服务器上部署 vLLM 与 LiteLLM Proxy

    digitalservicebund 的 experimental-llm 仓库文档说明如何用 Ansible 在 Ubuntu 26.04 NVIDIA 服务器上以原生 Python vLLM 部署 OpenAI 兼容 API，并可通过配置使用 Hugging Face 模型。前端由 LiteLLM Proxy（127.0.0.1:4000）负责认证与用量指标，Virtual Keys 存于 PostgreSQL，可撤销和轮换。Terraform 基础设施经 GitHub OIDC 由 GitHub Actions 执行，客户端通过 SSH 隧道访问代理。