新闻、仓库与研究，按时间排列。
论文提出 MARI（Memory-Augmented Recommendation with Interpretability），通过决策记忆库（DMB）以结构化决策记忆（SDM）记录用户的目标、约束与权衡，经 Post-Hoc Decision Distillation 从异构行为离线生成，检索后增强 LLM 推理。实验显示 MARI 在标准 next-item prediction 和新提出的 Difficult Choice Prediction 任务上显著超越 SOTA 基线，且因记忆构建与在线推理解耦而延迟开销低。
该研究将语言支配框架适配到 26 种阿拉伯语变体，检验“LLM 内部表征由现代标准阿拉伯语（MSA）支配”的假设。结果未发现 MSA 在各层、各模型族中构成支配性内部表征，方言表征反而形成高度重叠的稠密空间，归一化互信息相比差异更大的语言急剧下降。研究表明 MSA 偏向的生成输出并不必然反映内部表征支配，分析多语言与方言 LLM 时应区分生成偏差与内部表征几何结构。
研究者提出 Residual Advantage（RA），将师生概率残差视为有界单步奖励，并结合 GRPO 或 REINFORCE++ 改进 RLVR 训练。在 Qwen3-1.7B-Base 和 Qwen3-4B-Base 学生搭配 Qwen3-8B 教师的实验中，RA 在三个数学 benchmark 的全部 24 组对比中均优于基础序列优势算法，macro Avg@8 提升 1.7–3.6 点，Pass@8 提升 3.9–6.3 点。其 CoRA 变体进一步带来 1.0–1.5 Avg@8 点提升，两种组合均超越仅用教师的 OPD。
清华团队等提出 WebLoop，一个在共享策略中联合学习生成、批判与修正的执行驱动框架，为无需执行的 Critic 引入需求级判别力与下游有用性互补信号。基于 Qwen3.5-9B 的 WebLoop 在 WebRise 上达 41.5 Overall，在 WebGen-Bench 上达 38.9% 准确率，分别比基座模型提升 11.3 和 15.4 个点。增益可迁移到首次生成、27B 规模及多模态输入，且受控分析表明仅靠额外一轮修正无法解释该提升。
研究团队构建了 ProloNg 合成测试题，用 Prolog 表达的演绎逻辑系统变化推理深度，最难情形达到深度 22、上下文 62k。对 5 个家族共 8 个推理模型的测试显示，随推理深度增加性能大幅下降，多数模型在深度超过 10 后接近随机水平。
Anhao Zhao 等提出 DIAL-OPD，一种在线策略蒸馏中的 token 选择方法，用教师与学生概率的对数均值加权奖励，保留得分最高的 token。在 4 组师生模型和 7 个数学推理基准上对比 9 个基线，仅保留 40% token 即超过全 token Vanilla OPD，平均准确率提升最高 5.25 个百分点，AIME25 Pass@16 从 13.33% 翻倍到 26.67%，并用 4B 教师超过 8B 教师的全 token 基线。
推荐理由：论文用概率空间加权解决 on-policy 蒸馏中低低 token 的干扰，给出了跨 7 个基准的对比数据，方法有可迁移性。
一项研究将结构化情感分析任务转化为依存图解析，但改用序列标注方式，借助线性化图编码为输入中的每个词分配标签，从而捕捉情感持有者、目标和表达构成的图结构。实验覆盖五种语言（英语、西班牙语、挪威语、巴斯克语和加泰罗尼亚语）的七个数据集，性能与更复杂的领先单模型方法相当。
LemonSeed Studio 0.5.8 发布，这是一款在 iPad 上通过 Thunderbolt 外接 AMD GPU 做端侧推理的编辑器/IDE，内嵌 Linux amdgpu + amdkfd 驱动并运行 LemonSeed Engine。作者给出 Qwen3.8-27B Q4 配 DFlash2 草稿模型的实测数据：R9700 在 iPadOS/macOS/Linux 下解码达 158.5/159.4/144.6 tok/s，Strix Halo 为 64.4 tok/s；4K prefill 分别为 1,636/1,634/1,418/517 tok/s。
推荐理由：作者实测了同一引擎在 iPadOS、macOS 和 Linux 三种平台下的解码与 prefill 吞吐数据，可作为本地推理性能迁移的参考。
开发者 M0j0Risin 在 GitHub 发布 NeonSidekick，一个优先支持本地大模型的 agentic 终端客户端，可连接 LM Studio、Ollama、llama.cpp 或 vLLM，也能通过内置 llama.cpp 直接下载并运行 Gemma、Qwen 等模型，支持 CUDA、Vulkan 或 CPU。它还提供 OpenAI 和 Anthropic API 及 Claude Code 接入，具备文件、Git、shell 等内置工具、四层技能系统、Whisper 语音输入和 Kokoro 语音输出，基于 .NET 10 NativeAOT 编译，免安装运行于 Windows x64 和 Apple Silicon Mac，采用 GPLv3 许可。
推荐理由：这是一个面向本地大模型的 agentic 终端客户端，功能覆盖嵌入式模型、技能系统和工具沙箱，想搭本地 Agent 环境的读者可以直接试用。
Smart Document Chatbot 是一个可自托管的企业级 Corrective RAG 平台，支持上传法律与商业文档，用越南语和英语提问并返回带引用的答案，证据不足时拒答。系统采用 5 层验证流水线（混合检索→相关性评分→知识精炼→幻觉检查→答案评分），结合 Qdrant 余弦相似度与 BM25 经 RRF 融合检索，并优先通过 Ollama 本地推理、失败时回退 Cloudflare Workers AI。其 LangGraph 智能体编排含 9 个专业 Agent，副作用操作需人工审批（HITL），内置评估框架支持 Hit@K、Recall@K 与 MRR 指标。
1CatAI 宣布 1Cat-vLLM 更名为 1Cat-LLM，将 NVIDIA Volta / SM70 / Tesla V100 作为一等优化目标，最新发布为 2026 年 10 月 3 日的 v1.5.1。4× V100-SXM2-32GB 上 Qwen3.8-27B-NVFP4 + DFlash2 演示约 260 tok/s，v1.5.1 相比 v1.5.0 在 32K 单请求解码从 49.04 提到 201.18 tok/s；长上下文 Attention 有效算力从 17.92 提升到约 60.8、最高 71 TFLOP/s。新 GGUF 支持带来更多社区量化模型选择，仓库含 MBPP/HumanEval、GSM8K 等质量门与完整基准契约。
推荐理由：同一代 V100 上靠软件栈重写把长上下文 Attention 有效算力从 17.92 提到约 60.8 TFLOP/s，对仍在用旧卡的部署者有直接参考价值。
DiegoLalanda 在 GitHub 开源了 Coderhouse AI Engineer 课程的 Monorepo，包含异步编排、LCEL 链、本地与 Pinecone RAG、ReAct 智能体及多智能体编排等模块。每个单元独立文件夹并附 README 说明，统一使用 Python 3.12 虚拟环境。其中 RAG 项目采用 ChromaDB/Pinecone 加 BM25+向量混合检索，并以 Precision@5 / Recall@5 评估。
GitHub 用户 trhlikfilip 发布 llm-bayesian-coherence 工具，检验因果语言模型的事实条件概率能否来自同一联合分布。核心是 Emerson (2026) 提出的四元组对数比证书，LR 不为 0 即证明两个方向的条件概率不相容；仓库提供 run.py、scorer.py、certificate.py 等 23 个测试覆盖的完整流水线，以及来自 Wikidata、ConceptNet 和 WordNet 的 140,751 个四元组（约 603,000 个 prompt-continuation 对），支持任意 Hugging Face 因果语言模型，输出 LR、F、B、R、K 等指标，并带评分缓存与断点续跑。
推荐理由：工具把概率一致性检验做成了可直接运行的开源命令行，附带 14 万四元组数据和缓存续跑设计，便于复现和移植。
e42101ex 在 GitHub 发布 news_LLM（auto_report_news），抓取 24 个中英文科技媒体的 AI 新闻，用 TF-IDF + cosine 质心式分群把同一主题的报道合并，生成静态网页部署到 GitHub Pages。分群处理了简繁差异、中英夹杂和数字对照，无需 API key；摘要支持无 LLM、OpenAI-compatible 端点和 Claude 润稿三种模式，实测 40 个主题约 3 分钟，缩图覆盖率约 80%；另含 Google Trends、Bluesky 等免 key 的社群热门分页。
推荐理由：作者完整公开了从抓取、分群到部署的全流程细节，包括简繁归一和三种摘要模式，方法可直接复用。
sblattj 开源了 llm-ferry（MIT 许可），将一台 Mac 的本地 GPU（MLX 推理）与云 API 密钥聚合为一个 OpenAI 兼容端点，供局域网内所有设备共享，密钥只留在主机上。单条命令即可完成客户端接入，支持八条命名车道与严格回退链、Claude Pro/Max 订阅 OAuth 车道、每设备可撤销密钥与用量限额、模型和文件跨机传输及正向代理。在 128 GB M5 Max 的 121k-token 智能体会话中，KV-cache 调优将峰值 GPU 占用从 97 GB 降至 56 GB，解码快约 60%。本地 MLX 推理仅支持 macOS Apple Silicon，Linux 上自动降级为纯云模式。
推荐理由：作者给出多条实测数据，如 KV-cache 调优后 128 GB M5 Max 上峰值 GPU 占用从 97 GB 降到 56 GB，读者可评估这套 LAN 网关是否值得部署。
开发者 Trishna Jaiswar 开源了 NeuroScholar AI，一个 Agentic 多文档科研智能平台，支持研究对话、文献综述、论文对比与趋势分析。项目采用 LangGraph 6-Agent 工作流，结合 Hybrid RAG（FAISS + BM25 + Multi-Query）、HuggingFace all-MiniLM-L6-v2 嵌入与 Groq LLM，提供引用溯源验证、SQLite 持久会话和学术报告 PDF 导出，前端为 React，后端为 FastAPI，采用 MIT 许可证。
Kottos AI 在 GitHub 开源了 C++ 编写的 LLM 网关 llmbridge（v0.53.0，Alpha，Apache 2.0），把 OpenAI 格式请求实时翻译为 Anthropic、Gemini、Cohere 等上游方言。README 给出第三方 ENTERPILOT 基准与自测数据：单核非流式约 84k RPS，100 RPS 下 p99 延迟 80 µs，对比 LiteLLM 1.95.0 的 87 ms（对 1.99 版约 300 倍）；流式 16,384 并发流单 worker 交付 99.96% token。
推荐理由：这是一个开源的 C++ LLM 网关，附第三方基准和自测数据，读者可以对比各网关的延迟与吞吐后再决定是否采用。
vieenrose 发布 PULSAR-ASM 仓库，在 Raspberry Pi 4 上用单个静态 AArch64 汇编二进制推理 Gemma-3 检查点（270m 约 6.8 tok/s，1B 约 1.8 tok/s），并在 DGX Spark 上以 C + NEON 纯 CPU 端口运行 Ternary-Bonsai 三元权重模型（27B PTQ1_0 约 7.9 tok/s，8B 约 28 tok/s）。仓库给出与 transformers 及参考服务器逐 token 一致的贪心对齐验证、固定种子下逐字节可复现的输出、从 GGUF/safetensors 头读取维度的单二进制设计，另含 K2-Horizon-0.9B 的纯汇编端口及其会议纪要微调版本演示。
推荐理由：纯汇编与 NEON 移植在 Pi 和 DGX Spark 上跑通多个开源模型，并给出与参考实现逐 token 对齐的验证细节。
kstruzzieri 发布 go-llm v0.5.0，一套纯 Go、无 CGo 的本地优先 LLM 工具链，支持通过 llama.cpp 的 OpenAI 兼容服务或 Ollama 运行本地模型，也可自带密钥接入托管 API。内置 Golem 终端编码智能体，默认只读、写和执行需审批，提供 RAG 检索、MCP 服务器、FIM 补全、执行沙箱和零信任运行时，v0.5.0 重点是最小权限默认值与确定性工具防护。项目采用 Apache License 2.0。
推荐理由：作者详述了这套纯 Go 本地优先 LLM 工具链的安全设计，包括沙箱、最小权限默认值和零信任运行时，做法可迁移。
manishpatelUK 开源了 llm-router，一个按语言实现的轻量级可嵌入路由库，为应用提供调用 LLM 提供商的单一稳定入口。它支持自动提供商/模型回退、按模型能力适配请求，以及可选的最便宜优先路由，支持 Anthropic、OpenAI、Perplexity、NVIDIA、Hugging Face 和 OpenRouter。目前设计规范、模型能力表和完整的 Java 实现已完成，Python、TypeScript、Go 等语言实现将按同一规范陆续推出。
GitHub 开源了 ICML 2025 论文 "Adaptive Learning Strategies for Large Language Models in Dynamic Environments" 的实现，使 LLM 可在动态环境中实时调整行为且不发生灾难性遗忘。该方法在多类动态环境上较基线提升 16.8%–19.1%，如混合上下文 91.3% 对基线 74.5%。项目采用轻量级自适应更新，无需全量重训练，基于 Apache 2.0 许可证开源。
takano32 开源 pyodide-llm 项目（2026年9月前名为 pyodide-llama-py），用 Pyodide（编译为 WebAssembly 的 Python）在浏览器中运行语言模型，模型代码用 Python 写，不向服务器发送任何数据。默认模型 tiny-lm 为 29M 参数、33 MB 下载，支持日英文，在 Chromium 中约 280 tokens/s；还可一键使用 llm-jp-3-150m（171 MB）。
terojleinonen 在 GitHub 发布 ai-knowledge-base-template，一个基于 Laravel 13 + React 19 的文档问答模板，答案仅基于用户上传内容生成并带编号引用。后端用 laravel/ai 支持 Claude、OpenAI、Gemini、Mistral、Ollama 等切换，向量以 float32 存在常规数据库，无需额外基础设施；内置 CitationRepairer 在生成后校验引用，README 实测 qwen2.5:3b 修复前 6 个答案引用全部出错，修复后 13 句引用全部指向正确段落，并附 kb:eval 评测、免费部署方案与用量限额配置。
推荐理由：README给出了完整的RAG实现与实测数据，包括引用修复前后对比和本地小模型的延迟，读者可直接评估是否复用这套方案。
论文《Optimizing Large Language Models for Contextual Reasoning in Multi-Task Environments》提出优化策略以增强 LLM 在多任务间的上下文推理能力，实验显示在动态环境中适应性更优，目前正投稿 COAI 2025 审稿中。该 GitHub 仓库标注"To be released"，后续将放出实现代码、实验配置、benchmark 结果、预训练模型 checkpoint 及文档教程。
andreisminsk 在 GitHub 开源了极简 agentic coder 工具 uhu，通过透明的动作、观察与模型调用反馈循环展示 agent 流程，每消息自动执行最多 3 轮反馈。工具强调节约上下文，提供 35 种结构化工具、JSON 自定义 skills、永久记忆、MCP 支持、OpenAI 兼容 API 与 TPM 限流，可用 --model 切换本地或云端模型并连接远程 Ollama 实例。项目以 CC BY-NC-SA 4.0 许可发布，代码由大语言模型辅助生成。
beyond10x 的 llm-gateway 0.6.0（2026-10-08 源码发布）是 llm 项目的服务端：单主人认证网关，含 /health、/ready、/v1/models 端点和 Runpod、Modal 适配器。它不转发协议，Runpod 适配器仅通过 connectors CLI 通信，尚未有二进制真正访问 pod；托管道程不开 socket、不分配资源，也没有任何付费调用测试。在能力矩阵补齐前，它不会替代 llmgw。
GitHub 用户 zaaramedamin 开源了 Rayleigh，一个本地优先、隐私优先的个人 AI 知识助手，全部计算在本机运行，不向云端 API 发送文档或查询文本。项目基于 Python、FastAPI、Qdrant（本地）、sentence-transformers 和 Ollama（默认模型 qwen3.5:4b），已完成 MVP 路线图全部 12 步，支持文件摄取、分块溯源、语义与关键词混合搜索、带引用的回答、摘要对比抽取、语音输入（本地 Whisper）和受控 Agent 工具。内置 37 题评测集显示 24/26 可答题正确且引用有效、10/10 不可答题正确拒答，offline-check 命令阻断全部非本地网络运行全流程并报告被拦截的出站连接数。
推荐理由：项目给出完整的本地化实现细节和内置评测结果，还有阻断网络的离线验证方法，对想自建本地 RAG 助手的人有参考价值。
edurdias 发布 CapyCTL 0.1.2，一个在自有 GPU 上管理 vLLM、SGLang 和 TensorFold 推理引擎的部署工具，通过停放空闲模型释放显存、按请求唤醒切换，并在所有机器前提供统一的 OpenAI 兼容端点（/v1/chat/completions，支持流式与工具调用）。当前仅支持每模型单 GPU、Linux x86-64/ARM64 与 NVIDIA 卡，多 GPU 张量并行推迟到 0.1.2 之后；引擎仅监听 loopback，主机经 gRPC 双向 TLS 通信。项目以 Apache-2.0 许可，安装器为各架构单一自包含二进制并校验 SHA256SUMS。
推荐理由：原文详述了在有限显存下停放、唤醒和切换模型的机制与硬性限制，为自建 vLLM 和 SGLang 推理服务提供了可复用的部署思路。
开源项目 medsupply（Medical Supply Intelligence，MSI）是一个可解释、本地运行的医疗供应网络决策支持系统，为 Singularity 2026 Hackathon Track 2 原型。系统基于 10 家医院、20 种物资、450 天的合成时序数据与 SQLite 存储，提供多周期需求预测（Random Forest / Gradient Boosting）、逐日库存模拟、批次过期浪费检测（以 ₹ 计价）、供需再分配优化（₹35/km）及流量感知 STAT 紧急调拨（拥堵延迟最高 2.4x），并集成 Google Maps 导航。
hexfusion 在 GitHub 发布 ai-grid-demo，以动画演示 AI Grid 架构：单一端点前置多个 llm-d 站点。请求路由由 grid 选站点、llm-d 选服务器。演示含参考架构与交互式 walkthrough，可查看 policy、geo fencing、按模型/负载路由、会话亲和性和站点故障等流程，使用 Apache-2.0 协议的 FlowStory 构建。
alexeytz 发布了 llm-assay，一个针对 vLLM、SGLang 或 llama.cpp 等 OpenAI 兼容端点的基准工具，可测量不同上下文深度下的 prompt processing 与 decode 速度，支持置信区间、配对 A/B 显著性检验和 prefix-cache 陷阱检测。工具由 llama-benchy 分支重构而来，包含 compare 显著性比较、tune 端点自动检测和 probe 长上下文质量探针三个子命令；probe 通过生成合成事件日志并注入已知异常来检验模型长上下文理解，相关发现记录在 docs/fabrication-programme/fabrication-findings.md。
推荐理由：原文详细说明了 prefix cache 陷阱、统计方法和长上下文质量探针的设计思路，对自建推理基准有直接参考价值。
Sparky 让开发团队在 DGX Spark 等 GPU 节点上自助加载和调优 LLM 推理引擎，支持 vLLM 和 llama.cpp 风格的部分 GPU offload，Aphrodite 支持已列入计划。v0.1.0 基本完成 AD/LDAP 认证、RBAC 权限分层、审计日志和 Dashboard UI，v0.2.0 的裸金属后端与 sparky-agent setup 已在真实 DGX Spark 上端到端验证，包括加载推理引擎处理请求后干净卸载。两者唯一剩余项均为 Docker 后端的 GPU passthrough 验证，而 CDI passthrough 属 Podman 专属、不在 Sparky 范围内。
Draggy 是一款在本地运行开放模型权重的桌面助手，使用内嵌 llama.cpp 引擎和来自 Hugging Face 的 GGUF 权重，无账号、无遥测，支持 Windows、macOS 和 Linux。功能包括项目文件夹内读写与终端命令执行（带可撤销 diff 审查）、四种权限模式、107 个 MCP 服务器与 66 个内置技能、Stable Diffusion 和 Z-Image 本地图像生成，以及通过第二引擎 colibri 读取超出内存的大 MoE 模型，NVMe 驱动上约 0.3 到 3 tokens 每秒。项目以 Apache License 2.0 授权，安装包未经代码签名，macOS 版需手动放行且不自动更新。
作者修改 MLX 的 QMM 实现，把量化权重从 FP16 暂存改为 FP8，在 Apple Silicon M6 上启用 2 倍速 FP8 矩阵路径，Qwen3-8B 预填充提升约 40%，Qwen3.8-27B 提升约 50%；4-bit affine 权重暂存为 int8 的方案在 M5 及之后也可用。Decode 受带宽限制差异不大，建议保留默认 FP16 暂存。最坏情况困惑度增加低于 1%，代码在实验性 fork（https://github.com/precisit/mlx/tree/staged-8bit-qmm），FP8 改进需 M6 与 macOS 27 及 deployment-target-27 构建。作者披露博客来自其任职的 Precisit。
推荐理由：作者自己改 MLX 的量化矩阵路径并给出实测加速与困惑度数据，方法细节和代码都可复现。
Vex131 发布 ComfyUI-LLMClient，为 ComfyUI 提供可连接任意 OpenAI 兼容 API（llama.cpp、vLLM、OpenAI 等）的 LLM 节点，支持提示词生成与增强、图像打标与分析，输出可接入工作流中任意字符串接口。节点含 LLM Provider、LLM Chat、采样配置与 vRAM 卸载管理，无新增依赖，API key 明文存储在工作流 JSON 中需注意安全。
推荐理由：这套 ComfyUI 节点支持任意 OpenAI 兼容后端，流式输出、视觉图与显存卸载细节对搭建本地工作流有直接参考价值。
该 Ollama 分支为 NVIDIA 旧款与现役 GPU（Maxwell 到 Blackwell）提供运行时和 Docker 构建，已验证基础为 Ollama v0.40.0（llama.cpp b11351），GitHub Actions 已产出基于 v0.40.1 的镜像 cuda12-maxwell-0.40.1。
推荐理由：README 附上逐机型实测吞吐、调优参数与兼容性边界，便于读者评估旧显卡跑大模型的具体可行配置。
btbtyler09 发布 mi100-llm-testing 仓库，记录 4×AMD Instinct MI100（gfx908）在 vLLM 上的部署方法与性能数据，并提供预构建镜像 btbtyler09/vllm-rocm-gfx908。MI100 缺少 FP8/FP4 硬件且不兼容 Composable Kernel，仓库通过 AITER 的 Triton 内核与自定义补丁跑通推理，最新 v0.28 镜像上 Qwen3.8-Flash-Next（180B MoE，GPTQ-4bit）带 MTP 投机解码单用户达 166.9 tok/s，GSM8K 489/500；仓库还给出 100–290W 功耗曲线、UA 与 TRITON_ATTN 后端对比及各模型逐档测试报告。
推荐理由：作者实测让官方不支持的 MI100 跑通 vLLM，给出镜像、参数和逐档性能功耗数据，方法可直接迁移。
GitHub 项目 moepager 旨在让 llama.cpp 在低内存 Linux 机器上通过 mmap 运行超出 RAM 的 Mixture-of-Eexperts LLM，无需修改推理引擎。它解析 GGUF 头定位各 (layer, expert) 单元，用 eBPF 或 mincore 观测缺页以学习路由统计，进而 pin 高价值专家、用大 readahead 补全部分缺页专家、降级冷专家。目前处于 go/no-go 前的研究原型阶段，尚未在真实模型上做基准测试，也未声称任何加速比。
GitHub 上的 llm-inference-system 仓库提供一套大语言模型全生命周期工程平台，架构对标 LLaMA 3、DeepSeek-V3/R1 和 Qwen 2.5，覆盖 SFT（Full/LoRA/QLoRA）、DPO、在线 RL GRPO、分布式通信与高吞吐推理服务。基准实验基于 Qwen2.5-0.5B（494M 参数、24 层、151,936 词表），其零显存 DPO 通过禁用 adapter 复用冻结基座权重，省去参考模型复制；推理侧对比 PyTorch Eager、vLLM、Hugging Face TGI 和 llama.cpp。
mahmoudmohamedxx1-hue 在 GitHub 发布开源深度研究引擎 digdeep v1.0.0，免费且默认无需 API key。每份报告公开完整推理过程，对每条引用做原文比对审计并公布 integrity 百分比（示例：8 条引用审计后 88%），按证据、覆盖、诚实、清晰四维自我评分，写作前经红队攻击与 proposer-vs-skeptic 辩论。内置 13 个搜索引擎（6 个全网 keyless + 7 个垂直），默认模型链 GLM-5.3-Flash → GLM-4.5-Flash，无 key 时自动切换 LLM7 和 Pollinations。作者公布 quick preset 下早期运行平均约 52% 关键词覆盖率的诚实基线。
推荐理由：这个开源深度研究引擎把引用审计、自我评分等诚实机制全部公开可复现，其自我校验做法可迁移到其他研究工具。