新闻、仓库与研究，按时间排列。
Tylogi 在 GitHub 开源 MFQ（TyloQuant），一套结合 SQ/VQ 格式与细粒度混合精度校准的量化与 CUDA/Metal 推理基础设施，采用 Apache 2.0 许可。项目演示在 512 GB Apple M3 Ultra 上直接以 raw-HF Safetensors 运行 476 GB 的 DeepSeek V4.1 Flash，batch size 1、32,768 上下文下 TG 为 18.29 tok/s，启用高接受率 MTP 后达 33.46 tok/s（+83.0%）。
推荐理由：开源量化与推理工具，给出固定评测协议下与 Unsloth Dynamic 基线的 KLD 对比和 Apple silicon 实测吞吐，方法可复现。
开源工具 emendrix 发布 v0.1.0，通过订阅欧盟官方出版物 feed，检测受关注法规的修订，计算条款级结构差异并生成英文解释，输出可 git 提交的 changelog。要求 Python ≥ 3.12 并用 uv 管理；diff、watch 等命令不调用模型，仅 explain、run、backfill 会请求模型服务商。工具声明输出为工程辅助而非法律意见，不保证准确性。
kadirnar 在 GitHub 发布 kernel-agent，输入 Hugging Face 模型 URL 后自动分析 GPU 瓶颈，由 Claude 用 CUDA C++、CuTe DSL、Triton 或 TileLang 编写自定义 kernel，并尝试 static caches、CUDA graphs 等模型级优化，候选方案需通过正确性校验与基准测试，仅保留输出一致且更快者。支持 LLM、STT、TTS 和扩散模型，内置 VoxCPM2 工作负载（案例测得 11.3× vs eager、7.7× vs torch.compile），图中 Qwen3-0.6B 实测 2.03×（1,532.4→754.9 ms）。
推荐理由：这个项目把正确性验证讲得很细，读者可以借此了解自动生成 GPU kernel 时如何防作弊和保证输出一致。
H1manshu01 发布 trickle-，一个零依赖、带类型的增量式 partial-JSON 解析库，可在 LLM 流式输出的每个 chunk 上给出当前最佳有效值且永不抛错。支持路径订阅、通配符、append 事件、Zod 类型入口，并提供 OpenAI 与 Anthropic 的 SSE 适配器；对比表中指出现有主流包 partial- 自 2024 年 5 月未更新，自测快照称增量解析使 2,000 条记录文档的流式处理比逐块重解析快约 2,150×，基准可用 npm run bench 复现。
推荐理由：作者给出了与同类 partial-JSON 解析库的对比矩阵和基准入口，读者可复现测试来判断是否切换。
开发者独立构建的 LLM 生活模拟 Slow Vale 中国服已有 800+ AI 居民共享一座持续运行的城市，游戏内时间超过 350 天。每个角色每天约 300–400 次 LLM 调用，平均上下文约 30,000 token；10 月 7 日当天用 deepseek-flash 处理约 44.24 亿 token、163,742 次请求，费用 472.33 元人民币，缓存命中率超 90%。作者详述了并发推理与世界状态变更分离、动态动作空间改为普通文本 JSON 以保住前缀缓存、用 runbook 管理 AI 协作开发等做法；项目约 40 万行代码、2200 次提交、日均部署 3–5 次，中国服 DAU 从 9 月 10 日的 177 增至 10 月 7 日的 865。
推荐理由：开发者给出了持久多智能体系统的并发控制、动态动作空间与缓存命中率设计的具体做法，工程方法可直接迁移。
Reddit r/LocalLLaMA 用户询问当前最适合 R9700 的推理引擎。楼主认为 Radiance VLLM 适合完全放进 GPU 的模型，llama.cpp 变体可能更适合 MOE 模型溢出到内存的场景，目标是想在 6 张 R9700 加系统内存上跑 GLM5.3-Flash，并尝试 Q-FN / DSv4-vision 等大模型。
ayuvis 在 GitHub 发布 mobile-app-aws-terraform-v2 仓库，提供在 AWS 上部署移动应用后端与 vLLM 推理的 Terraform 配置，涵盖 VPC、EKS、Karpenter GPU 节点池、Aurora、Redis、CloudFront 等模块。vLLM 以 Argo Rollout 金丝雀方式发布，通过 AnalysisTemplate 检查 TTFT p95、队列深度、KV cache 和重启次数，并用 KEDA 按队列深度和 KV cache 扩缩容。
推荐理由：给出了在 AWS 上用 EKS、Karpenter、vLLM 部署 LLM 推理的完整 Terraform 与 K8s 配置，含金丝雀发布与 KEDA 扩缩的部署顺序和已知限制。
GitHub 仓库 tooluse222/optimizing-llms-contextual-reasoning 为论文《Optimizing Large Language Models for Contextual Reasoning in Multi-Task Environments》的实现与实验代码预留空间，该论文提出优化策略以增强 LLM 在多任务间的上下文推理能力，目前正投稿 COAI 2025 审稿中。仓库状态为"To be released"，作者为 John Smith 等，后续将发布完整实现、实验代码、Benchmark 结果、预训练模型 checkpoints 及文档教程。
Elyan Labs 的 Scott Boudreaux 发布 PSE，一种在 IBM POWER8 S824 上用 vcipher AES 指令做 O(1) 预过滤、vec_perm 做 Hebbian 坍缩的注意力机制，替换标准全矩阵点积。该方案集成进 llama.cpp 的 Flash Attention，只对 top 25% K-V 对计算完整点积。TinyLlama 1.1B 在 pp128 达到 147.54 t/s，相比 stock llama.cpp 的 16.74 t/s 实现 8.81x 加速；GPT-OSS 120B MXFP4 达 13.71 t/s。
llama.cpp 合并请求通过为每个 warp 分配四个 GDN state 列，带来 Qwen 3.x 的 prompt 处理提速：pp512 从 3075.24 t/s 提升到 3243.60 t/s（+5.5%），pp4096 提升 +5.3%，而 tg128 仅 +0.1%，文本生成速度基本不变。
作者在 GitHub 开源 CtxGuard，一个部署在客户端与 OpenAI、Anthropic、Google Gemini、xAI Grok、DeepSeek 等服务商之间的透明反向代理网关，通过 Tree-sitter 语法树折叠、工具增量差分、日志 Head-Tail 截断和思考链透传等手段压缩 Agent 上下文并稳定云端 Prompt Cache。作者给出基准数据（如 2500+ Tokens 状态刷新压至 30 Tokens、日志 Token 降低 80%+）和生产实测：10,868 次请求累计节省约 11.5 亿 Tokens，综合压缩率 65.97%，网关中位延迟 0.14 ms，MIT 许可证开源。
推荐理由：原文给出各压缩模块的实现细节、基准数据和万次请求生产实测，读者可以评估这套上下文网关在自家 Agent 工作流中的压缩与缓存收益。
Base Compute 在 GitHub 开源了 superfluid，一个面向本地 LLM agent 的 serving 守护进程，在 llama.cpp、MLX 和 baseRT 之上提供统一调度器、可持久化的会话日志，以及 OpenAI、Anthropic、Ollama 兼容 API。在 Apple M5 Pro 上实测，八个 agent 预填 6k token 提示时聊天首 token 为 0.97 s，对比 llama-server 的 67 s、Ollama 的 64 s、mlx_lm.server 的 120 s；会话可在 worker 崩溃或服务器重启后恢复，八个场景全部通过，且经 superfluid 转发的吞吐与直连运行时几乎持平。
推荐理由：原文在八个故障与并发场景下给出四个方案的全部实测数字，读者可以据此判断这个本地 serving 层是否真的解决了调度与会话持久问题。
vllm-ascend 是社区维护的 vLLM 硬件插件，遵循 Hardware pluggable RFC，让 Transformer、MoE、Embedding 及多模态 LLM 在 Ascend NPU 上无缝运行。最新候选版本为 v0.26.0rc1（2026/09），最新稳定版为 v0.23.0，要求 CANN 9.1.0、PyTorch 2.10.0 及 Python 3.10-3.12，采用 Apache 2.0 开源协议。
GitHub 开源项目 10q-equity-agent 支持输入任意美股代码，实时从 SEC EDGAR 拉取最新 10-Q，用 XBRL 结构化数据计算财务比率，并运行 6 步 LLM 研究流水线，输出量化快照、风险综合和最终股票研究立场。其 Track Record 页面对 S&P 500 公司自 2024 年 7 月以来的约 3,000 份 10-Q 做回测，按 90 天股票回报和华尔街共识评分，并给出 95% Wilson 区间。项目基于 Python、Streamlit 与 Gemini API 免费额度（每模型每日 20 次请求），采用 MIT 许可证。
GitHub 上的 zhfeng/llm-gateway 是一个单二进制 Go LLM 网关，提供 Anthropic 兼容与 OpenAI 兼容端点（/v1/messages、/v1/chat/completions 等），可通过统一模型注册表路由到 anthropic_compatible 或 openai_compatible 后端。它支持 Claude Code 与 Codex 风格客户端，通过 ANTHROPIC_BASE_URL 或 OPENAI_BASE_URL 接入，可配置 code-main、code-fast、code-large 等模型别名。网关默认启用 API key 认证，支持 SSE 流式转发与客户端断开时取消上游调用，且默认不记录提示词内容。
TacitGraph 在 GitHub 开源，是一套端到端 RAG 管线，可将 Outlook PST 归档及 PDF、Word、Excel 等附件重建为可自然语言提问的知识图谱。系统提供向量、GraphRAG、PathRAG、混合融合和 ReAct 五种检索策略并附来源引用；支持本地模式（spaCy、Presidio、bge-m3、Ollama 运行 Llama 3.1 8B）与 GPT-4o 云模式，本地模式下邮件内容不出本机，检索质量用 RAGAS 评估。
推荐理由：项目给出从 PST 邮件归档到可对话知识图谱的完整流程，含五种检索策略与本地/云双模式对比，方法可直接迁移复用。
一位用户在 Reddit r/LocalLLaMA 求助：其 2 x DGX Spark 集群上运行 deepseek-flash 正常，但用 unsloth 的 Qwen3.8-Flash-Next-GGUF:Q8_0 配合 mtp-Qwen3.8-Flash-Next-Q8_0.gguf 等 MTP 文件启动 llama-server 时出现 dgx-stall，ctx-size 设为 256000、使用 --spec-type draft-dspark 与 RPC，不知道如何正确加载这两个 MTP 文件。
作者公开了 llm-inference-lab 仓库，做基于 llama.cpp 的端到端推理部署、性能分析与优化，固定基线为 Qwen3-4B / Q4_K_M、单卡 RTX 3090 24G（恒源云 ¥0.98/h）。仓库提供一键环境准备、llama-bench 基准矩阵、SSE 服务压测（TTFT/TPOT）等脚本与 runbook、实验纪律文档，当前 M0 基线尚未跑完，nsys 可用而 ncu counters 受宿主限制无法使用。
tanvoid0 发布 llmwire 2.2，一个零运行时依赖的 TypeScript LLM 客户端，统一接入 OpenAI、Anthropic、Gemini、Ollama、LM Studio 及任意 OpenAI 兼容 API，支持流式输出、工具调用、结构化输出、Agent、MCP 客户端、会话、嵌入和定时任务。/core 加单个供应商打包仅 12.4 kB gzipped，Ollama 与 LM Studio 零配置可用，附 npx CLI 管理 Ollama 模型与 API key，README 提供 2026-10-07 与 Vercel AI SDK、LangChain.js 等同类库的对比。
推荐理由：原文给出性能数字和与 Vercel AI SDK 等同类库的逐项对比，读者可以评估这个零依赖 LLM 客户端是否适合自己的多供应商场景。
作者开源了在 RTX 3060 12GB 与 RTX 3090 24GB 两套本地平台上、用 llama.cpp、ik-llama.cpp、moe-cache 分支、vLLM 0.29.0 容器栈和 Strata 引擎跑本地模型的基准报告，含量化档位、上下文长度、prefill/decode 速度表，以及一个基于 Shoko-WebUI 重写任务的 agentic 编码基准，附完整测量方法与逐引擎参数说明。
推荐理由：作者在两套消费级 GPU 配置上实测多个 llama.cpp 分支与引擎的本地推理速度，方法、参数和完整数据公开，结果可直接对比参考。
mirthfulLee 发布 mini-rsglang，一个用 Rust 和 CUDA 从零实现的推理引擎，受 mini-sglang 启发，支持 Qwen3 dense/MoE 与实验性 GPT-OSS 模型，提供单 GPU 和 NCCL 张量并行执行、离线生成及 OpenAI 风格 HTTP API。项目支持连续批处理、chunked prefill、radix 前缀共享和分页 GQA，BF16 权重与 KV，实测 Qwen3-30B-A3B 在 TP 8、gpt-oss-120b 在单卡和 TP 2 上运行。
推荐理由：受 mini-sglang 启发的纯 Rust 推理引擎，给出 Qwen3 与 GPT-OSS 的 TP 支持和诚实的验证状态，想读引擎实现细节可以看。
darshansapnar 开源了 LLM-gateway，一个位于应用与 AI 提供商（Groq、Gemini）之间的中间件服务器，支持精确与语义缓存、限流、提供商回退、流式输出和成本追踪，并附带 React 监控仪表盘。项目支持本地运行（需 Node.js、MongoDB 和带 RediSearch 模块的 Redis）及 Docker Compose 一键部署；API 密钥仅创建时显示一次，只存储哈希值。技术细节见仓库 CLAUDE.md。
作者开源 lab1 仓库，在四张 RTX 4090 上完成十五个实验：95M/201M 从零预训练（FineWeb-Ede 困惑度 30.2/18.1）、GSM8K 上 GRPO 使 Qwen2.5-1.5B-Instruct pass@1 提升 0.21、Countdown pass@1 从 0.02 提至 0.98，以及四阶段编码 Agent 课程。报告给出每个实验的完整设置、表格与预测账本，bench_observation_price.py 可在一小时内测量任意 Hugging Face 模型移除可见测试后的性能损失（RL 模型损失 0.16 且全部落在修复环节）。
推荐理由：作者在四张 RTX 4090 上跑通十五个实验并开放全部脚本与预测账本，读者可逐条对照复现 RL 与 SFT 的真实增益。
2lab-ai 发布开源工具 llmux，本地代理监听 localhost:3456，按模型名路由请求，让一个 Claude Code 或 Codex CLI 会话调用 Claude、Codex（GPT）、Grok 和 OpenRouter 多个账号，配套 macOS 菜单栏应用 Islands 显示每个账号 5 小时和 7 天窗口的剩余用量。工具在账号组内按资格门槛加 headroom×urgency 评分切换账号，优先用即将过期的额度；通过 Claude Code 自定义 agent 的 model 字段可实现 Claude 写代码、GPT 和 Grok 分别评审。
推荐理由：README 给出了账号调度、模型路由规则和跨模型协作的具体配置方法，读者可以直接照着在一个 Claude Code 会话里接入多模型。
HarrisonCN 开源 mcp-gateway，一个位于 AI 客户端与多个 MCP 服务器之间的统一网关，提供单一可观测入口，解决每个客户端独立连接所有服务器、缺乏集中认证和限流的问题。
TokenFlux 发布开源大模型统一网关 TokenRouter，用一个 API Key 聚合 Anthropic、OpenAI、Gemini 等厂商模型。兼容 Anthropic Messages、OpenAI Responses/Chat 与 Gemini 协议并支持互相转换，上游出错自动切换，含访问控制、按用量计费、内容审核与管理后台；提供 Docker Compose 一键部署，采用 LGPL v3.0 许可证，地址 https://github.com/TokenFlux/TokenRouter。
推荐理由：原文完整列出可接入的上游厂商、协议转换和计费审核等能力，并给出 Docker Compose 部署命令，方便自建网关的人对照评估。
开发者开源了 AzureGo，一个 Godot 4 打造的 3D 围棋陪练程序，玩家执黑、由 KataGo 驱动的 AI 少女 Azure 执白，并配讲解与闲聊。大模型与 TTS 走 OpenAI 兼容 API（本地部署采用 CosyVoice 3 与 Qwen3.5 35B），语音默认 Windows 系统语音零配置，源码采用 Apache License 2.0，模型权重等大文件在 GitHub Releases 下载。
YuhuanStudio 在 GitHub 发布了面向 Apple Silicon 的本地 LLM/VLM 推理引擎 Yunshu，单进程通过 MLX 运行，兼容 OpenAI、Anthropic 和 Ollama API，采用 Apache 2.0 许可。核心特性包括无损投机解码（DFlash2 或 MTP 起草，batch-invariant kernels 保证贪心输出与不开投机时逐 token 一致）、支持 attention 加 GatedDeltaNet 混合模型的 RAM/SSD 多层前缀缓存，以及 Claude Code、Codex、opencode 等编码智能体的原生支持。
推荐理由：README 给出与 TensorFold 的实测对比表并直陈差距所在，读者可据此评估该引擎在 Apple Silicon 上的适用场景。
GitHub 开源项目 Cognitive Churn Decoder 将 LLM 推理与经典风险指标结合，把客户结构化数据转化为带自然语言解释的流失风险分析。它支持自然语言查询、行为漂移检测、可配置阈值的 24/7 自动监控，并可用英语、中文等 8 种以上语言生成风险摘要。系统不接触原始个人身份信息，只查询聚合特征向量，可处理从数百到数百万规模的客户群。
adghrera 在 GitHub 发布 llmctl，一个用纯 Go 标准库编写的单二进制管理器，可把 llama.cpp、vLLM、Ollama、LM Studio 等多个推理后端统一挂在同一个 OpenAI 兼容 API 端点之后，面向高并发流量设计。单静态二进制约 10 MB，采用 goroutine-per-connection 和零缓冲 SSE 流式转发，内置认证、令牌桶限流与全局并发上限；go test 含 100 并发流式客户端压测及对真实 1.5B 模型的 8 路同时推理检查，README 提供安装与快速上手命令。
推荐理由：原文给出了架构选择理由、压测数据和完整命令清单，想自建多后端本地 LLM 网关的读者可直接照着部署。
GitHub 仓库 hananather/LLM-notes 收录了覆盖 LLM 概念、模式与智能体架构的笔记、notebook 和小型示例，需 Python 3.11 环境并可复现实验。内容涵盖 function calling、结构化输出、MCP 服务器与客户端、LangGraph、DSPy、attention 机制、提示词技巧、采样、评估及强化学习等主题。
作者开源了 LLM-Inference-Engine 项目，在单张 A10G 上从零构建 Qwen3-8B 推理引擎，容量较朴素服务提升 17.2 倍（0.33 到 5.70 req/s），p95 首 token 延迟从 25.1 秒降到 336 毫秒。项目先写预测再实测，约三分之一预测出错；核心发现是每个优化没有固定加速比，同一量化标记在短请求上值 1.07 倍、长请求上值 2.35 倍，prefix cache 在唯一提示上无收益、对话中达 35 倍，并用 Nsight 定位与 vLLM 的 6 毫秒差距主要来自 2,079 次未融合的 kernel 启动。
推荐理由：作者把每个优化都给出预测、实测和误差解释，量化或缓存的收益取决于工作负载这一点有对照数据支撑，方法可直接迁移到自己的推理项目。
DigitalEnterpriseTransformation 在 GitHub 发布 llm-gateway，用统一入口对接 vLLM、SGLang、DeepSeek、OpenRouter、阿里百炼和 KIMI，对外只暴露一个 reasoning_effort 思考开关，并把三种上游思考流形态归一为 delta_reasoning / delta_content 双通道。库用法提供可插中间件的对象流，HTTP 用法兼容 OpenAI SDK，附带模型目录归一、结构化日志与等价性测试。
推荐理由：原文详细说明了把六家不同思考参数与思考流形态归一成统一双通道接口的做法，适合关心多供应商路由与流式中间件插入的读者参考。
erishen 在 GitHub 开源了 Lume（/luˈmeɪ/），一个单二进制 C11 后端框架，业务逻辑写在 .lume 脚本中，约 1.7 MB 的可执行文件可同时提供静态站点、JSON API、SSE 聊天、LLM agent 工具、SSR 页面和原生 SQLite，无需 Node 运行时或 nginx。HTTP/聊天/MCP/会话能力来自静态链接的 agent-httpd 子模块；项目提供了 make dev 等多个示例、Docker 部署、VS Code 插件和中文文档，并详细说明安全约束：服务器本身无认证，聊天端点可通过 fs 工具读写文件，需绑定 loopback 或加 Basic Auth，设置 LLM_API_KEY 后聊天内容与会话内存会上传到 LLM_API_URL。
GitHub 项目 airoute 发布，是一款 Go 语言构建的自托管 LLM 与全模态智能网关，支持 OpenAI、Anthropic、Gemini 协议 Any-to-Any 双向转译。提供智能探测下游自动建渠道、多渠道优先级 failover 与三态熔断、首字前无感容灾，单二进制内嵌 React 19 管理台，支持 SQLite 与 PostgreSQL 部署，涵盖对话、生图、TTS、Whisper STT 与视频生成接口，基于 MIT 许可证开源。
推荐理由：原文详细给出了协议双向转译、三态熔断与零数据库热路径等实现细节，读者可以直接评估这套自托管 LLM 网关是否适合接入自己的多供应商渠道。
开发者发布 Python 量化库 Octuma（前身为 TinyQ），用 GPTQ+AWQ、每组 32 权重把模型量化到 INT4/INT8，可导出 GGUF（Q4_1）供 llama.cpp 和 Android 使用，Qwen2.5-3B 从 6.18 GB 压到 2.40 GB、质量损失 2.4%。作者给出同引擎对比：在 3B 上质量损失仅为 Q4_K_M 的约 1/2.6，但文件大 24%-33%，且 0.5B 上 Q4_K_M 更优；也注明 PyTorch 内不加速（4.2 tok/s 对 14.4）、未与 AutoGPTQ 对比、GGUF 导出仅支持 llama/qwen2/mistral/gemma 四种架构。
推荐理由：作者用同一引擎和语料把自家的 INT4 与 llama.cpp、bitsandbytes 实测对比，还写清了局限，适合想本地量化的读者参考。
CrisisOps v2 是一个 OpenEnv 兼容的强化学习环境，用 GRPO 训练 Qwen2.5-1.5B（Unsloth LoRA r=16）担任 AI 项目经理，检测团队谎报进度。智能体需在 20 点行动预算内，将成员自报进度与 commit、ticket 响应等可观测信号交叉验证，并以反事实奖励对比贪婪基线。300 episodes 训练后平均分约 0.65+，超过基线的约 0.50；对抗方由 Ollama qwen2.5:3b 驱动。
论文《Optimizing Large Language Models for Contextual Reasoning in Multi-Task Environments》正投稿 COAI 2025 审稿中，其 GitHub 仓库已建好但尚未发布代码。论文提出优化 LLM 上下文推理的策略，实验显示在动态环境中的适应性更优。仓库后续将发布实现代码、实验配置、benchmark 结果与预训练模型 checkpoints。
AgenticX 在 GitHub 发布统一 Agent 技术栈，包含 Python SDK 与 agx CLI、Electron + React 的 Near Desktop 本地优先多智能体工作区，以及带 Go AI Gateway 的企业版。框架支持 15+ LLM 提供商、A2A 与 MCP 协议、分层记忆、技能自我进化、知识库与 GUI Agent 等模块，核心包约 27 个轻量依赖可秒级安装。README 同时给出 LiteLLM 1.82.7/1.82.8 恶意版本的安全提示，并说明多租户 RBAC 与 Cluster Runtime 仍未完成。
开发者 fukuyori 发布了 rakukan v0.11.9，一款基于本地小型 LLM 与 Mozc 系词典的实验性 Windows 日语 IME，核心是 karukan 的 LLM 转换引擎，并参考 azooKey-Windows 的 TSF 层实现。该版本修复日志、设置与 IME 状态处理，支持按应用配置 IME 初始状态；软件采用 TSF DLL 与 rakan-engine-host.exe 分进程架构，支持 CPU/Vulkan/CUDA 引擎切换与 jinen-v2（Qwen3 基座）等模型变体，作者强调仍处于测试阶段，安装需自担风险。