新闻、仓库与研究，按时间排列。
Python 库 typevet 发布 0.2.0 版本（pre-1.0），可向模型提出 Noul（是否）、Choice（单标签）、Score（评分）三类问题，并基于 next-token 概率返回类型化答案，输出需通过用户提供的 JSON Schema。已验证 Gemma 4 31B 在 vLLM（单张 H100 80GB）和 llama.cpp 上的运行收据，H100 并发 64 下 Banking77 480 条记录耗时 12.1 秒（39.6 条/秒、0 错误）。库已上架 PyPI，支持 pip 安装，需 Python 3.12+。
AWS 发布 aws/aws-graviton-getting-started 技术指南，面向使用 Graviton 处理器 EC2 实例的开发者，涵盖最新一代 Graviton5 及从 Graviton2 起各代架构的迁移、编译与优化方法。内容按语言（Java、Python、Go、Rust 等）、容器、Lambda 及机器学习场景整理，含 PyTorch、llama.cpp、vLLM、DeepSeek-R1 等推理实践。仓库还提供可在 Claude Code、Cursor、Codex 等 20+ 平台使用的 Agent Skills，辅助 x86 到 Graviton 的迁移。
GitHub 仓库 feomite/optimizing-llms-contextual-reasoning 为论文《Optimizing Large Language Models for Contextual Reasoning in Multi-Task Environments》的实现与实验代码预留，该论文提出增强 LLM 跨多任务上下文推理的优化策略，目前处于 COAI 2025 审稿中。仓库状态为 To be released，将陆续放出实现代码、benchmark 结果、预训练模型 checkpoint 及文档教程。
GitHub 仓库 dudighus/optimizing-llms-contextual-reasoning 发布，将收录论文 "Optimizing Large Language Models for Contextual Reasoning in Multi-Task Environments" 的实现与实验代码，该论文正在 COAI 2025 评审中。论文提出优化策略以增强 LLM 跨多任务的上下文推理能力，实验结果显示在动态环境中适应性更优。仓库目前标注 "To be released"，实现代码、基准测试结果、预训练模型检查点及文档教程尚未发布。
autotrust 在 Hugging Face 发布 zai-org/GLM-5.3-Flash 的非官方精简版 GLM5.3-Flash-E192-DGX-Spark，通过 NAS 每层保留 288 个路由专家中的 192 个、专家用 NVFP4 量化，每 token 仍激活 18B 参数，权重 124 GiB 为家族最小，单张 180 GB Blackwell GPU 可跑，双 DGX Spark 各承担约 62 GiB。
推荐理由：作者用同一套评测跑出 E192/E224/E256 三档在显存、KV 容量和各基准上的差异，便于按硬件选型。
Reddit 用户 /u/ZestRocket 基于 llmfan46 的 uncensored Heretic 权重，套用 Unsloth 的 UD 配方自行量化出 12/16/24 GB 三个版本，托管在 Hugging Face（codavidgarcia/Qwen3.8-27B-Uncensored-Heretic-MTP-UD-GGUF）。16 GB 的 UD-IQ4_XS 在 RTX 4080 上开 MTP 实测代码 55 tok/s、散文 50 tok/s（关 MTP 仅 29/29），并以 Q8_0 为基准对比了各量化的 KLD 质量。作者还发现 2 个草稿 token 优于 3 个、显存溢出会让速度骤降（开 Chrome 掉到 0.2 tok/s），并附上配方提取与基准测试脚本。
同一新闻，精选展示《Qwen3.8-27B-Uncensored-Heretic GGUF 量化发布，为 12/16/24 GB 显卡保留原生 MTP 头》
Myriad 是一个去中心化 LLM 项目：每台电脑运行一个开源小模型（Qwen、Gemma、Granite、SmolLM、Ministral、Phi 等）并共享给网络，问题同时发给多个不同模型家族的节点，答案按测得可靠性加权投票融合。四个 1.7–5B 模型在 GSM8K 上达 92.0%（比最佳成员高 5.5 个百分点），高于单个 4B 模型的 91.0%。提供 Windows/macOS/Linux 桌面应用、OpenAI 兼容本地 API（http://127.0.0.1:8400/v1）、信用积分机制和端到端加密问答，Apache-2.0 许可，构建尚未代码签名。
/u/Edenar 在 r/LocalLLaMA 分享了一套本地 Agent 部署：用 $500 购入的 CMP 170HX 经 cmpunlocker 解锁到 64GB 显存，通过 USB4 eGPU dock（pcie2x4）接上 Framework Desktop 128GB。Strix Halo 上跑 qwen 3.8 flash next（约 1600-1800 tok/s pp、60 tok/s tg）作主 Agent，CMP 170HX 并发跑 2 个 qwen 3.8 27b（w8a16 量化、各约 200k 上下文）作子 Agent，实际 4 小时会话聚合 1747 tok/s pp、100 tok/s tg。
推荐理由：作者给出完整硬件配置、量化方案和实测吞吐数据，可当作低功耗多卡本地 Agent 部署的参考样本。
DAIS Club 研究项目 llm-error-probes 开源，通过探测 Qwen2.5-3B 的隐层状态来预测其在 MMLU 上的错误答案。项目要求 macOS Apple Silicon（M1 或更高）设备，脚本通过 MPS 在 Mac GPU 上运行模型，需 16 GB RAM 和 Python 3.14。
开源项目 ServerFlow 提供分布式 LLM 推理的控制平面与路由层，通过 OpenAI 兼容 API 在 vLLM GPU worker 间调度推理请求，涵盖网关、调度器、worker 注册、限流与可观测性。目前 Phase 0、2-9 已完成，网关可基于 Redis 做租户限流、基于 PostgreSQL 做密钥认证，并内置可复现负载测试的 benchmark 工具；Phase 1 因缺少 GPU 延后。
KaletoAI 发布 ai-hub（原 llm-gateway，2026-09-08 更名），一个 OpenAI 兼容的反向代理，把 llama.cpp、vLLM、Ollama、together.ai、OpenRouter 等多个后端聚合成单一端点。网关提供自动发现、统一队列调度与故障转移、虚拟别名、调用排队（parking 代替 503）、多用户密钥与配额、/ui 管理控制台、按请求开关思维链、Claude Code 的 /v1/messages 接入，以及 ComfyUI、Meshy.ai、Tripo3D、RunPod Serverless 的图像与 3D 生成。项目地址 https://github.com/KaletoAI/ai-hub。
推荐理由：把多个本地与云端后端聚合成单一 OpenAI 兼容端点，调度、故障转移和媒体生成的做法可以直接搬去自建网关。
GitHub 开源项目 bd-legal-rag 提供孟加拉语与英语双语检索增强问答，针对孟加拉国法律条文，答案引用具体条款，语料无法回答时直接拒答。系统在 43,966 个语料块上评测：qwen2.5:14b 生成答案引用指向检索片段的比例达 1.00，拒答准确率 0.91，答案正确率 0.71；加 cross-encoder rerank 后 recall@5 达 0.878。支持 Ollama 本地、OpenAI、Anthropic 等多种 LLM 接入，附带 HTTP API、流式 UI 和 248 个离线测试。
GitHub 开源项目 tokenbench 是一个面向 LLM 推理服务器的负载测试工具，测量并发上升时的 time-to-first-token（TTFT）、inter-token latency 和吞吐量，并绘制可复现的延迟曲线。项目是 inference-infra-portfolio 的第 2 个（共 15 个），目前处于概念阶段：CONCEPTS.md 已完成，代码实现刚启动，实验基于 Kaggle 和 Colab 免费 T4 GPU（16 GB）运行，采用 MIT 许可证。
GitHub 仓库 FrimpsManu/hallucination-detection-ddre 发布一项进行中论文的研究代码，提出用 uLSIF 直接密度比估计（DDRE）构建检索感知的幻觉检测框架，目标是在改进事实性检测的同时降低相对贝叶斯序贯估计（BSE）的计算开销。两方法使用相同的 Wang et al. EMNLP 2023 实验管线（SelfCheckGPT 句子、DeBERTa-v3 NLI、每子论断最多 K=10 篇检索文档），仅改变证据累积与停止机制，评测沿用原版的 PR-AUC 指标。
Blackwell Systems 在 GitHub 开源了 AI 原生结构化数据格式 GCF，单次载荷比 JSON 小 50-92%，通过会话去重与增量编码在第 5 次重叠调用时节省 99% token，10 次调用会话累计省 94.4%。项目声称在所有前沿模型上 100% 可被模型直接读取、结构复杂代码图理解率 91.2%（TOON 68.8%、JSON 54.1%），并经 430 亿次以上往返验证无损，提供 Go、TypeScript、Python、Rust、Swift、Kotlin、.NET 七个零运行时依赖的 SDK 及 MCP proxy、Claude Code 插件等生态，Apache-2.0 协议。
推荐理由：给出了跨 11 个模型的压缩率与理解率数据和多语言 SDK，读者可以据此评估这套结构化数据格式是否适合替代 JSON 进 agent 上下文。
GitHub 上的 trace-proxy 是 Kionga 的 LLM 出口代理，Agent 将 LLM 调用指向它，由其转发到配置的上游（托管服务商或 vLLM 等自托管服务器），并把包含 prompt、响应、耗时、token 用量及 agent 名称版本的追踪发布到 Kafka，无需改动 agent 代码。它提供 OpenAI 兼容 API，服务商密钥仅存于代理环境、不出现在追踪和日志中。默认监听端口 8081，镜像发布于 ghcr.io/kiongahq/trace-proxy。
Luce-Org 在 GitHub 开源了 Lucebox 推理引擎，主打异构机器与消费级 GPU 上的投机推理，含 DFlash、PFlash、KVFlash、Megakernel 等自定义 kernel 优化。README 给出大量实测数据，如 Qwen 3.8 27B 在 R9700 上用 DFlash2 达 208.1 tok/s，Laguna XS 2.1 33B 在 RTX 3090 上 256K 预填充从 411 s 降至 67.3 s；支持 ROCm/CUDA 后端、Docker 快速部署和 OpenAI 兼容 API，附 Claude Code、Codex 等客户端启动脚本。项目以 Apache 2.0 许可发布。
推荐理由：仓库为每种模型和硬件组合都给出了实测推理数据并附权重链接，想在自己消费级 GPU 上做投机推理部署的话可以直接对照复现。
hanzoai/ai 是 Hanzo 云的 AI 子系统，用纯 Go 编写，提供 /v1 推理接口、按请求路由与计费，并承载 RAG 与模型中心。它托管 zen、enso、enso-ultra 和 zen5 等模型，支持 sk-* API key、hanzo.id OAuth JWT 或自有 provider key 三种鉴权方式。"model":"auto"（别名 zen-router）可将请求按代码、推理、数学等任务类别路由，账单按实际服务的模型计算，可通过 ROUTER_ENABLED=true 或 conf/models.yaml 启用。项目采用 Apache-2.0 许可，可用 docker run ghcr.io/hanzoai/ai:vX.Y.Z 自行部署，托管实例为 api.hanzo.ai。
GitHub 用户 yuhanbae 发布了 llm-compute 仓库，描述为基于 llama.cpp 的面向 pi 的无审查 LLM 推理算力。仓库目前 0 stars、0 watchers、0 forks，无 Releases、Packages 和 Contributors 信息，仅包含 .github/workflows 目录。
该仓库实现了 LLM 推理的内核级优化技术，结合 GPU 内核工程与量化方法的数值分析。flash_attention 模块用 Triton 实现 FlashAttention 分块算法的融合因果注意力内核，并在 A100 PCIe 上给出序列长度 256 到 4096 的 roofline 分析；quantization 模块对 Llama-3.2-1B 的 INT8 量化误差做谱分析，涵盖修正舍入的 RTN 量化、per-channel 缩放及误差矩阵的 SVD 分解；cuda_filters 模块提供高斯、双边、中值滤波的 CUDA 实现，共享内存版本将冗余 HBM 读取从每像素最多 WINDOW² 次降至一次。
GitHub 开源项目 ztlstudio 是一个本地判定陈述与悖论的工作室：LLM 只负责把自然语言翻译成形式化表格语言 ZFL v2，从不做判定；确定性 ZTL 内核给出两值判定、warranty 等级及自指系统的隔离通行证，并通过无 AI 的确定性回读二次审计。项目仅依赖 Python 标准库，克隆即自包含，支持 Groq、Anthropic（Claude）、OpenAI 等 8 家提供商，无 key 可用 pro 模式手填表格，内置 41 个示例，采用 MIT 与 Apache-2.0 双许可。
GitHub 开源项目 QUITE（QUery rewrITE）是一个免训练、反馈感知的系统，基于多个 LLM 智能体将 SQL 查询重写为语义等价但性能更好的形式。系统采用推理、验证与决策分工的多智能体架构，基于执行计划分析迭代优化，并配有结构化知识库以减少幻觉。其评测基于 TPC-H、DSB、Calcite 和 SQLStorm，默认使用 deepseek-r1 与 claude-3-7-sonnet 模型，环境为 Ubuntu 22.04、PostgreSQL v14.13 和 Python 3.12。
Corex（命令名 cx）是一个用纯 Rust 编写的终端自主编码 Agent，以单个静态二进制分发（约 6 MB），实现亚 10ms 启动。它支持两种模式：通过 DeepSeek API 调用 deepseek-flash（DeepSeek-V4.1-Flash 多模态、1M 上下文）与 deepseek-v4-pro（CoT 推理），或通过 llama-server/Ollama 运行任意 GGUF 模型，实现 100% 离线、零遥测、$0.00 成本的 air-gapped 执行。项目可通过安装脚本、Cargo、npm（@sluisr/corex）或源码构建获取，支持 Linux、macOS 与 Windows。
开源项目 llm-inference-watch 可自动追踪 vLLM、SGLang、TensorRT-LLM、llama.cpp 四个 LLM 推理引擎仓库的最新动态，每日生成简报并支持 AI 智能分析。工具采用两步 AI 设计（先按标题筛选、再拉详情生成报告）以避免幻觉，项目已配置 GitHub Actions 每天 UTC 16:00 自动运行，AI 分析默认支持 DeepSeek API，采用 MIT License。
H2O.ai 发布开源权重模型 H2O-Lightning-4B（Apache-2.0），面向 decisions API 式推理：输入状态加类型化问题，单次前向返回校准概率，不生成 token。基于 Qwen3.5-4B 微调，JevBench 综合分 72.5，高于 Jev 1.13 的 71.5，为当前开源模型第一；在 H100 上单次决策约 30 ms，可本地部署无按次费用。12B 与 31B 版本即将推出，演示视频与权重见 Hugging Face h2oai/h2o-lightning-4b。
NEAR AI 推出基于 Rust 的 cloud-api，提供 AI 模型推理、会话管理和组织管理功能，属于 NEAR AI 平台的一部分，采用 PolyForm Strict License 1.0.0 许可证。开发环境通过 Docker Compose 启动 PostgreSQL（端口 5432）和 API 服务（端口 3000），测试支持 cargo-nextest 和 vLLM 集成测试。项目启用 cargo-audit 自动安全审计与 Dependabot 周更依赖，并通过 utoipa 生成 Scalar UI 与 OpenAPI 文档。
LlmProxy 是一个企业级 OpenAI 兼容网关，可将 GitHub Copilot 等 AI 客户端路由到异构推理硬件上的本地 LLM，充当 AI 客户端与推理集群间的管控边界。它提供 /v1/models、Chat Completions 和 Responses API，支持 SSE 流式传输、逻辑模型别名、多种负载均衡路由及 Redis 租约的分布式容量准入。生产拓扑为 Linux 单主机控制面加私有局域网内的 DGX/vLLM，内置 Entra 认证、请求审计（保留期 10 至 4015 天），并从主分支验证推送自动生成不可变 SemVer 发行版（自 v0.0.1 起）。
该 GitHub 项目让 Claude 阅读 525 份财报（50 家公司，2023-07-07 至 2025-12-23），为管理层语气打 −2 到 +2 的评分，检验其能否预测随后 20 个交易日股价。语气分与次月收益的秩相关为 +0.08，在 10 个财报季中 8 次为正，而传统正负面词计数法为 −0.04；但 p=0.08 未达统计显著，预定的季节再平衡策略扣除成本后 Sharpe ratio 仅 0.21。探索性发现：财报发布后立即交易效果更好（Sharpe ratio 1.41），且效应数日内衰减；由于样本报告早于模型 2026-06-30 的训练截止日期，结果可能含记忆成分，只能视为最佳情形。
开源 Rust 项目 wiremux 通过一个进程内 IR（中间表示）在 chat-completions、messages、responses、gemini、converse 五种 API 格式间互相解码和编码，配套 wiremux-auth 提供 TOML 格式的厂商认证 profile 与 TokenProvider。编码损失有类型化报告，proxy 仅监听 127.0.0.1，MSRV 为 1.95，双许可 MIT OR Apache-2.0，当前处于 0.x 阶段。
llm-d 开源了 llm-d-async 异步处理器（Async Processor），通过消息队列解耦任务提交与执行，把延迟不敏感的批量任务（如批量摘要、分类）调度到在线推理池的空闲容量，不影响实时流量。组件遵循 BYOQ 原则，支持 redis-sortedset 与 gcp-pubsub 传输、dispatch gates 容量门控、reserved/overflow 六级优先车道、指数退避重试与 Prometheus/OpenTelemetry 可观测性，从 llm-d-router 或其他推理网关分发请求到 vLLM 推理池。
L-Forster 发布开源项目 OpenJet，一个自托管的本地 AI 编码智能体，可连接 Ollama、LM Studio、llama.cpp 或自动按硬件配置 GGUF 模型，支持文件编辑、审批式 shell 命令、MCP 工具、持久会话和 Python SDK 嵌入。RTX 3090 上 Qwen3.8-27B Q4_K_M 经 MTP 达 70 tok/s，配合 megakernel 引擎推理模式约 1.5 倍解码提速；Slipstream 模式用云端模型规划、本地模型执行，目标编排器 token 占比 20%。核心采用 AGPL-3.0 许可。
推荐理由：本地编码智能体把模型运行时、agent 循环和硬件配置整合成一键部署，还给出 RTX 3090 上的实测 tok/s 数据可对照。
作者发布 nuclis，一个用 Zig 编写、Metal 后端的 Apple Silicon 本地推理引擎，附小型编码 Agent（仓库 https://github.com/tildaslashalef/nuclis）。每层实现先对照固定版本的 llama.cpp 校验，再优化；在 M4 Pro 实测 Qwen3.8-27B 解码比参考快 1.04–1.15 倍，投机解码默认开启最高提速 1.85 倍，另含 Laya 决策模型、clef-flash 与 EmbeddingGemma 2 支持。项目处于 0.x 实验阶段，文档中的数字均为实测值，代码大量借助 AI 编写但过程在 AGENTS.md 中可查。
推荐理由：作者用固定的 llama.cpp 版本逐层校验并给出同机实测数据，读者能直接看到这个 Zig 推理引擎在各模型上与参考实现的差距。
Hoosh 是一个用 Cyrius 语言编写、从 Rust v1.3.0 移植而来的 AI 推理网关，属于 AGNOS 生态，源码约 15,600 行、二进制约 2.9 MB、零第三方依赖。它支持 17 个 LLM provider（9 个本地、8 个远程，如 Ollama、vLLM、OpenAI、Anthropic、DeepSeek），提供 OpenAI 兼容 API、批量推理、MCP 工具服务器、token 预算、响应缓存、DLP 隐私路由和成本跟踪，并优先本地推理。测试包含 1205 条断言、181 组、0 失败。
toxicoder 在 GitHub 发布 evo-t1-coder-stack 仓库，一条 docker compose up 即可将 GMKtec EVO-T1（Intel Core Ultra 9 285H + Arc 140T iGPU，96 GB 统一内存）变成自托管开发工作区服务器。栈内包含 Coder 工作区（默认终端重连 tmux 会话，Grok Build、Cline、Kilo Code 预接线）、Kasm Workspaces 桌面流式、IPEX-LLM Ollama 在 iGPU 上运行 qwen2.5-coder:32b 等 Qwen 模型，以及 LiteLLM 代理将本地 iGPU 与多台 NVIDIA Spark 盒子统一为一个 OpenAI 兼容端点。
LlamaStash 发布，是一个零开销、终端原版的本地大语言模型管理器，一个 Rust 二进制同时提供 TUI、CLI、守护进程和 OpenAI 兼容代理，默认后端为 llama.cpp，并实验性支持 Lemonade NPU、vLLM 和 SGLang。基准测试显示其封装开销相对 raw llama-server 在各平台归一化模式下差异 ≤1%，代理跳转仅增加 TTFT p50 +0.45 ms，并附有与 Ollama 0.24.0 和 LM Studio 2.18.0 的同硬件对比表。
推荐理由：项目给出与 raw llama-server、Ollama、LM Studio 的同硬件对比基准和代理开销数据，读者可据此评估这个本地模型管理工具是否值得替换现有方案。
API Evangelist 在 GitHub 发布了 OpenPipe 的第三方公开 API 档案，包含 Kin Score 和 Agent Readiness 两个独立评分。OpenPipe 是一个微调与推理平台，可将昂贵的前沿 LLM 工作负载蒸馏为更小、更便宜的专业模型，支持捕获 OpenAI 和 Anthropic 的生产 trace、judge 评估、结果缓存，并通过 OpenAI 兼容 API 提供服务，同时支持代理外部模型。档案信息全部来自公开渠道，仓库不含任何软件。
/u/zyxciss 在 llama.cpp 中实现可选功能 --moe-direct-io，用 RTX 3060 12GB + 16GB DDR4 将 68GB 的 Qwen 3.8 Flash Next（125B MoE，512 专家）GSQ-RCO IQ2_XS 从原版 1.41–2.12 tok/s 提升到热缓存下 20–21 tok/s，部分运行达 24+ tok/s，输出与原版 bit-exact。方法靠预测下一 token 所需专家并预取，不剪枝专家；原版 mmap 模式每 token 有 1140–1565 次重大页错误、208–312 MB/token 的 SSD 读取，新方案页错误约 0。
推荐理由：作者给出同一硬件下 llama.cpp 原版与自研 --moe-direct-io 的逐项速度和页错误对比，且强调输出 bit-exact，方法与数据可直接对照复现。
GitHub 上的 build-a-mini-llm-inference-server 项目带开发者从零构建完整 LLM 推理栈，涵盖 sampling、tokenization、带 KV caching 的小型 Transformer、paged attention 分配器、continuous batching 调度、流式 serving API 及吞吐/延迟 benchmark 工具。项目以可消化的规模复刻 vLLM 等现代 serving 系统架构，基于 Deep-ML 构建，运行 python scaffold.py 即可启动，练习步骤包括 stable_softmax、apply_temperature、top_k_filter 和 top_p_filter。
一项 arXiv 研究用“维基百科游戏”评测语言模型的信息检索能力，要求模型仅通过文章链接到达目标条目。研究者在本地构建了大规模维基百科图谱和基于 OpenAlex 的论文引用图谱，对比了嵌入向量模型与 LLM 在五种语言和五个学术数据集上的表现，并与人类及 TF-IDF 基准比较。结果显示没有任何模型显著超越人类，但 GPT-o3 mini、GPT-4o、QwQ:32B 和 DeepSeek-R1:70B 达到了可比水平，且性能排名随语言和主题变化。
GitHub 开源项目 neraca-lab 用 LLM 分析财务报表，并通过模拟 Warren Buffett、Charlie Munger、Peter Lynch、Philip Fisher、Keith Gill 及 Risk agent 的智能体对 IDX 股票排序，还能基于文档和新闻做 RAG 深度个股分析。