跳到正文
#推理引擎
10月7日周三
  2. GitHub · 灵魂体仓库44

    Vonzlov 开源 llm-bench：面向任务选择的 LLM 对比评测工具

    Vonzlov 的 llm-bench 项目用统一基准对比 Ollama、vLLM 本地模型与云端 API 模型的质量、速度和价格，并给出推荐。项目已完成阶段 0（脚手架、CI、假模型、k3s GPU 支持），阶段 1 核心包括测量客户端、负载生成器（1–32 并发阶梯）、MASSIVE 和 XQuAD 开源数据集下载，以及分类任务的质量评测（准确率、macro-F1、95% bootstrap 区间）。整个系统在单台 GPU 机器上以 Kubernetes 运行，架构不绑定具体机器。

  3. GitHub · 灵魂体仓库20

    Lianging17/LLM-Inference-Insights：LLM 推理技术笔记仓库

    GitHub 上的 LLM-Inference-Insights 仓库是一个大语言模型推理学习笔记项目，规划了从深度学习表征、C++ 与 CUDA 编程基础，到 Transformer 推理流水线（Prefill 与 Decode 阶段瓶颈）、vLLM 源码剖析（Scheduler 与 PagedAttention）等章节。作者还列出待深入的方向，包括 Agent Eval、LLM-as-Judge、数据并行/张量并行/流水线并行等并行策略、MFU 计算，以及 Flash Attention 3 相比 Flash Attention 2 的改进。

  4. GitHub · 去对齐工具与仓库73

    dflippojr 开源自托管编码 Agent 平台 agent-harness，本地 Qwen3.6-35B-A3B 跑分超过 OpenHands 与 OpenCode

    开发者 dflippojr 在 GitHub 开源了自托管编码 Agent 平台 agent-harness（MIT 许可），可在家用 GPU 服务器上运行本地开源权重模型（Qwen3.6-35B-A3B on llama.cpp）或接入自己的 Claude Code、Codex、Cursor 订阅，通过 Tailscale 从手机或笔记本操控。每个工具调用都在沙箱中执行，高风险操作需经锁屏推送通知批准，工作成果以 git 分支交付供审查合并。在同 10 任务硬套件、同本地模型的对比中，该项目的 Agent loop 以 19/20 通过、平均每任务 47 秒，超过 OpenCode 1.18.30（18/20、81 秒）和 OpenHands CLI 1.16.0（18/20、126 秒）。

    推荐理由：作者给出了同套件下与 OpenHands、OpenCode 的对比数据和完整部署方法，读者可以按需复刻这套家庭 GPU 跑 Agent 的方案。

  5. GitHub · 去对齐工具与仓库15

    Praxis AI 国际象棋学习应用项目说明（praxis-move-explainer）

    Praxis 是一个围绕理解、练习与有效重复构建的国际象棋提升工作区，帮助玩家复盘对局、训练关键局面、准备对手并养成可迁移的习惯。MVP 核心功能包括对局复盘、战术题、错误卡片、Woodpecker Method 间隔重复训练、残局训练、开局库以及实战和场景训练。项目明确不替代在线对弈平台，未来可能推出付费的深度训练路径和更个性化提升选项。

  8. GitHub · 灵魂体仓库51

    llm-d 发布 Inference Payload Processor：推理网关的载荷感知路由插件框架

    llm-d 推出 Inference Payload Processor（IPP），一个在 llm 数据面检查和改写推理请求与响应载荷的可插拔框架，以 ext-proc 服务形式随网关 Proxy 部署。核心能力包括载荷感知路由，从请求体提取模型名等信号并注入路由头，使单个 OpenAI 兼容端点可前置多个基础模型和 LoRA 适配器；提供 Filter → Score → Pick 的模型选择流水线，插件经 YAML PayloadProcessorConfig 配置，Helm chart 支持 Istio EnvoyFilter 和 GKE GCPRoutingExtension 集成。

  9. GitHub · 灵魂体仓库31

    Tessera：C++20 LLM 推理引擎开发中，支持 Vulkan 与 ROCm 双后端

    开源项目 Tessera 是一个 C++20 编写的 LLM 推理引擎，可在 GPU 上运行开放权重模型，支持 Vulkan（跨厂商）和 ROCm（AMD GPU）两个计算后端，采用 Apache License 2.0。项目目前处于重度开发状态，尚无稳定文本生成能力，不可用于生产；已完成 GGUF 加载、GEMM、Attention、RoPE 和单 token 解码循环，MXFP4 与 DFlash2 投机解码仍在开发中。首选目标模型为 Qwen 3.8 27B 的 GGUF 与 MXFP4 版本，已在 Radeon RX 7900 XTX 和 AI PRO R9700 上完成验证。

  10. GitHub · 灵魂体仓库39

    LexDiff：基于 Claude 与 Gemini 的韩国公共法律 AI 检索工具开源

    GitHub 开源项目 LexDiff 是一款韩国公共法律 AI 工具，用日常语言提问即可获得基于法令原文与判例的回答，主打避免 GPT 式幻觉。其「Temis 引擎」通过 Claude Sonnet 经 MCP 实时调用法制处 API，并以 Gemini 3 Flash 作为 Function Calling 回退（49 个注册工具），采用 Verbatim RAG 直接注入条文原文。项目目前为 v2.6.0-beta 公开测试，Google 登录后免费使用（每日限额），支持 BYOK 解除限制。

  11. GitHub · 去对齐工具与仓库40

    HuggingFace Optimum Intel：基于 OpenVINO 加速 Intel 硬件上的模型推理

    Optimum Intel 是 HuggingFace Transformers、Diffusers、Sentence Transformers、timm 与 Intel OpenVINO 之间的接口，可对模型做量化、剪枝和知识蒸馏等压缩优化，导出为 OpenVINO IR 格式并运行推理。通过 pip install -U optimum-intel 即可安装，支持 Intel CPU、GPU 及专用 DL 推理加速器，也可使用 optimum-cli 导出如 TinyLlama_v1.1 等模型，或对 Whisper 等模型做 int8 静态量化。

  12. GitHub · 灵魂体仓库62

    Kvad：从算术写起的 Rust LLM 推理引擎开源，公开对标 vLLM 与 SGLang

    作者开源了 Kvad，一个用 Rust 从零手写的 LLM 推理引擎，目标是可读性和速度双达标，以 vLLM 和 SGLang 为基准。项目分五个 crate：nervus 从零实现反向传播并在 MNIST 上训练，kvad 从零做 Transformer 推理并支持四种架构和 HuggingFace 权重，kvad-gpu 用 candle 跑 Metal/CUDA，另有 kvad-tui 终端应用和 kvad-serve HTTP 服务与 web UI。

    推荐理由：一个从零手写的 Rust 推理引擎，把每处算术和常数理由摆在代码旁，速度对标 vLLM 与 SGLang 的差距也如实写明。

  13. GitHub · 灵魂体仓库39

    gnostral.rs：面向受限硬件本地 AI 推理的 Rust 开源研究仓库

    gnostral.rs 是一个公开、可复现的本地 AI 推理研究仓库，研究 Rust-first 运行时、量化、多模态负载、KV-cache 与引擎中立编排等方向。参考基线为 NVIDIA RTX 3070（8 GiB VRAM + 32 GiB RAM），当前合格的 Bonsai 基线为 35.2 tok/s、28.44 ms/token；仓库明确不认领未经证据支持的 40 tok/s 结果。原始代码采用 MIT 许可，欢迎带 provenance 和 Signed-off-by 的复现与负结果贡献。

  14. GitHub · 去对齐工具与仓库66

    llm-route-audit 开源：用真实流量审计 LLM 模型路由是否真的省钱不降质

    good2idnan 在 GitHub 开源了 routeaudit 命令行工具，用你自己的日志回放请求到更便宜的候选模型，逐任务对比答案质量并给出路由策略。演示中 5 个请求全用 Haiku 成本降到 19% 但只有 58% 通过，按任务路由则在 26% 成本下保持全部通过；工具支持 Anthropic、OpenRouter、Ollama，提供成本估算与 --max-spend 硬上限，可导出 YAML 或 LiteLLM 配置，v0.1 暂不支持 agent 与工具调用。

    推荐理由：工具用你自己日志回放并按任务类型给出降本建议，还内置花费上限，示例显示全用 Haiku 省钱但只有 58% 通过率。

  15. Reddit · r/LocalLLaMA55

    RTX PRO 6000 Blackwell 对比 H200 推理选购指南：不同预算下怎么选

    B3 Labs 员工在 r/LocalLLaMA 分享 RTX PRO 6000 Blackwell 与 H200 的推理部署选购思路：PRO 6000 有 96GB GDDR7（1.792 TB/s）、原生 FP4、无 NVLink，适合单卡或小规模多卡跑约 70B 及以下模型，价格和货源更友好；H200 有 141GB HBM3e（4.8 TB/s）加 NVLink，适合长上下文、大模型和张量并行等受内存带宽限制的场景。作者提醒解码通常受内存带宽而非算力限制，不要只看数据表上的 TFLOPS。

  16. GitHub · 灵魂体仓库30

    llm-nominal-price-invariance：验证名义股价是否影响 LLM 投资组合决策的受控实验

    该仓库开展受控实验，检验在可分数交易且无摩擦条件下，名义股价是否会影响大语言模型生成的投资组合配置。实验包含 300 个金融状态、8 个名义价格条件和 5 个模型族（GPT-5.6-luna、DeepSeek-V4-Flash、GLM-5.3-Flash、Qwen3.5-397B-A17B、Llama-4-Maverick），每个模型做 2,400 次独立决策，共 12,000 次。实验设计与代码已在完整推理运行前冻结，预注册假设与分析计划见 docs/preregistration.md，全程预算上限 $1.35。

  17. GitHub · 去对齐工具与仓库11

    deeprecall：基于 RLM 的 AI 数据智能搜索工具使用指南

    deeprecall 是一款帮助用户在大规模数据和 AI 系统中快速搜索与推理的工具，引擎基于 MIT 的 Recursive Language Model（RLM），通过分步推理提升答案准确性。它支持 Langchain、ChromaDB、Milvus、Pinecone、Qdrant 和 OpenAI 等向量数据库，提供语义向量搜索、结果解释和跨平台支持（Windows、Mac、Linux），最低需 8 GB 内存。

  18. GitHub · 去对齐工具与仓库34

    bisdom-cell/openclaw-model-bridge：一键将 13 家大模型接入 OpenClaw 的 Agent 运行时控制面

    GitHub 仓库 openclaw-model-bridge 发布 v37.9.371/0.37.9.186，可用一条命令将 Qwen、OpenAI、Gemini、Claude、Kimi、MiniMax、GLM、Doubao Seed 2.1、DeepSeek-V4-Pro 等大模型接入 OpenClaw，零第三方依赖、支持多模态与推理能力。当前支持 13 个 provider，10 分钟即可跑通最小示例。项目第二篇论文 arXiv:2610.05981 已于 2026-10-06 发表，提出 LLM-Observer 自动化用户视角观察者，用于捕获 fail-plausible 静默失败；第一篇论文的 5 类静默失败分类法来自 22 个生产事故复盘。

  19. GitHub · 去对齐工具与仓库15

    pegainfer：基于 Rust 与 CUDA 的轻量级 LLM 推理引擎 Windows 使用指南

    pegainfer 是一个用 Rust 和 CUDA 构建的轻量级 LLM 推理引擎，可在配备 Nvidia GPU（GTX 10 系列或更新）的 Windows 10+ 64 位电脑上本地运行大语言模型。它免安装、以独立 .exe 形式分发，初始下载后可离线使用，最低需要 8 GB 内存和 10 GB 空闲存储。文章介绍了从 GitHub Releases 下载、放置模型文件到加载模型与文本生成的完整使用流程。

  20. GitHub · 去对齐工具与仓库63

    argrouter 开源：按查询路由模型与推理强度，以真实成本优化正确率

    argrouter 发布于 GitHub，按每条请求选择模型与推理强度，目标函数为 P(correct) − λ·预期成本，成本基于真实账单（含隐藏推理 token）而非标价。在 RouterArena（ICLR 2026，8,400 条查询）自动评测中得分 76.30，每千条查询成本 $0.55，提交正在审核中；provider 级实测显示任何价格感知排序较 OpenRouter 默认路由约省 40%。项目状态为 alpha，成本引擎、provider 选择与 /v1/decision 推理 API 已发布并测试，路由器训练与权重未包含在开源包中，pip 安装仅依赖 httpx。

    推荐理由：原文给出了路由在 RouterArena 上的得分和带缓存基线的实测成本对比，并明确说明尚未测出路由本身的节省幅度。

  21. GitHub · 灵魂体仓库58

    mattn 发布纯 Go 机器学习框架 tensai

    作者 mattn（Yasuhiro Matsumoto）发布纯 Go 机器学习框架 tensai，实现前向、反向传播与优化，默认构建零依赖，支持 AVX2/NEON SIMD 加速、int8/int4 量化与实验性 WebGPU 后端。

    推荐理由：纯 Go 实现的机器学习框架，从 SIMD 训练到 WebGPU 推理和 GGUF 加载的完整工程细节都可参考。

  22. GitHub · 灵魂体仓库59

    flyer103 开源本地 LLM 网关 vadis：一个端点原生支持三协议并记录每次请求成本

    flyer103 在 GitHub 开源了 vadis，一个本地优先的 LLM 网关，通过 http://127.0.0.1:8790/v1 一个端点原生服务 chat completions、responses 和 Anthropic messages 三种协议，面向 codex、hermes 和 Claude Code 等客户端。请求字节原样透传上游，仅允许删除 vadis 自有顶层字段和替换 model 为解析后的原生 id，内容确定性改写保证会话内上游前缀提示词缓存不被失效；每次请求留下含决策、用量和成本的 append-only trace 记录。

    推荐理由：README 讲清了字节透传如何保住上游提示词缓存，以及按计划账号优先、计量账号按价格排序的路由规则，方法可迁移。

  23. GitHub · 去对齐工具与仓库55

    Anvil Serving 发布：一个本地优先的模型服务与能力网关套件

    fakoli 在 GitHub 发布 Anvil Serving，一个本地优先的模型服务产品，将模型服务、能力网关、评测取证、语音、媒体、浏览器暴露和控制面七大家族整合进同一个包与 CLI。它采用能力别名 meta-router，把请求显式映射到唯一 tier，不做请求分类器、云升级或隐藏模型替换；参考拓扑使用两块 RTX PRO 6000 Blackwell Max-Q，支持 split 与 TP=2 dual-gpu-exclusive 模式。Anvil Connect 通过用户自有的 OpenID Connect 提供商实现浏览器安全访问本地应用。Python 3.11+ 即可安装，Windows 与 Linux 走 Docker，macOS 支持 MLX 原生服务。

  24. GitHub · 去对齐工具与仓库65

    AnranS 开源 ai-infra-handbooks：11 本中文大模型推理学习手册

    AnranS 在 GitHub 发布 ai-infra-handbooks，一套 11 本、281 章、283 道练习的中文大模型推理学习手册，从 Python、C++、CUDA 学到从零实现推理引擎并导读 vLLM 与 SGLang 源码。全部示例代码经实际运行验证，含 17 周学习路线、浏览器判题、1979 张可导出 Anki 的学习卡与 mini-sglang 完整实现，文档采用 CC BY-NC-SA 4.0、代码采用 MIT 许可。

    推荐理由：作者完整给出了代码验证方式、章节结构和17周路线，读者可以直接判断这套推理学习手册是否适合自己。

  25. GitHub · 灵魂体仓库28

    coldaisle：GPU 服务器遥测监控与三路风扇控制项目，集成本地 LLM 运维助手

    GitHub 开源项目 coldaisle 用 XIAO ESP32-S3 外接 DS18B20×5 与 AM2320 传感器，结合 NVML / lm-sensors 遥测，对 GPU 服务器进行温湿度监控、异常检测与 Front / Rear / Top 三路独立风扇控制，数据存入 SQLite 并可经 Slack / LINE 通知。控制采用 Supervisor + Learned MPC + Reactive Guard + Critical Safety 分层架构，LLM 仅只读提供建议；本地 LLM 为 Qwen3.8-27B。Core Service 不依赖 GPU AI Service，支持 mock / replay 无实机开发，许可证为 Apache License 2.0。

  26. GitHub · 去对齐工具与仓库55

    CrucibleLM 开源：128M 实验模型融合 MLA、MoE 等前沿架构，单张 16GB GPU 可从零训练

    tfwcn 在 GitHub 开源 CrucibleLM，一个约 128M 总参数、48M 激活参数的实验性小模型，将 DeepSeek 式 MLA、细粒度 MoE、MTP 与 Qwen-Next 式混合线性注意力、Muon 优化器等 SOTA 技术融合，用于在 1/1000 规模研究这些方法的行为。模型可在单张 16GB GPU 上从零预训练（约 46 小时），支持 200K 上下文推理（latent KV cache + 稀疏注意力，实测约 0.2GB KV），RTX 3080 Laptop 上约 31 tok/s。

    推荐理由：一个把 MLA、混合线性注意力、细粒度 MoE 等 SOTA 架构压进 128M 小模型的实验测试床，单张 16GB GPU 可复现完整训练流程。

  27. GitHub · 灵魂体仓库37

    LLM-Portfolio-Manager：用 LLM 推理做每日盘后选股的开源项目

    GitHub 开源项目 LLM-Portfolio-Manager 每日美股收盘后运行，先对 375+ 只股票做确定性技术面与新闻情绪预评分（0–100），再把 Top 30 交给 NVIDIA NIM 的 LLM 推理，输出 BUY/WATCH/NO PICK 决策并附止损区间、目标价、风险收益比和"魔鬼代言人"反驳。单次运行约 7–9 分钟，借助 NVIDIA NIM 免费额度成本约 $0.00，支持 GitHub Actions 每日 21:30 UTC 自动运行及 Discord、WhatsApp 通知。

  28. GitHub · 去对齐工具与仓库26

    shamarta 开源 llm-inference-gateway：面向 vLLM/Ollama 的 OpenAI 兼容网关

    shamarta 在 GitHub 发布 llm-inference-gateway，一个位于 vLLM、Ollama 等 LLM 推理引擎之前的异步 OpenAI 兼容网关，目前仍在开发中。规划功能包括 OpenAI 兼容的 POST /v1/chat/completions 接口、基于 sentence-transformers 与 Qdrant、余弦阈值 0.90 的语义缓存，以及基于 asyncio.Queue 的动态批处理，另将提供 Prometheus 指标、Docker Compose 和 GitHub Actions CI。项目采用 MIT 许可证，完整文档、架构图和 benchmark 将随项目完成陆续补充。

  29. GitHub · 去对齐工具与仓库61

    SHIPIT Agent 发布 v1.9.6：面向生产的开源 Python AI Agent 运行时

    shipiit 在 GitHub 开源了 SHIPIT Agent，一个用于构建工具调用型 AI Agent 的 Python 运行时，提供跨 OpenAI、Anthropic、Bedrock、Vertex、Gemini、Groq、Together、Ollama 及 LiteLLM 100+ 模型的统一接口。内置 40+ 工具、17 个 SaaS 连接器、MCP 支持、RAG、多 Agent 编排、基于规则的权限层和提示词缓存；唯一硬依赖是 pydantic，Python 3.11+，MIT 协议，附 3500+ 测试。

    推荐理由：README 详列了工具调用、权限层、MCP 熔断和延迟加载工具的具体实现，读者可以据此评估这套 Python Agent 运行时是否适合复用。

  30. Reddit · r/LocalLLaMA71

    作者为 Ternary Bonsai 2 27B 重训 DFlash 2 drafter，L4 上提速 2.2x

    作者为 PrismML 的 Ternary Bonsai 2 27B 重训了原针对 bf16 Qwen3.8-27B 的 z-lab DFlash 2 drafter，用 1.5M tokens 的 Bonsai 2 贪心输出微调，并在 Hugging Face 放出 safetensors 和 Q4_K_M GGUF 权重。单张 L4 贪心解码下 GSM8K 2.17x、MBPP 2.17x、MATH-500 2.20x、MT-Bench 1.39x，代码编辑叠加 ngram-mod 后达 3.15x；M4 Pro 上代码补全 1.5x；浏览器内 LocalMind 的 WGSL 移植在代码上 1.18x 且输出一致。作者注明数据来自一台 L4 和一台 M4 Pro，并给出三套运行时的配置文档。

    推荐理由：作者重训了投机解码 drafter 并给出三套运行环境的实测加速数据，本地部署 Bonsai 2 的读者可以直接复用配置。

  31. GitHub · 灵魂体仓库66

    开源终端编码 Agent apogee 发布，支持 llama.cpp、Ollama 等本地模型

    开发者 airiclenz 在 GitHub 发布开源终端编码 Agent apogee，可指向 llama.cpp、Ollama、LM Studio、vLLM 等本地服务器，也可接 OpenAI 兼容端点、OpenRouter 或 Anthropic API，代码不出本机、无需 API key、可离线运行。

    推荐理由：作者讲清了面向本地小模型的七项守护机制和操作系统级隔离的 Auto 模式，对想在终端跑本地编码 Agent 的读者有可借鉴的设计思路。

  32. GitHub · 灵魂体仓库67

    TUFF 8.0 发布：Apple Silicon 本地推理引擎支持 MoE 专家流式加载

    TUFF 8.0 发布，这是一套在 Apple Silicon 上本地运行大模型的推理引擎，含原生 Mac 聊天应用、模型下载器、Swift 和 Metal 推理引擎、CLI 与本地 OpenAI 兼容服务器。它将共享权重保持在文件映射、按需读取 routed experts 到有界缓存，使 GPT-OSS 120B（65.29 GB）、MiniMax M2.7（128.71 GB）、Qwen3.8 Flash Next（110.90 GB）等超过内存的 MoE 模型能在 16 GB M2 MacBook Air 上通过冒烟检查。

    推荐理由：原文详述了 MoE 专家流式加载的内存机制和 16 GB M2 实测记录，是了解 Apple Silicon 本地推理取舍的具体参考。

  33. GitHub · 灵魂体仓库60

    consult-to-note 开源：医患对话自动生成带引用的 SOAP 病历笔记

    AnhDuongVo 发布 consult-to-note 开源工具，把医患对话转写生成 SOAP 病历笔记，每句话引用其来源转写行，数字、否定和左右侧由代码确定性校验，其余交给 LLM judge，不支持的句子修复一次后需临床医生批准才导出为 FHIR R4 文档。流水线基于开放模型经 OpenAI 兼容端点服务（默认 NVIDIA NIM 与 Nemotron），支持实时模式在问诊进行中以一秒延迟预算更新笔记，内置 Parakeet ASR、PHI 掩码、ACI-Bench 评测和 NIM/Dynamo 自托管基准，代码为 Apache-2.0 协议的研究原型，不是医疗器械。

    推荐理由：原文详细说明了每句引用转写行的生成时 grounding 设计和代码先行校验的做法，读者可以借鉴这套可验证医疗笔记流水线方法。

  34. GitHub · 去对齐工具与仓库55

    llm-slo-checker 开源：用 YAML 以代码方式检测 LLM 接口 SLO

    amarrtech 在 GitHub 开源 llm-slo-checker，面向 OpenAI 兼容流式 LLM 接口，用 YAML 声明 SLO 阈值，探测后输出 PASS、FAIL 或 INCONCLUSIVE 结论并以退出码 0/1/2 接入 CI。工具跟踪 TTFT p95/p99、成功率、完成率等 SLI，区分流中断与 500 错误，可在 GitHub Actions 每小时运行并把 JSON 历史提交到 git 形成趋势记录。当前版本不支持 Prometheus 导出、成本与输出质量 SLI 等，作者已列出后续计划。

    推荐理由：把流式 LLM 接口的可靠性做成 YAML 声明的 SLO，用 git 记录趋势，方法可直接迁移到自己的监控流程。

  35. GitHub · 去对齐工具与仓库52

    yabooung 开源 mini-maas：面向自托管 vLLM 的轻量 LLM 服务网关

    作者在 GitHub 开源 mini-maas，一个约 1500 行的 OpenAI 兼容 LLM 服务网关，提供 API 密钥、IP 白名单、token 计量、按密钥限流、基于健康状态的模型回退、Prometheus 指标及 Kubernetes 零丢失滚动更新。项目定位为小型参考实现，建议多供应商或需管理界面的场景改用 LiteLLM Proxy；截至 2026-10 已在一个自托管 vLLM 加 MLX 回退前运行，滚动更新与推理基准的测量表格尚未填入数据。设计上回退仅在首字节前切换，健康状态取自数据路径，估算 token 与后端实际用量分开记账。

  36. GitHub · 灵魂体仓库55

    llm-powersaver-proxy：按需唤醒 Proxmox 虚拟机运行 Ollama 的异步反向代理

    ThMadHatter 在 GitHub 发布 llm-powersaver-proxy，一个运行在常开 LXC Debian 上的异步反向代理，可检测 Ollama/LiteLLM 端点状态并通过 Proxmox API 自动启动 VM/CT，支持 end-to-end 流式转发和可选 Wake-on-LAN。README 给出 LXC 创建、最小权限 Proxmox token 配置、安装验证、Nginx/Cloudflare 反向代理及 WOL 使用等完整步骤，并提醒勿暴露 8080 端口、为多 worker 需分布式锁。

    推荐理由：原文给出从 LXC 创建、Proxmox 最小权限 token 到 Nginx/Cloudflare 流式排查的完整步骤，方法可直接照搬复现。

  37. GitHub · 灵魂体仓库49

    kingfs/go-llm-specs：面向 Go 应用的 LLM 模型元数据注册表

    kingfs/go-llm-specs 是一个面向 Go 应用的 LLM 模型元数据注册表，把模型 ID、供应商、上下文长度、模态、工具调用、JSON mode 等信息编译进程序，内置数百个模型，运行时只做内存查询、不访问网络。它支持别名解析（如 gpt4t、claude sonnet、qwen3-32b）、能力过滤、模糊搜索和中英文描述，适合用于模型网关、Agent 平台和 SaaS 控制台。数据以 models/**/*.yaml 人工目录为准自动生成，并可导出 Codex 第三方模型目录 third-party-models.json 以消除 Codex 的 metadata warning。

  38. GitHub · 去对齐工具与仓库60

    Graphos：用 LSP 构建上下文知识图以降低 LLM 调用的 token 消耗

    Graphos 是一个用 LSP 把代码、文档、论文、图片和音视频提取为上下文知识图的开源工具，支持任何有 LSP 服务器的语言，输出交互式 HTML、JGF 格式 graph. 和审计报告。相比 tree-sitter 的 25 个硬编码语法，LSP 提供符号、引用、调用层级和类型信息，跨文件引用原生支持；工具含查询、Leiden 社区检测、节点向量嵌入、MCP 服务器及 Obsidian、Neo4j 等多种导出格式，MIT 许可，可用 cabal 或 stack 安装。

    推荐理由：作者用 LSP 替代 tree-sitter 提取代码结构来构建上下文图，并对比了两者在语言支持和语义信息上的差异，方法可迁移到自己的项目。

  39. GitHub · 去对齐工具与仓库54

    Rust 网关工具 ponyllm 发布，统一主流大模型 API 并支持多 Key 故障倒换

    lanhui100 在 GitHub 发布基于 Rust 的统一网关 ponyllm，聚合 OpenAI、Anthropic、DeepSeek 等提供商接口，提供终端控制台与 TUI 看板。工具支持 OpenAI Chat Completions、Responses API 与 Anthropic Messages 之间双向无损转译并保留思考链与工具调用，多 Key 账户池支持轮询、优先级与加权调度，在首字节前拦截 429、402/403 与 5xx 实现毫秒级无感故障倒换，配置热更新约 500ms 内生效，采用 MIT License。