跳到正文
#推理引擎
10月13日周二
  2. GitHub · 灵魂体仓库42

    Shelly：把 Android 手机变成自带真实终端的自主 Agent 机器

    GitHub 上的 Shelly 项目可将 Android 手机（含折叠形态）变成独立运行的 Agent 机器：用自然语言注册定时任务，基于 AlarmManager 在熄屏时自动唤醒，调用用户自己的 AI 账号与本地 LLM（如 Qwen3.5-2B）执行 Perplexity 检索、摘要并生成带引用的 markdown 简报，全程无需云端、PC 或 Termux。底层是应用自有的 JNI PTY 原生终端，内置 bash/git/Python 3/Node.js，可直接运行真正的 OpenAI Codex CLI。目前完整无人值守流程仅在 Galaxy Z Fold6 上端到端验证过一次（N=1）。

  3. GitHub · 灵魂体仓库60

    modelsphere 开源 LLM AutoTune：自动为大模型寻找最佳 GPU 服务配置

    modelsphere 在 GitHub 开源 LLM AutoTune，自动在用户 GPU 上为大模型寻找最优 serving 配置。支持 sglang 和 vLLM 的搜索空间、基于 LLMBench 统一基准测量并与生产基线对比，配置越过延迟或质量红线即被拒绝。策略以实现 HTTP API 的容器形式接入，自带随机搜索，状态存于 Postgres 支持；仓库基于 Apache 2.0 许可，提供无 GPU 的 kind 集群演示脚本。

    推荐理由：原文给出了搜索策略、基准测量与红线机制的完整设计，可据此评估该工具对 sglang 和 vLLM 配置调优的适用性。

  4. Reddit · r/LocalLLaMA18

    如何在双 A100 80GB 上提升推理性能？

    Reddit 用户 vitamins1000 在双 A100 80GB（PCIe Gen4 x8）+ EPYC 7402P 的 Proxmox 直通配置上运行 llama.cpp 和 qwen3.8 flash next UD-Q4_K_XL，上下文设为 1835008（7 个 262k slot）。单用户生成速度约 50-70tk/s，但 2-3 用户并发时骤降至 10-15tk/s。楼主用于长会话 agentic 编码场景，询问是换 vLLM 还是每卡各跑一个 qwen3.6-35b-a3b，并倾向 MoE 模型。

  5. Reddit · r/LocalLLaMA50

    从零构建 GPU 编译器：通过多层 IR 将 PyTorch 计算图 Lowering 到 CUDA（GPU_MODE 讲座）

    作者开发了一个 GPU 编译器并发布讲座与文章，讲解 TVM、Modular 和 PyTorch Inductor 等现代编译器的共有概念，可将 RMSNorm、Matmul、Attention 等算子经多层 IR 逐步 lowering 生成 CUDA kernel。该编译器可配合 vLLM 做端到端模型服务，示例均可用 `emmy compile` 复现，基准测试中多个 kernel 性能超过 Torch Inductor 和 cuBLAS，并使用 tensor cores 和 TMA。

  6. GitHub · 去对齐工具与仓库69

    gpu-inference-platform：可复现的 Kubernetes GPU 推理参考架构与成本基准

    asterix004 发布 gpu-inference-platform，一套在 Kubernetes GPU 上服务开源 LLM 的可复现参考架构，含 GPU 级监控和每 token 成本基准，同一套 Helm charts 可通过仅改 Terraform 模块在 Nebius 与 GKE 运行。首个基准于 2026-10-12 在 Nebius（1 x L40S）完成，Qwen2.5-1.5B-Instruct 配 vLLM v0.31.0，并发 64 时输出吞吐 6,228 tok/s、p95 TTFT 586 ms、每百万输出 token 成本 $0.069，较单并发降 33 倍；吞吐在并发 64 时仍在上升，GKE 数据待补。

    推荐理由：仓库提供可在 Nebius 和 GKE 复现的 GPU 推理架构与成本基准，首份 L40S 实测数据已给出单 GPU 吞吐与每百万 token 成本。

  7. GitHub · 去对齐工具与仓库46

    Modern_LLM：用 PyTorch 复现现代 LLM 对 2017 Transformer 的各项改进的开源库

    开源项目 Modern_LLM 用 PyTorch 重建 LLaMA 以来开源模型对 Vaswani 2017 Transformer 的各项架构偏离（RoPE、ALiBi、GQA、MLA、YaRN 等），每项由一个 config flag 控制，用于消融实验衡量各改进的真实收益。每个组件提供 naive 与 fast 两条实现路径及数值等价性测试，configs 中附带 7 套配置，并索引了 29 篇参考论文。

  8. GitHub · 灵魂体仓库73

    Kestrel 开源：让 Intel Mac 加 AMD 显卡本地跑大语言模型

    Northlatch Labs 开源 Kestrel，一个面向 Intel Mac 加 AMD 独显（含 Hackintosh）的本地大语言模型应用，内置 AMD 补丁版 llama.cpp 和 SwiftUI 界面。RX 6700 XT 上 Qwen3-8B 生成从 0.6-2.6 t/s 提升到约 61 t/s，支持多会话、Agent 工具与 MCP、OpenAI 兼容 API、图像生成（beta）和多 GPU 拆分；仓库地址 https://github.com/0xda7/kestrel，许可 GPL-3.0。

    推荐理由：原文给出 RX 6700 XT 上各模型的实测算速和与 Apple Silicon 的对照数据，可以据此评估 Intel Mac 加 AMD 显卡跑本地大模型的可行性。

  9. Reddit · r/LocalLLaMA39

    llama.cpp 针对 P100 与 Unsloth Qwen3.6 35b A3B 的硬件级优化补丁分享

    Reddit 用户分享由 Claude Opus 协助 vibe coded 的 llama.cpp 补丁，专门针对双 Tesla P100（各限 175W）运行 Unsloth Qwen3.6 35b A3B UD Q4 K XL 做优化，在 shinbunbun p100 补丁（声称 +~70% decode）基础上继续改进。作者以继父 3060 12GB+3090 跑 Ornith 1.5 的 ~125 t/s 为目标，并融入 3090 Qwen3.8 27b 引擎的 persistent megakernels 和缩减 draft vocab 思路。补丁仅针对该硬件和模型调优，质量需进一步调整，稳定性不作保证。

  10. GitHub · 去对齐工具与仓库18

    LLM 多任务环境上下文推理优化：论文《Optimizing Large Language Models for Contextual Reasoning in Multi-Task Environments》代码仓库

    John Smith 等人的论文《Optimizing Large Language Models for Contextual Reasoning in Multi-Task Environments》正在 COAI 2025 审稿中，其代码仓库尚待发布。论文提出优化策略以增强 LLM 跨多任务的上下文推理，实验结果显示在动态环境中具有更优适应性。仓库未来将包含实现代码、benchmark 结果、预训练模型 checkpoint 及文档教程。

  11. GitHub · 去对齐工具与仓库18

    Helminiak/LLM-Setup：本地大语言模型环境的可复现配置与基准测试文档仓库

    Helminiak 发布的 LLM-Setup 仓库旨在把本地大语言模型部署从零散命令整理为可复现、可回滚的工程化配置。内容涵盖 llama.cpp、LM Studio、vLLM 等运行时的启动配置、OpenAI 兼容本地 API、GPU/CPU offload、KV-cache 与上下文窗口实验、基准测试脚本及 speech-to-text 与 RAG 文档。基准测试须记录模型与量化版本、GPU 层数、tokens/second 等信息以区分性能变化与配置漂移。

  12. GitHub · 灵魂体仓库44

    Lzh-Function/LLM-app：在 WSL2 上用 llama.cpp、Prism ML 与 Strata 运行本地 LLM 的 GitHub 仓库

    GitHub 仓库 Lzh-Function/LLM-app 提供在 WSL2 + Dev Container 环境下运行本地 LLM 的一套工作环境，集成聊天、图片提问、网页检索、语音对话、语音作品制作与本地 Codex。环境基于 RTX 5070（VRAM 12GB）、64GB RAM 实测构建，支持 Qwen3.5-9B、Gemma 4、Bonsai 2、Qwen3.8 Flash Next 共 4 个模型，其中 Flash Next 上下文默认 128K，Codex 分别为 Qwen3.5-9B 提供 131,072 token、Bonsai 2 提供 98,304 token。

  13. GitHub · 灵魂体仓库44

    Veightor/chutes-agent-toolkit：让任意 AI 智能体通过 OpenAI API 接入 Chutes.ai

    该工具包让 Claude、Hermes、OpenClaw、Codex 等智能体通过 OpenAI 兼容 API 使用 Chutes.ai 的去中心化无服务器 TEE 推理，覆盖 Kimi、GLM、Qwen、DeepSeek 等开源模型，由 Bittensor 驱动。Toolkit / chutes-ai 插件当前版本 v1.4.0，Chutes SDK 为 0.6.9；包含使用、构建、运营和部署四条产品线，wave-2 技能经 2026-04-13 真实账户端到端验证后转正，并新增 chutes-tee 证明技能，已对 Qwen/Qwen3-32B-TEE 解析真实 TDX v4 报告（5006 字节、56 个 Hopper GPU）。

  14. GitHub · 灵魂体仓库51

    cc-proxy：让 Claude Code 接入 Codex、Kimi、Grok 等订阅服务的本地代理

    gusnips 发布 cc-proxy，一个本地代理进程，可让 Claude Code 使用 ChatGPT Plus/Pro、Kimi、Grok、OpenCode Go、Cursor、GLM、GitHub Copilot 等订阅账号的额度。它负责认证、按模型路由、协议转换和流式响应，内置 monitor 查看会话、错误、token 用量与吞吐，支持 Homebrew 或脚本安装，通过 cc-proxy on/off 的 shell hook 切换是否走代理，项目从 raine/claude-code-proxy fork 而来，MIT 许可。

  15. GitHub · 3D 生成新仓库77

    llamAmpere v0.5.4 发布：RTX 3090 专用 llama.cpp 分支，单卡塞下 Qwen3.8-27B 262,144 token 上下文

    JakeATX 发布面向 RTX 3090 / 3090 Ti（SM86）的 llama.cpp 分支 llamAmpere v0.5.4，运行带 MTP draft head 的 Qwen3.8-27B。v0.5 新增压缩 KV 缓存 SJ-KVaRN（4/4、3/3t、3/2t 配置），4/4 下比 v0.4 的 tq5_0/turbo4 缓存 KL 低 41%、缓存显存多 2%，262,144 token 上下文在 24 GB 单卡 4/4 配置下峰值 21,924 MiB；100K 深度任务基准上 tq5_0/turbo4 较 v0.4 提速 +8.41% ± 5.76%，SJ-KVaRN 4/4 为 +6.77% ± 2.68%。

    推荐理由：原文给出了SJ-KVaRN压缩KV缓存的KL对比、显存占用和多种配置的实测tokens/s数据，读者可据此评估在单张RTX 3090上跑27B模型长上下文的可行性。

  16. Reddit · r/LocalLLaMA22

    在经过远程证明的机密 GPU 上部署私有 AI 推理：Chutes、VoltageGPU 与 GCP 方案求经验

    一位用户在 r/LocalLLaMA 询问是否有人在经过远程证明的机密 GPU 上实际部署过私有 AI 推理，希望在远程 NVIDIA GPU 上按需运行 Kandinsky 6.0 Pro 等开源权重视频模型，并验证机密计算模式、工作负载证明和端到端加密。其对比了三个选项：Chutes 的 RTX PRO 6000 96GB（$1.80/小时，支持 TEE 证据端点与 E2EE）、VoltageGPU 的 Confidential VM（$3.80/小时，Intel TDX 与 NVIDIA 证明）、以及 Google Cloud 的 H100 Spot 加 dstack 或 Confidential Space。

  17. GitHub · 去对齐工具与仓库53

    alper4n 发布土耳其语意图分类实测：LoRA 微调的 1.5B LLM 不敌 110M 的 BERTurk

    作者在 Amazon MASSIVE tr-TR 数据集上对比土耳其语语音助手命令的 60 类意图分类：LoRA 微调的 Qwen2.5-1.5B-Instruct 达到 0.8383 macro-F1，仍比全量微调的 BERTurk（110M 参数）低 1.2 分，且 BERTurk 训练仅 45.5 分钟（Apple MPS）、推理只需单次前向传播。零样本基线仅 0.4049 macro-F1，3.4% 的预测是编造的标签名；LoRA 微调将编造标签从 101 降到 2。其他发现包括按验证 macro-F1 而非 loss 选检查点值 5.6 分、剥离土耳其语变音符损失 3.3 分准确率且 84% 由字母 ı 造成、多语言 tokenizer 对土耳其语每词最高多花 1.9 倍 token。

  18. GitHub · 灵魂体仓库39

    Cyber AI TUI（Local AI Hypervisor）：基于 llama.cpp 的本地与分布式 LLM 推理终端管理工具

    Cyber AI TUI 是一个基于 Python 和 Rich 构建的全屏终端界面与进程管理工具，用于本地和分布式 LLM 推理编排。它通过 llama.cpp 的 ggml-rpc-server 在 RTX 3050 主机节点与 RTX 5050 远程节点间协调算力，支持双节点遥测、预设一键切换、KV cache 量化（q4_0、q8_0、f16）、最高 128k 上下文窗口及一键远程同步等功能。

10月12日周一
  1. Hugging Face · 趋势模型64

    NVIDIA 发布 Nemotron 3.5 Super VL 120B-A12B 的 NVFP4 量化版

    NVIDIA 在 Hugging Face 发布 Nemotron 3.5 Super VL 的 NVFP4 量化版本，这是一个 120B 总参数、12B 激活参数的视觉语言模型，采用 Mamba-2 与 MoE 混合架构加 C-RADIO 视觉编码器，支持最高 1M token 上下文和原生 MTP 投机解码。量化通过 BF16 模型的量化感知蒸馏完成，模型卡给出了 BF16 与 NVFP4 在 GPQA-Diamond、SWE-bench Verified、Video-MME v2 等数十项基准上的对照结果，并提供 vLLM、SGLang、TensorRT-LLM 在 DGX Spark、H200、H100、GB200 上的部署配置，许可证为 OpenMDW-1.1，可商用。

    推荐理由：模型卡同时给出 BF16 与 NVFP4 的完整基准对照和多种硬件部署配置，读者可以据此评估量化损失与所需显存门槛。

  3. GitHub · 3D 生成新仓库65

    Tether 开源 QVAC 本地 AI SDK 与模型服务工具

    Tether 在 GitHub 发布 QVAC，一套本地优先 AI 开发工具，支持在 Linux、macOS、Windows、Android 和 iOS 上运行 LLM、语音、视觉和图像/视频生成等负载。提供 JavaScript/TypeScript 与 Python SDK，内置 HTTP 服务器以 OpenAI 兼容 API 供 OpenCode、OpenClaw 等工具调用，快速示例使用 LLAMA_3_2_1B_INST_Q4_0 模型；能力表覆盖 RAG、LoRA 微调、Whisper 转写、TTS、OCR、VLA 等，并支持 P2P 模型分发和 NAT 穿透中继。

    推荐理由：Tether 官方仓库文档，覆盖 JS/TS 与 Python SDK 和 OpenAI 兼容本地服务的完整接入方式，适合评估本地优先 AI 应用方案。

  4. Reddit · r/LocalLLaMA42

    开源 Graphsignal 推理分析器新增 graphsignal-top：像 top 一样实时查看推理 GPU 状态

    开源分析器 Graphsignal 推出 `graphsignal-top`，可在终端实时监控推理 GPU：显示各 GPU 利用率、显存、功耗、节流，运行/等待请求数、tok/s 和 TTFT/TPOT p50/p95，并将最近 5 s 的 CUDA kernel 按耗时排名、给出可读名称与分类，支持 vLLM、SGLang 等。示例中 Qwen3-32B 以 tp 2 跑在 2x RTX PRO 6000 上，NCCL all-reduce 占四分之一 GPU 时间，一半墙上时间在主机同步等待。支持远程监控与 `--once` 单帧输出。

  5. Reddit · r/LocalLLaMA61

    Gewell v0.2 发布：26B-A4B prefill 最高快 74%，EmbeddingGemma 2 全精度压进 1.13 GiB 显存

    作者发布推理引擎 Gewell v0.2，新增 Gemma 4 26A4 支持，prefill 比 vLLM 全面快 10-74%，上下文越长优势越大；还提到上下文仅需 0.625x 显存。同版将全精度 EmbeddingGemma 2 的文本+图像总占用（含 8k 上下文）压到 1.13 GiB 显存和 0.93 GB 主机内存，图像嵌入与 sentence-transformers 参考实现的 cosine 达 0.99970（均值），优于 llama.cpp 和 vLLM。31B 模型也获小幅改进：极短上下文大批量 mtp-on 场景 tg 提升 20-24%，多数 kernel 达理论峰值 80-85%。

    推荐理由：作者给出了与 llama.cpp、vLLM 的逐项 cosine 对比和 prefill 吞吐数字，可以据此评估这个推理引擎的实际表现。

  6. Reddit · r/LocalLLaMA58

    NuMind 发布 vLLM 插件，可从已部署多模态 LLM 直接获取嵌入向量

    NuMind 员工 /u/Gailenstorm 发布了 Apache-2.0 的 vLLM 插件，从已在 vLLM 上服务的多模态 LLM 中获取文本/图像嵌入向量，方法基于 E5-V 等论文，用提示词让模型输出单词摘要并取最后解码层的 hidden state 作为嵌入。该插件通过兼容 OpenAI API 的 chat 接口暴露向量，请求设置 max_tokens=1 即可，普通对话与流式输出在同一服务器上不受影响；作者同时提交了希望合入 vLLM 的 PR #57185，并考虑将此流程移植到 llama.cpp。文中说明嵌入质量取决于模型、提示词和任务，专用嵌入模型可能更快更好；插件可用于本地 RAG、语义搜索、图文聚类或在向量上训练小分类器。

    推荐理由：作者解释了用已加载 LLM 的最后隐藏状态向量当嵌入的原理和提示词写法，并给出可直接复用的 vLLM 插件与 PR。

  7. GitHub · 去对齐工具与仓库42

    llm-scaling-manager：基于 Kubernetes 的 LLM 推理全局扩缩容管理器

    llm-d/llm-d-workload-variant-autoscaler 的独立分支 llm-scaling-manager 在 GitHub 开源，为 LLM 推理提供 variant 感知的多模型全局扩缩容。新增 KEDA external scaler 通过 gRPC 直接响应、warm pool 在新副本启动前借出已加载模型的 Pod，以及 `make scaledobjects-plan` 生成可编辑的预应用计划。它结合 KV-cache 利用率、队列深度、token 吞吐等指标在 GPU 预算内决定副本数，由 KEDA 和 HPA 执行，Kubernetes 对象仍保留 wva- 命名。

  8. GitHub · 去对齐工具与仓库52

    llm-gateway 0.2.1 发布：一个地址一个 Key 聚合 DeepSeek、GLM、Kimi、OpenRouter 等端点的本地 LLM 网关

    liushikuan63 在 GitHub 发布 Rust/Tauri 本地 LLM 网关 llm-gateway 0.2.1，将 DeepSeek、GLM、Kimi、通义、OpenRouter、Gemini 及本地 Ollama/vLLM 等端点聚合为一个网址加一个 Key。核心功能包括流式首字节前自动降级、上下文落 SQLite 支持重启与降级后续接、按模型分档与 UTC 峰谷价计费、多模态能力硬约束路由，以及接入内置 Mihomo 内核的 VPN 代理。项目自有代码采用 MIT 许可证，Windows 安装包与完整文档见 https://github.com/liushikuan63/llm-gateway。

  9. GitHub · 3D 生成新仓库65

    Arbiter 开源：本地 GPU 工作站多模态任务管理器

    darrenoakey 在 GitHub 发布 Arbiter，一个个人 GPU 工作站任务管理器，开箱支持去背景、图像描述与问答、目标检测、语音转写、多种 TTS、说话人头像和图生视频等任务。用户提交任务后由服务自动加载模型并返回结果，支持批量轮询（每次最多 1000 个任务 ID）、最短任务优先调度、参考文件复用和队列断电保留；静态图像生成默认关闭，图像生成需走 Mac mini Codex 图像服务，唯一例外是基于参考图的 FLUX.2-klein 编辑器。许可证为 CC BY-NC 4.0，非商业使用免费。

    推荐理由：仓库自带完整的任务类型清单、Python 调用示例和调度细节，读者可以直接照着部署这套本地 GPU 多模态工作流。

  10. GitHub · 去对齐工具与仓库48

    relay：本地自托管的 LLM 请求路由网关

    开源工具 relay 可在本机将面向 OpenAI 或 Anthropic 格式的请求转发到 Gemini、Ollama 等所选模型服务商。它以单个 .exe 文件运行于 Windows 10/11（需 4 GB 内存、100 MB 磁盘空间），采用零遥测设计，不记录提示词和凭据，默认本地地址为 8080 端口，可通过 config.yaml 自定义路由规则，连接 Ollama 时可完全离线使用。

  11. GitHub · 灵魂体仓库42

    mgonzs13/llama_ros：在 ROS 2 中集成 llama.cpp 的开源软件包

    GitHub 上的 llama_ros 仓库提供一组 ROS 2 软件包，将 llama.cpp 集成进 ROS 2，可运行基于 GGUF 的 LLM、VLM、音频语言、嵌入与重排序模型。它支持 OpenAI 兼容的 chat completions 接口（含 tool calling、推理与流式输出）、speculative decoding、GBNF 语法及实时修改 LoRA，覆盖 Humble 至 Lyrical 等 ROS 2 发行版，并提供 chatbot_ros、explainable_ros 等相关项目与 LangChain 集成演示。

  12. GitHub · 灵魂体仓库42

    Echo-Note 发布 dsh-llm-bailian-native：阿里云百炼 / DashScope 原生协议适配器

    Echo-Note 在 GitHub 发布 dsh-llm-bailian-native 插件，为阿里云百炼 / DashScope 提供原生协议模型提供商适配器，推理只走原生 HTTP 接口，不使用 /compatible-mode/v1。插件支持 SSE 流式、function calling、thinking 推理与自动按模型类别选择生成路径。真机实测 qwen3.8-flash 约 1.2k token 前缀命中 83% 缓存后单次请求便宜 66.4%；账单接口于 2026-10-12 用真实 AccessKey 跑通。

  13. GitHub · 灵魂体仓库42

    aither-kvcache：近最优 KV cache 压缩工具，支持 TurboQuant、TriAttention 与跨模型 KVTransfer

    aither-kvcache 是面向 LLM 推理的 KV cache 压缩库，提供两种引擎：TurboQuant 向量量化实现 2-4 bit、相对 FP16 3.8-7.1× 压缩且无需校准数据；TriAttention v2.0 通过三角级数保留 top RoPE 频率对，在 F=8-16 下压缩 14-26×，并提供 Qwen3.5、Nemotron、DeepSeek-R1 和 Llama 3.1 的校准配置。v2.4 新增 KVTransfer，可将一个模型的 KV cache 转换给同 tokenizer 的另一模型以跳过 prefill。库通过 pip 安装，可独立安装、离线运行。

  14. Reddit · r/LocalLLaMA71

    6 张 RTX 3090 + vLLM 跑 Qwen3.8-Flash-Next：7 用户 262k 上下文，附上游修复分支

    作者在无 NVLink、四张卡走 Thunderbolt 的消费级 PC 上用 6×3090 通过 vLLM 跑 Qwen3.8-Flash-Next（GPTQ-INT4），262k 上下文支撑 7 用户，单会话 prefill 6574 t/s、decode 57.6 t/s，7 用户合计 206 t/s，并发布含修复的 vLLM 分支。关键做法包括把 102 GB n-gram（PLE）表放到 SSD 节省 108 GB 内存、用 int8 KV 绕过 fp8 KV 在 Ampere 上的崩溃；对比显示 vLLM 强在 prefill、单用户速度和并发席位，llama.cpp 的 grouped decode 在多用户下单路速度更平稳，代码由 LLM 编写并经实测验证。

    推荐理由：作者用同一台 6×3090 消费级 PC 给出 vLLM 与 llama.cpp 在各并发档位下的实测数据，并附修复分支和部署细节，结论可直接复用。

  15. Reddit · r/LocalLLaMA71

    ExLlamaV3 量化模型 QLoRA 训练工具 exl3-qlora 开源，支持 2-8bpw 训练

    /u/Unstable_Llama 发布 exl3-qlora，一个基于 ExLlamaV3 的原生量化训练分支，用纯 PyTorch 实现、不依赖 transformers，可对 2-8bpw 的 EXL3 量化模型做 QLoRA 训练，摆脱 BNB 4bit 的限制。适配器按标准 PEFT 格式保存，可加载进 TabbyAPI、PEFT 或合并回基座模型；支持 Llama3、Mistral、Qwen3 dense/MoE、Qwen3.5/3.6/3.8 hybrid、Gemma3/4、Arcee Trinity。

    推荐理由：作者给出同数据同硬件下 EXL3 与 bnb NF4 的 eval loss 和显存对比，读者可自行判断这套量化训练管线的取舍。

  16. GitHub · 去对齐工具与仓库57

    snonux/hypr：自动化 Hyperstack GPU VM 生命周期并运行双 A100 vLLM 推理

    snonux 在 GitHub 发布 hypr 工具，自动化 Hyperstack GPU VM 的创建、引导、WireGuard 隧道和 vLLM 推理全流程，可并行运行两台 A100 80GB VM，分别服务 Qwen3.8 27B FP8 和 Gemma 4 31B IT (AWQ-4bit)。Pi 编码智能体通过 WireGuard 隧道直连各 VM 的 vLLM OpenAI 兼容端点，无需代理；支持 model switch 热切换十余个模型预设，qwen38-27b 预设默认启用 MTP 投机解码。附双 VM 拓扑、watch 监控面板、A100 80GB VRAM 尺寸表和 A100 PCIe 上 FP8 对比 Ollama 的吞吐数据。

    推荐理由：给出从 GPU VM、WireGuard 隧道到 vLLM 和 Pi 编码智能体的一条龙脚本，附各模型 VRAM 与吞吐参考数据。

  17. Reddit · r/LocalLLaMA53

    vLLM Semantic Router 团队发布 Apache-2.0 多模态决策模型 Decision 3.0，覆盖 0.6B 到 27B 并登顶 Jev Decision Index 两项榜单

    作者与 vLLM Semantic Router 团队发布开源多模态决策模型家族 Decision 3.0，基于 Qwen3.5 与 Qwen3.8-27B，权重采用 Apache-2.0 协议，支持文本、图像和视频输入。模型输出 choice、yes/no、score 三种决策类型并给出概率，不生成文本；官方评测显示 27B 以 64.7 text 和 71.6 vision 登顶 Jev Decision Index 两项榜单，9B 版本（d3-flash）超过上一代 27B Decision 2.0，视频为 zero-shot，27B 在 Perception Test 19,140 个验证题上得 77.4。

  18. Reddit · r/LocalLLaMA66

    Qwen3.8-27B 实现 bit-exact 投机解码：单卡 RTX PRO 6000 达 106 t/s

    /u/stargate425 在 SGLang 上复现了 Qwen3.8-27B 的 bit-exact 投机解码，单张 RTX PRO 6000 达 106.6 t/s，24/24 提示词的 token id 与 logprob 均与无投机解码完全一致。关键包括两处 verify 修改、DeepGEMM sm120 修复（PR #42145 及上游 PR #93），短提示词下仅比 vLLM 的非精确解码慢 3%。作者附上完整启动命令、模型版本号和三个补丁的 gist 链接。

    推荐理由：作者给出让投机解码输出逐位可复现的具体补丁、启动命令和各长度下的速度对比，方便本地部署者照做。

  19. GitHub · 3D 生成新仓库40

    kvark 开源 mega-image：基于 Meganeura 的 Qwen-Image 2.1 扩散模型推理工具

    GitHub 新仓库 kvark/mega-image 提供基于 Meganeura 的 Qwen-Image 2.1 扩散 transformer 推理，用量化 Qwen3-VL 前端编码提示词。初始下载约 10.3 GB，默认 1024x1024 分辨率会生成 4096 个图像 token 并需较大 GPU 显存，首次跑通建议 512x512 和 1 步采样。支持断点续传、HF_HUB_CACHE 缓存复用、--offline 与 --pack-swiglu 等选项，但 VAE 解码器尚未实现，暂不能输出 PNG。

  20. Reddit · r/LocalLLaMA69

    strix-llama.cpp 新分支 rdna35-perf：prompt processing 比 Vulkan 快 21–54%，128k 下最高达原版 ROCm 的 2.74 倍

    /u/asfbrz96 在 Strix Halo（Radeon 8060S、128 GB）上为 llama.cpp fork strix-llama.cpp 开出 rdna35-perf 分支（10 commits，仅 ROCm/HIP）。prompt processing 比 Vulkan 快 21–54%、比原版 ROCm 快 8–174%，领先幅度随上下文深度扩大；生成速度与 Vulkan 打平或落后 2–3%。作者用 KL 散度和 32k 困惑度验证输出质量不变，主要改动包括 RDNA3.5 flash attention kernel、量化 GEMM 调优、MoE 与 Gated DeltaNet 的 decode 融合。

    推荐理由：作者给出三种模型在 0k 到 128k 多档深度下的完整实测表，并用 KL 散度和困惑度验证输出未变，数据可直接复现。

  21. GitHub · 去对齐工具与仓库52

    Aoxin Ni 开源大语言模型数值能力评测代码与完整模型输出

    Aoxin Ni 发布 arXiv:2608.13129 论文 Numeracy in Large Language Models 第 5 节实证评测的代码、提示词与全部模型输出，覆盖 GPT-5.4、Claude Opus 4.6 和 Gemini 3 Flash（MINIMAL 与 HIGH 思考级别），评测 Number Cookbook（119,425 条）、NumericBench（6,400 条）和 GSM-Symbolic（2,500 条）三个基准。流程无 API 调用、逐字节可复现，结果哈希 2730878f3071，笔记本几分钟即可跑完，论文第 5 节所有数字均由这些文件生成。

  22. Reddit · r/LocalLLaMA11

    你真的测试开源模型在不同推理引擎间的兼容性吗？

    r/LocalLLaMA 网友发帖称，同一开源模型在 llama.cpp、vLLM、Ollama、SGLang 等不同推理引擎、量化方式、chat template 或 runtime 版本下行为可能不一致，升级或切换后 tool calling、结构化输出、streaming 等功能可能损坏。其询问大家如何发现这些兼容性问题，并希望有可复现的兼容性测试工具或公开的模型/量化/引擎兼容矩阵。