跳到正文

方向

本地部署与推理 最新动态

把模型跑在自己机器上：量化、推理引擎、显存优化、微调与蒸馏，以及让更大的无对齐模型跑得起来的工程进展。

1,573 条精选近 30 天 1,563 条共收录 5,761 条

更新

精选归档 · 第 67 页

10月6日周二第 1321–1340 条
  1. GitHub · 去对齐工具与仓库55

    TalBenAmii 开源 llm-d-benchmarking-agent，用自然语言驱动 llm-d 基准测试

    TalBenAmii 在 GitHub 开源 llm-d-benchmarking-agent（Apache-2.0），用户用英文描述需求即可对 llm-d 做基准测试，例如约 500 并发用户、p99 延迟低于 500 ms。

    推荐理由：原文给出了从安装、会话流程到命令策略与验证方式的完整说明，读者可以据此评估是否在本地复用这套基准测试流程。

  2. Reddit · r/LocalLLaMA62

    基于 Ternary-Bonsai-4B 搭建本地 System One 并用作 coding-agent judge

    /u/Cultural_Self8980 在 Ternary-Bonsai-4B 上搭建了本地 Jev 式 System One，单次前向即可对一条记录回答多选、评分或是否问题，通过树状注意力掩码共享记录前缀，权重冻结无微调，Apple Silicon 上 MLX 后端使用约 1.1 GB 的 2-bit 打包权重。

    推荐理由：作者用 80 个样本对比了 Bonsai 与 omp 内置 judge 与 Claude Opus 标签的一致率和延迟，并自己列出了标注来源等局限。

  3. Reddit · r/LocalLLaMA58

    微软页面证实 OpenAI GPT-6 系列使用 Looped Transformers

    微软在公开网页上证实 OpenAI 在 GPT-6 系列中使用了 Looped Transformers，印证了 The Information 此前的报道。GPT-6.1 Sol 使用 2 次 inference passes，并顺带提到"而不是三次"。

    推荐理由：作者指出微软页面一度证实 GPT-6 系列采用 Looped Transformers，并澄清 6 与 6.1 是同一底座的不同后训练版本，页面随后被修改。

  4. Reddit · r/LocalLLaMA67

    YoungAi 引擎在单台 DGX Spark 上运行 DeepSeek V4.1 Flash：113.6 GB 基座加 40 MB 领域边车

    开发者 /u/Physical_Toe_2499 发布 YoungAi，一个原生 C/CUDA 推理引擎，将约 510 GB 的 DeepSeek V4.1 Flash 压缩为 113.6 GB VQ 基座 GGUF 加每个领域约 40 MB 的领域边车文件，在单台 NVIDIA DGX Spark（GB10，128 GB 统一内存）上运行。

    推荐理由：作者给出了各领域 top-1 一致率、KL、PPL 和实测吞吐数据，还坦陈了后训练文件不泛化等局限，便于读者自行评估这套部署方案。

  5. GitHub · 灵魂体仓库63

    Ink 开源：把生产级 AI 重复决策编译为本地 Fast Path

    Devaretanmay 发布开源工具 Ink（Apache-2.0），用于识别生产 AI 智能体中重复且可独立验证的有界决策，如路由、工具选择和分类，经 shadow 对比和统计资格认证后在本地提供 Fast Path 服务，精确匹配延迟 0.18–0.19 ms，本地模型约 48 ms。基准显示 DecisionSite 内模型调用减少 19.9–40.4%，全应用调用减少 3.99–10.10%，检测到策略漂移时自动撤销 Fast Path，注入漂移下撤销前发生 7–8 次错误服务，低于静态缓存的 12.0–18.0% 错误率。

    推荐理由：仓库用 18000 次决策的基准数据说明调用减少和延迟收益，也如实列出漂移前误判次数等局限，便于读者自行评估适用性。

  6. GitHub · 灵魂体仓库60

    sky-with-you：给光遇 PC 版装上可陪玩的 AI 伴侣

    珂珂（KerunK336651）在 GitHub 开源 sky-with-you，为《光·遇》PC 版提供 AI 伴侣，可自动看聊天面板、回消息、点火收火、接受传送、牵手并带你回遇境。

    推荐理由：原文给出感知、调度、执行三层架构与硬件按键注入方案，读者可以照着在光遇里搭一个能牵手回家的 AI 伴侣。

  7. GitHub · 去对齐工具与仓库66

    dgx-spark-llm-platform：单台 NVIDIA DGX Spark 上的自托管多用户 LLM 推理平台

    Sunderrrr 开源了 dgx-spark-llm-platform，一套在单台 NVIDIA DGX Spark（GB10 Grace Blackwell，128 GB 统一内存，aarch64）上自托管的 LLM 推理平台，把一台 GPU 机器变成小型多用户 AI 服务。

    推荐理由：作者公开了在单台 NVIDIA DGX Spark 上跑多用户 LLM 服务的完整架构，从 LiteLLM 网关到按需加载的媒体侧车都有细节可查。

  8. GitHub · 去对齐工具与仓库61

    Tether：基于 Tailscale 与 llama.cpp RPC 的分布式本地 LLM 推理控制面

    kindmanners 在 GitHub 发布 Tether，一个跨私有 Tailscale 网络的分布式本地 LLM 推理桌面控制面，利用 llama.cpp 的 RPC 模式在多台物理设备间池化 GPU 显存，无需云基础设施。

    推荐理由：原文明确说明该工具只池化 GPU 显存而非提速，并给出何时能提升吞吐的边界条件，适合评估多机跑大模型的读者。

  9. Reddit · r/LocalLLaMA67

    NInfer6000 分支让 Qwen 3.8 Flash Next 在 RTX6000 上达到 400 tok/s 生成与 13K tok/s 预填充

    /u/lkarlslund 发布了面向 RTX6000 96GB 的 NInfer 分支 NInfer6000，在理想条件下对 Qwen 3.8 Flash Next 跑出 400 tok/s 生成与约 13K tok/s 预填充。

    推荐理由：作者给出了从 512 到 256K 多档上下文的 decode 与 prefill 实测数据，可据此评估 RTX6000 上该推理方案的实际收益。

  10. GitHub · 去对齐工具与仓库63

    edge-llm-bench：面向真实设备的本地 LLM 引擎可复现基准测试框架

    john-rocky 在 GitHub 发布 edge-llm-bench，一个面向真实设备上本地 LLM 引擎的中立、可复现基准测试框架，覆盖 LiteRT-LM、llama.cpp、MLX、Apple Core AI、Cactus 五个引擎和 Mac Studio (M4 Max)、iPhone 17 Pro、Pixel 8a、Galaxy S26 四台设备。

    推荐理由：原文给出了可复现的本地 LLM 引擎基准测试框架，含持久化原始记录、回归判定和跨设备续航测试协议。

  11. GitHub · 去对齐工具与仓库58

    lynox 开源自托管 AI 智能体，支持接入自有 LLM 运行业务工作流

    Rafael Burlet 个人开发的 lynox 在 GitHub 开源，是一个自托管 AI 智能体，可连接 API、执行工作流、联网调研并监控变化，内置知识图谱、流程捕获、子智能体和后台任务。

    推荐理由：README 明确列出已验证与实验性的 LLM 接入路径、安全机制和当前短板，便于自托管前评估是否适用。

  12. GitHub · 去对齐工具与仓库72

    开源可视化工具 inferlab 发布，可逐阶段观察 LLM、RAG、Agent 与模型训练

    GitHub 上的 inferlab 是一个本地运行的可视化工具，逐阶段展示 LLM 请求、RAG 检索、Agent 循环和机器学习训练过程，支持 0.25×–4× 回放控制。

    推荐理由：这个可视化工具用 live/simulation 徽章区分真实计算与教学模拟，并给出密钥流向说明，适合想逐阶段观察 LLM、RAG、Agent 和训练过程的人。

  13. GitHub · 去对齐工具与仓库66

    Simon-zj1 开源本地 Agent 运行时 agent-harness

    作者开源了本地 Agent 运行时 agent-harness，将调度、记忆、权限与验收保留在本机，模型执行外包给 DeepSeek API、Codex CLI 或 Claude Code 等可替换执行器。

    推荐理由：原文给出验收闸门漏检率与误杀率的实测对比数据，读者可以据此评估自建本地 Agent 运行时与托管方案的真实取舍。

  14. GitHub · 去对齐工具与仓库61

    递归微调知识退化研究发布完整复现包 v1.0.4

    作者发布递归微调知识退化研究的复现包 v1.0.4，投稿 Knowledge-Based Systems（审稿中），涵盖 Qwen 2.5 1.5B 与 Gemma 3 1B 两个骨干、10 代递归、共 52 次实验。

    推荐理由：复现包附带全部统计、图表生成脚本和 14 项机械校验，读者可自行验证递归微调退化的剂量响应结论。

  16. GitHub · 灵魂体仓库66

    ictzft 开源从零手写的轻量推理引擎，KV Cache 加速 6.0×

    作者 ictzft 在 GitHub 开源了一个从零手写的轻量推理引擎，覆盖 KV Cache、两阶段调度和采样全家桶，在 RTX 5070 Ti 上用自训 0.21M 字符级 GPT 和 Qwen3-0.6B（bf16）双平台验证。

    推荐理由：作者用逐位全等和手算对账验证每步优化，KV Cache 与两阶段调度的加速数字都附实测协议，方法可迁移到自研推理引擎。

  17. Reddit · r/LocalLLaMA58

    开发者发布 Chrome 扩展 opendecider-focus 0.8.1，用浏览器内小模型本地过滤 YouTube 信息流

    /u/manjunath_shiva 发布 Chrome 扩展，用 opendecider-nano（ONNX）模型在浏览器内通过 WebGPU 本地过滤 YouTube 信息流，无服务器、无 API key，下载一次后可离线使用。

    推荐理由：作者给出了 400 条视频上的 balanced accuracy 实测数据和 WebGPU/CPU 性能对比，可据此评估这个浏览器内本地过滤方案的实际效果。

  18. GitHub · 去对齐工具与仓库55

    Temikus 开源 Go 编写的 AI 代理网关 Butter

    Temikus 在 GitHub 开源了用 Go 编写的 AI 代理网关 Butter，位于应用与 AI provider 之间，提供统一的 OpenAI 兼容 API。

    推荐理由：原文完整列出了 11 家 provider 支持、failover 策略和 WASM 插件机制，还给出各场景的延迟开销目标，便于评估是否适合自部署网关。

  20. Reddit · r/LocalLLaMA64

    Orange Pi 5 Plus（RK3588）本地大模型实测：Ollama 吞吐、NPU 卸载与散热数据

    作者实测 Orange Pi 5 Plus（RK3588、16GB）运行本地大模型的表现，发现把 Ollama 限制到 4 个 A76 大核可带来最高 +318% 提速，Qwen 2.5 1.5B 达 14.5 tok/s，而 Llama 3.1 8B 受 LPDDR4x 带宽限制仅 2.3 tok/s 且裸片温度达 85°C。

    推荐理由：作者用同一块板子实测了线程数、NPU 与散热的取舍，给出了各档模型的 tok/s 和温度数据，可迁移到其他 RK3588 部署场景。