跳到正文

方向

本地部署与推理 最新动态

把模型跑在自己机器上：量化、推理引擎、显存优化、微调与蒸馏，以及让更大的无对齐模型跑得起来的工程进展。

1,573 条精选近 30 天 1,563 条共收录 5,762 条

更新

精选归档 · 第 33 页

10月9日周五第 641–660 条
  1. GitHub · 灵魂体仓库61

    Tao20060602 开源 llm-gpu-kernels：RTX 3080 单GPU上的 MoE grouped GEMM 与 GQA attention 算子项目

    作者开源了独立于 NanoKV 的 LLM GPU 算子项目 llm-gpu-kernels，包含 BF16 MoE grouped GEMM 局部融合与四段KV GQA prefill attention，硬件为 RTX 3080 Laptop 16 GiB（SM86）。attention 短query冻结选择在合成验证矩阵中相对完整 FA2 链路 Graph 耗时几何平均减少 22.09%，最坏慢 2.17%；M24 对 W4A16 packed gate/up 的布局机制对照中六个固定 case 相对同量化 vLLM 低 21.17%。项目按 M0–M24 分阶段报告，记录了失败实验、适用形状边界与回退策略，作者明确说明为单 GPU 原型，不构成 expert-parallel 或 serving 经验。

    推荐理由：作者用逐阶段报告和固定输入复测记录了 MoE 与 attention 算子在 RTX 3080 上的实测收益和明确边界，可迁移到类似单GPU原型工作。

  2. GitHub · 灵魂体仓库58

    开源工具 pii-mask 发布：在文本送入云端LLM前本地脱敏个人信息

    GitHub 用户 dewil 发布开源工具 pii-mask，一个在文本发送到云端大语言模型前对姓名、电话、email、护照等个人敏感信息（PII）进行本地脱敏、并在模型返回后还原原文的网关，主打俄语场景与俄罗斯个人数据格式（ИНН、ОГРН、СНИЛС 等）。识别采用三层结构：正则加校验位、基于 Natasha 的离线 NER（按词形归一保持标签一致）、可选的 Ollama LLM 审计第二遍（默认模型 qwen3:1.7b）。服务无状态、fail-closed，映射文件 mapping. 权限 600 并写入 .gitignore。

    推荐理由：作者详述了正则加NER加LLM审计的三层识别设计与152-ФЗ合规边界，方法思路可迁移到其他语言的文本脱敏场景。

  3. arXiv · cs.CL53

    GraphTok论文提出GPU tokenizer，加速Agent负载下的LLM服务tokenization

    论文提出GraphTok，把从pre-tokenization、BPE合并到token-ID组装的整个编码流程作为可重放的CUDA graph在GPU上运行，token ID与参考实现在GPT-2、Llama 3、Qwen 2.5、DeepSeek-V3、Gemma 3上逐位一致，可接入未修改的vLLM和NVIDIA Dynamo。在Llama 3上比最强CPU tokenizer gigatoken快4.7-6.0x；在带缓存前缀的vLLM中TTFT均值降低2.1-2.4x；2s P99下单前端可承载518 req/s的121k-token流量，为gigatoken的1.75-2.5倍。

    推荐理由：论文给出GraphTok在vLLM和Dynamo下的实测吞吐与TTFT数据，可了解把tokenization搬到GPU对Agent负载的实际收益。

  4. GitHub · 去对齐工具与仓库59

    SpectraLLM 开源：PDF 文档一键微调出本地领域模型

    GitHub 项目 devdownin/SpectraLLM 发布，宣称在单一应用内将 PDF、DOCX 等文档经混合检索问答后微调为本地模型，100% 本地运行、无云端 API。流程包括摄入、问答（关键词+向量混合搜索、reranking、ReAct 多跳推理）、QLoRA/DPO 微调和单文件 GGUF 导出，可配合 llama.cpp、Ollama 等运行。默认模型下载约 4.8 GB，需 Docker Engine 25+ 与 16 GB 内存，GPU 可选，AGPL-3.0 协议。

    推荐理由：把文档摄入、混合 RAG、QLoRA 微调和 GGUF 导出整合成一个本地 Docker 项目，对想私有化部署知识库的人有可参考的完整流程。

  5. GitHub · 去对齐工具与仓库58

    OpenTeam 开源自托管 AI 智能体平台：多机器人共用工作区并支持定时任务

    OpenTeam 是一个开源（GPL v3.0）的自托管 AI 智能体平台，让多个 bot 在用户自己的硬件上持续工作，可浏览网页、使用 Linux 桌面和操作文件。每个 bot 保留对话、Markdown 记忆和浏览器登录状态，支持群聊协作、子代理委派、按计划或事件运行的 routines，并可接入 Gmail、GitHub、Slack、Notion 等插件或自定义 MCP 服务器。

    推荐理由：原文完整说明了自托管多智能体方案的部署要求与功能边界，读者可据此判断是否适合在自家硬件上运行。

  6. GitHub · 灵魂体仓库65

    trajectory-sft-agents 仓库发布 Qwen2.5-1.5B 与 Qwen3-1.7B 的轨迹SFT与GRPO后训练流程

    独立研究仓库 trajectory-sft-agents 发布在消费级单卡上运行的小模型Agent后训练项目。基于 Qwen2.5-1.5B-Instruct 的 ALFWorld 实验，用600条环境执行验证的专家轨迹做 LoRA SFT，再经在线GRPO，完整任务成功率由 Base 6.25% 提升至 SFT 68.75%、SFT+GRPO 77.08%。另一组 BFCL 实验将 Qwen3-1.7B 的多轮工具任务测试成功率从 2.5% 提升至 32.5%，单张RTX 5090训练约70分钟。仓库公开训练配置、专家轨迹、LoRA权重与逐题rollout，附CPU可运行的证据核验脚本；作者说明这是域内训练与内部留出评测结果，域外小样本评测未观察到明显退化但也不构成通用能力提升的证明。

    推荐理由：作者给出完整训练链路、逐题成绩和可复现证据，读者可以在消费级单卡上照此复现小模型Agent后训练。

  7. GitHub · 灵魂体仓库61

    Metapi-Go：把 New API / One API 等多个中转站聚合为统一网关的开源工具

    开源项目 metapi-go 将分散的 New API / One API / OneHub / Sub2API 等聚合中转站统一为一个 API Key、一个入口，支持 16 个上游适配器、OpenAI 与 Claude 双协议代理、模型自动发现与按成本/余额的路由容错。部署支持单二进制、Docker 和源码构建三种方式，启动只需 AUTH_TOKEN 与 PROXY_TOKEN 两个令牌，并可作为 TypeScript 原版的无缝 Go 替代。项目地址 https://github.com/DeliciousBuding/metapi-go ，MIT 许可。

    推荐理由：原文给出了安装命令、配置项和路由容错机制的完整说明，自托管多站聚合网关的读者可以直接照着部署。

  8. GitHub · 灵魂体仓库56

    open-console-gateway 开源：把多个 AI 订阅与 API 聚合到本地网关统一管理

    klarkxy 开源的 open-console-gateway 支持在自建机器上把多个 AI 订阅账号和自有 API 统一管理，为兼容的聊天应用和编码工具提供单一接入点和自定 Key。账户触发限流时可按拖拽设置的优先级自动切换到其他兼容账户，仪表盘提供用量、余额和请求日志查看，支持 Windows、macOS、Linux 和 Docker 部署。

    推荐理由：原文讲清了账号聚合、限流自动切换和用量统计的完整用法，部署在自己机器上的方案可以直接照着搭建复用。

  9. GitHub · 灵魂体仓库65

    claude-code-providers 开源：一条命令在 Claude Code 中切换 DeepSeek、MiniMax 等 LLM 供应商

    GitHub 项目 caixuf/claude-code-providers 让 Claude Code CLI 可在多家 LLM 供应商之间一键切换，支持 Anthropic 兼容端点和 OpenAI/OpenRouter 兼容的 DeepSeek、MiniMax、StepFun 等。工具内置基于 LiteLLM 的本地协议桥（127.0.0.1:4000），桥接 Anthropic /v1/messages 到 OpenAI /chat/completions 并保留工具调用、思考 token 和流式输出；每次切换自动备份 settings. 并支持 ccp --rollback 回滚。

    推荐理由：这个工具解决了 Claude Code 硬编码 Anthropic 协议、切供应商要手填配置的痛点，还附带了多模型在真实代码库上的实测数据。

  10. GitHub · 灵魂体仓库59

    Estuary：自托管的 Rust 模型网关，统一 OpenAI 与 Anthropic 协议路由

    Estuary 是一个自托管的 Rust 网关，用单个公共监听同时提供 OpenAI 与 Anthropic 客户端协议，覆盖 Chat Completions、Responses、Embeddings、Messages 及 token 计数等 API。它把公共模型名映射到上游模型，按并发、负载、延迟、错误和提示词前缀亲和性路由请求，vLLM 0.25+ 可获得精确 KV-block 亲和性；还提供每节点并发限制、熔断、健康检查、SQLite 配置与中英文管理界面。公共推理监听不做调用方鉴权，需放在可信网络或鉴权代理之后；SQLite 须在本地文件系统，不能放 NFS。

    推荐理由：README 写清了路由依据、协议覆盖和部署限制，包括公共监听不鉴权、SQLite 不能放 NFS 等生产注意事项，可作为自建网关的参考。

  11. GitHub · 去对齐工具与仓库60

    Nova：一个可离线运行的 Home Assistant 自主 AI 管家集成在 GitHub 开源

    GitHub 项目 abz2much/NOVA 发布了 Nova，一个安装为 Home Assistant 自定义集成的自主 AI 管家，提供语音、视觉和推理核心，通过 HACS 安装且无需单独容器或云账号即可启动。它支持 Groq、Anthropic、OpenAI、Gemini 或本地 Ollama 作为可插拔 LLM 后端，可控制设备、分析门铃与包裹、学习作息并提议自动化，但敏感操作（开锁、开车库门）保留手机确认步骤，且建议的自动化未经明确批准不会安装。断网时本地推理核心仍可处理常规事件；项目为单人维护、处于活跃开发中，版本间可能出现破坏性变更。

    推荐理由：这个 Home Assistant 本地管家集成的 README 讲清了安装门槛、安全门控和离线降级设计，读者可以据此判断它是否适合自己动手部署。

  12. GitHub · 灵魂体仓库62

    BiranSama 开源 ReNovel-AI 智能小说重写工作台

    BiranSama 在 GitHub 开源了 ReNovel-AI，一个智能化的小说重写工作台，采用 GPL-3.0 协议。内置 ChromaDB 向量数据库实现全书 RAG 记忆与一致性检查，Writer/Reviewer/Chat 三模型协作改写与审校，支持 TXT 导入自动分章、批量流水线精修和断点续传，兼容 SillyTavern 的预设与 PNG/JSON 角色卡；技术栈为 NiceGUI + SQLite/ChromaDB，通过 OpenAI 兼容接口或 Gemini 调用模型。

    推荐理由：README 给出了 RAG 记忆、三模型校验和 SillyTavern 角色卡解析的具体做法，做长文改写或角色卡相关工具时可参考其架构。

  13. GitHub · 灵魂体仓库59

    AudioTranscriber 发布：本地录音转写并自动标注说话人

    throndir2 在 GitHub 发布 AudioTranscriber，可录制电脑播放的声音与麦克风并实时转写，自动区分并记住说话人，全程本地运行，无需账号或上传。默认使用 NVIDIA Parakeet TDT v3，支持 25 种欧洲语言，测试中词错误率比 Whisper large-v3-turbo 低约三分之一且 CPU 占用更低；提供 Windows 与 Linux 安装包、SRT/WebVTT 导出、MCP 服务器以及面向跑团和会议的 AI 模板功能。

    推荐理由：这是一个可全本地运行的录音转写与说话人标注工具，跑团、会议等场景的说明具体，读者能直接对照自己的使用需求。

  14. GitHub · 去对齐工具与仓库67

    s1line1 开源 home-llm-gateway：把内网本地模型安全暴露为公网 OpenAI 兼容 API

    s1line1 在 GitHub 发布 home-llm-gateway，用 Rust 实现边缘 LLM 网关，把 NAT 后、无公网入口的本地模型（Ollama / vLLM / llama.cpp）暴露成公网 OpenAI 兼容 API。架构为 cloud-gateway 加 edge-agent，通过 QUIC + mTLS 反向拨号隧道，无需 frp / ngrok 与反向代理，支持 SSE 流式与取消传播、按 model 的感知路由、argon2id 身份校验缓存等。项目包含 368 个通过的测试、k6 压测脚本与 React 管理面板，MIT 许可；协议级去重（EXACTLY_ONCE）与 TCP 降级等项仍是提案、未实现。

    推荐理由：README 给出了完整架构与实测数据，读者可以借这套设计了解内网模型安全暴露成公网 OpenAI API 的工程做法。

  15. GitHub · 灵魂体仓库63

    Pulsar 1.1.4 发布：在 Apple Silicon 上加速运行 Qwen3.8-27B 与 Qwen3.6-35B-A3B

    loopai-hq 发布推理引擎 Pulsar 1.1.4（前身 fastkernel），用于在 Apple Silicon Mac 上本地运行 Qwen3.8-27B 和 Qwen3.6-35B-A3B，基于 Apache-2.0 的 Splash 1.3.0 构建。

    推荐理由：原文给出同一台 M5 Max 上与 lithos-metal、Splash、MLX-LM、llama.cpp 的逐项 tok/s 对照和测量方法，速度结论可以直接核对。

  16. GitHub · 去对齐工具与仓库74

    GitHub 开源项目 soulkiller：用个人数据微调 Qwen3 复刻你自己

    GitHub 开源项目 soulkiller 可将你的邮件、聊天、帖子等 14 类个人数据导出，微调成一个模仿你说话风格的 Qwen3 模型，并配套检索记忆索引，全程在本地 Mac 解析、自有 GPU 训练，无云端 API。项目采用 QLoRA 微调（Qwen3-4B/8B/14B，16 GB 显存可跑），仅对你本人的消息计算 loss，导出 LoRA 适配器和 GGUF；记忆部分基于 bge-m3 多语言嵌入索引做检索增强，仍在开发中。作者警告训练后的模型会记住你和联系人的隐私细节，切勿发布。

    推荐理由：原文给出从数据导出、QLoRA 微调到检索记忆索引的完整做法，想要复刻个人数字分身的读者可以照着跑。

  17. GitHub · 灵魂体仓库59

    璇玑（xuanji）：Go 单二进制 AI 网关，汇聚多家上游按成本与健康度自动分流

    开发者 icefairy 在 GitHub 发布了 Go 编写的轻量 AI 网关璇玑（https://github.com/icefairy/xuanji），支持 OpenAI 与 Anthropic 双协议接入，汇聚硅基流动、商汤、DeepSeek 系中转、vLLM、OpenRouter 等上游，按计费层级、权重、折扣时段与健康延迟自动分流，失败逐层切换。单二进制约 18MB、SQLite 零外部依赖，配置数据库化 CRUD 即热重载，定位个人/小团队自用，不含计费与用户管理；并在网关层将各模型思考强度参数归一化为标准 reasoning_effort，预置了 3 个免费模型的 57 题实测推荐等级。

    推荐理由：作者给出了与 one-api、LiteLLM、CC Switch 的逐项对比和实测思考等级数据，可帮助自部署用户评估网关选型。

  18. GitHub · 去对齐工具与仓库55

    protodissect 开源发布，自动从 PCAP 生成 Wireshark 协议解析器

    protodissect 发布，可对未知 TCP/UDP 协议的 PCAP/PCAPNG 抓包自动推断消息定界与字段布局，输出可用的 Wireshark Lua 解析器、PROTOCOL.md、facts. 和 report.html。字段推断为确定性流程，可选通过 Ollama 等本地 LLM 提议字段命名并逐一经证据校验；默认完全离线运行，同一抓包产出字节一致的 facts.，可用于 CI 协议回归检测。适合 IoT、游戏服务器、遥测等二进制协议，TLS 流量会被检测并跳过。

    推荐理由：原文给出完整工作流程与确定性输出的说明，读者可以了解从抓包自动生成 Wireshark 解析器的可复用做法。

  19. Hugging Face · 新模型：uncensored57

    dima6312 发布 Swift-1.5-Qwen3.8-27B Uncensored 的 MLX oQ4e 量化版

    dima6312 在 Hugging Face 上发布 ajgazin 的 Swift-1.5-Qwen3.8-27B Uncensored（UkisAI Swift 1.5 的 abliterated 版）的 MLX oQ4e 量化，体积 17.0 GB、4.9 bits per weight，仅做量化未改其他内容，并保留 MTP 头以支持 oMLX 中的自推测解码。在 M4 Pro 48GB 上实测：编码任务 21/24、工具调用 27/30、100 条提示词拒绝 11 次（原模型为 97 次），解码 39.8 tok/s，MTP 接受率 87.5%；模型沿用 Swift Open License v1.0，年收入超 100 万美元的组织商用需 UkisAI 的企业授权。

    推荐理由：作者用统一的拒绝率测试对比了量化版与原模型，还保留了 MTP 头并给出解码速度，量化质量有实测数据可查。

  20. GitHub · 灵魂体仓库60

    vecmem 发布：把 markdown 笔记索引成本地 AI 记忆的 MCP 工具

    Lemuelendoscopic797 在 GitHub 发布 vecmem，一个索引本地 .md 笔记并提供语义搜索的 MCP 服务器工具。它按标题分块并生成嵌入向量，存入本地 SQLite，采用 BM25 加余弦相似度的混合检索，搜索约 100ms；通过 .mcp. 可接入 Claude CLI、Cursor、VS Code Copilot、Windsurf 等 MCP 客户端。全程本地运行，无需 API key，仅首次需下载 23MB 搜索模型，仅支持 markdown 文件，英语语义搜索效果最好，其他语言主要靠关键词搜索。

    推荐理由：原文讲清了 vecmem 的混合检索架构与本地运行方式，读者可以据此评估能否把散落的 markdown 笔记接入 AI 助手当记忆用。