方向
把模型跑在自己机器上：量化、推理引擎、显存优化、微调与蒸馏，以及让更大的无对齐模型跑得起来的工程进展。
1,568 条精选近 30 天 1,558 条共收录 5,749 条
wwcExperiment 在 GitHub 发布 game-screen-translator，可截取游戏窗口、galgame、漫画等屏幕区域，将画面文字发给任意 OpenAI 兼容模型（LM Studio、Ollama 或远程 API）翻译，并在原位置叠加显示译文。工具采用灰度签名变化检测加防抖，仅在文字真正变化时才请求模型；支持窗口锁定、短期滚动上下文保持译名一致，以及可选的按应用剧情摘要归档。需 Windows 和 .NET 10 SDK，配置经 config. 完成。
推荐理由：原文讲清了防抖检测、滚动上下文压缩等实现细节，想用本地 LLM 做屏幕实时翻译的读者可参考其工程做法。
BitTrellis 仓库发布，它针对 Qwen3.8-27B 与 RTX 5090（32 GB）自动搜索逐层压缩配方，以 RP-KL 衡量与 BF16 原模型的偏移，并生成真实 checkpoint 在 SparkInfer 上实测质量、速度与显存。测量发现多数公开语料上的保真度收益无法在私有 holdout 上延续，V13 仅 9% 收益迁移、V3 仅 44%，均未达标；真正存活的是 Q4_K 的显存节省，V1 节省 1.8 GiB、V6 节省 1.2 GiB 且通过 holdout，代价是 4K prompt 读取速度最多下降 49%。矿工可通过提交 YAML manifest 或新量化器参与，合并后在 Gittensor 上按 frontier 增益获得报酬。
推荐理由：原文用真实测量说明了公开语料上的保真度收益在私有 holdout 上大多不成立，这个验证思路对做量化压缩的人有参考价值。
sous 是一个面向 Apple silicon Mac 的本地守护进程，介于 Claude Code 和 Anthropic 之间：主循环请求原样转发到 Anthropic 走用户自己的 Pro/Max 登录，subagent 请求则由本地 MLX 模型（默认 mlx-community/Qwen3.8-27B-4bit，约 16 GB 下载，需约 18 GB 空闲统一内存）应答，不再消耗订阅额度。跨会话的提示缓存分叉让新会话首次本地回合从 170 秒降到 16 秒，守护进程重启后为 15.7 秒；默认模型在 M5 Pro 上解码约 31 tok/s（2K 上下文）、25 tok/s（57K），一次只服务一个 subagent，且 Anthropic 官方不支持这种网关路由方式。
推荐理由：项目把子代理请求转到本地 MLX 模型并保留主循环在 Anthropic，给出了跨会话缓存分叉的前后耗时实测数据。
Geramy 发布 Lemon Seed Engine（LSE，v0.5.4），一个带内核编译与优化引擎的 LLM 推理引擎，可将 GPU 内核经 HIP 或 Loom 编译并缓存复用，通过 HTTP 服务器、CLI 或 C API libLSE 在 AMD GPU 上运行文本模型，支持 Linux、macOS 和 iPadOS。在 R9700 配 Apple M5 Max 上跑 Qwen3.8-27B Q4，DFlash2 投机解码 50.5 tok/s，FlashPrefill 在 32K 预 fill 提速 51–55%，KV 缓存支持 fp32 到 bf8 五种存储格式。项目采用 MIT 许可证，相关项目包括 mac_linuxgpu 驱动和 amdgpu_mtopg 监控工具。
推荐理由：README 附带 R9700 上的 TTFT、解码速度和 FlashPrefill 实测数据，想评估 AMD GPU 本地推理方案的读者可以拿来对比。
RamazanKara 在 GitHub 发布 private-ai-platform-kit v0.29.0，为 Kubernetes 提供自托管 LLM 网关、RAG 和编码 Agent 工作区，兼容 OpenAI 与 Anthropic API，模型可跑在 Ollama 或 vLLM 上。每次模型调用和 Agent 动作都会生成 SHA-256 哈希链审计凭据，可离线验证篡改；Agent 沙箱默认拒绝出网，提示词中的密钥在到达模型前即被拦截。配套论文的基准显示完整治理路径中位数仅增加约 0.3 ms，可用 Docker Compose 在五分钟内试用，Apache-2.0 许可。
推荐理由：原文给出治理路径的开销实测约 0.3 ms 中位数，以及五分钟 Docker 验证流程，便于平台团队自行评估这套自托管方案是否适用。
GitHub 用户 shizukutanaka 发布 nmesh，一个本地 LLM 的硬件自动检测、模型选择、内存估算与运行管理工具，通过 3 条命令安装后提供 OpenAI 兼容 API（http://127.0.0.1:18000/v1）。工具按 VRAM 将硬件分为 T0_CPU 到 T5_SERVER 六档，支持 Ollama、llama.cpp、vLLM、MLX-LM 后端，无 llama.cpp 时可自动获取托管引擎和模型。
推荐理由：作者用实测数据支撑工具的每个判断，包括 KV cache 精度、量化阶梯和 prompt cache 污染的对照测量，方法本身可迁移。
/u/Heretical-Tandem 发布 Ruach Studio 首个 release candidate，围绕 m-a-p 的开源歌曲模型 YuE2 在本地 GPU 上实现写词后自动作曲、演唱与渲染。支持最长 8 分钟整曲，先以 ABC 生成可编辑的旋律与和弦谱，可导入自有乐谱或 MIDI；RTX 3090 上 6:12 歌曲生成耗时 126 s，7:25 歌曲耗时 198 s。内置 bf16 LoRA 训练、坏谱秒级检测、BS-Roformer/htdemucs 分轨、remaster、UniverSR 放大与 Whisper 歌词校验，可导出 REAPER/DAproject 工程文件。
推荐理由：围绕开源歌曲模型 YuE2 搭建的全流程本地音乐工作室，给出了 RTX 3090 上的具体生成耗时和硬件要求，便于评估是否可用。
davidtaylor6130 在 GitHub 开源 Universal Agent Manager（UAM，MIT 协议），一个本地优先的桌面应用，可在统一界面运行 Gemini CLI、Codex CLI、Claude Code CLI、OpenCode CLI 和 GitHub Copilot CLI，提供结构化聊天、嵌入式终端、持久化历史和最多九窗格的分屏布局。应用无云后端和遥测，支持通过 OpenSSH 别名在远程主机执行任务，桌面端支持 macOS 10.15+ 和 Windows 10 1809+，暂无 Linux 桌面版本；当前 macOS 包为 ad hoc 签名、Windows 包未签名，发布说明建议受管环境部署前查阅安全文档。
推荐理由：README 对五个主流编码 CLI 的统一管理能力、权限模式和远程执行边界写得相当具体，想集中管理多个 Agent 终端的读者可以对照评估。
开源项目 Memo 发布，一个完全本地运行的 AI 助手，通过 SQLite + vec0 实现跨会话 RAG 记忆，并用后台观察器学习用户作息。内置 27 个沙箱工具可编辑文件、运行命令、收发 WhatsApp/Telegram 消息，每步需用户批准；支持 16 个模型提供商、Orchestra 多模型协作、桌面吉祥物、智能日历和自托管部署，采用 AGPL-3.0 许可，仓库地址 https://github.com/BugraAkdemir/memo。
推荐理由：原文详细列出了本地 RAG 记忆、习惯观察引擎和沙箱工具执行的具体实现，可作为搭建本地个人助手的参考。
作者 Dmitriy-Romanov 发布 recoveryos-llm 仓库，介绍在 macOS Recovery 最小系统里启动 LLM 服务器的方法：64 GB M1 Max 上 GPU 可用内存从正常系统的 55.4 GB 提升到 57.6 GB，多出约 2.3 GB。方法是用 sysctl iogpu.wired_limit_mb=59000 提高 wired limit，配合 MLX 系服务器（SUSHI）运行 176B MoE 量化模型 Qwen3.8-Flash-Next-Sushi-3bpw（约 49 GB 权重），并给出挂载磁盘、启动服务器、Wi-Fi 连接的完整命令。
推荐理由：作者实测在 Recovery 模式下启动 LLM 服务器可多出约 2.3 GB GPU 内存，并给出具体命令和余量经验值，方法可直接复用。
Red-Weasel 发布 Mach X 推理引擎，一个面向 Intel Arc GPU 的 C++/SYCL 本地 LLM 推理引擎，在两张 Arc Pro B70 上构建调优，不基于 llama.cpp 分支、语言模型引擎不用 PyTorch，提供手写 SYCL 内核、OpenAI 兼容服务器、张量并行多卡执行。
推荐理由：README 给出了各版本在 Arc Pro B70 上的实测数字和测量条件，读者可以据此评估这套自研推理引擎在 Intel Arc 上的实际表现。
EtanHey 发布开源工具 BrainLayer，为 MCP 兼容的 AI Agent 提供跨会话持久化记忆，仅需一个 SQLite 文件、pip install 即可部署，无需云服务或 Docker。它提供 17 个 MCP 工具（默认启动 5 个核心工具），支持语义加关键词混合搜索、知识图谱、约 1 秒实时索引 Claude Code 会话，可为多 Agent 提供共享组织记忆；内置超 Trump 与 archive/supersede 生命周期管理，每个 chunk 由本地或云 LLM 补充 15 个元数据字段，项目采用 Apache 2.0 许可证，属 Golems MCP Agent 生态的一部分。
推荐理由：原文详细给出了本地持久化记忆工具的架构、17 个 MCP 工具定义和与同类方案的对比表，读者可以据此评估是否直接引入自己的 Agent 工作流。
the-banana-tool 在 GitHub 开源了 King Louie，一个跨平台 AI 聊天桌面应用，支持自带 API key 接入 OpenAI、Anthropic、Gemini、Ollama 等 13 家提供商，并内置 Agent 工具、20+ 内置工具、工作流引擎、动态子 Agent、Telegram/Discord/Slack 频道桥接、P2P mesh 组网和 cron 调度。应用支持 Windows、macOS、Linux 安装包，也可通过 king-louie-service 以无 UI 服务模式运行；文档详细说明了密钥管理、频道默认拒绝白名单、git 安全防护，以及 Windows 上 LOCAL SERVICE 共享账户导致 master key 保护不足的已知缺口。
推荐理由：README详细给出了服务模式安装、密钥存放和频道白名单等安全设计，读者可以对照了解自托管Agent桌面的工程取舍。
作者开源 morning-report 项目，用 n8n 唤醒 GPU 主机，本地 LLM agent 抓取 Eventbrite、Meetup、Loft Cinema 等图森活动来源，经二次策划并由 FLUX.1-dev 生成横幅，最终以 HTML 邮件投递，全程无云端 API。项目通过自定义 digest agent 解决了 opencode 默认编码人格的拒绝问题，并详述了 opencode SQLite 锁、orphan 进程、服务账号 PATH 及模型编造数据等故障模式与规避方法。
推荐理由：作者完整公开了用本地模型跑通日报邮件流水线的工程细节，含 refusal 处理和进程退出等实战坑点。
作者发布 the-benchmark，一个零依赖的本地 LLM 服务器基准工具（https://github.com/MrBrunoWolff/the-benchmark），支持任何 OpenAI 兼容的 /v1/chat/completions 端点，包括 LM Studio、Ollama、llama.cpp server 和 vLLM。工具测量 prefill、generation、concurrency 和 agentic 四个阶段，并新增可选的 Studio 本地 UI，可用 Docker 隔离环境运行经独立验证的编码与文件类 agent 任务。
推荐理由：这是作者对自家本地 LLM 基准工具的完整说明，四组实测数据展示了为什么 tok/s 不能预测 agent 任务的实际完成时间。
作者发布开源工具 moni_token，通过读取 Claude Code 本地日志定位限额用量激增的会话与成因（如长对话多次调用工具、闲置后恢复会话、并行会话等），并给出可节省的用量估算。工具不调用任何 LLM、无网络访问、只读日志且不存储对话文本，仪表盘为单个静态 HTML 文件（界面当前为韩文），README 还与 ccusage、Claude Code Usage Monitor、ccflare 做了功能对比。
推荐理由：原文详细给出了基于规则定位 Claude Code 用量激增成因的可复现方法，并与 ccusage 等既有工具做了明确分工对比。
aprilMcintosh 在 GitHub 发布 ai-world，一个完全在本地运行的模拟世界，两名初始村民由语言模型驱动自主思考、交谈、建家、繁衍直至老死，全程无需操控。世界基于 Node 18 运行 node server.js 即可启动，通过 Ollama 加载模型（如 gemma4:e2b，大内存可用 gemma4:12b），支持大小双模型分工，大模型负责对话与创造，小模型处理日常决策并占约 60% 时间。村民拥有七维性格、五层需求金字塔，可发明工具与建筑、在篝火旁立规矩、推举首领，世界每 30 秒存档，数据不离开本机。
推荐理由：README 交代了双模型分工、人格由性格参数先行和全本地部署的做法，对想搭建类似 LLM 沙盘模拟的人有可借鉴的方法。
Braydenh563 在 GitHub 发布 MemoryMap-AI 0.4.1（beta），一个本地优先的笔记应用：输入想法后由本地 AI 自动分类、打标签并建立链接，提问时返回逐句引用笔记来源的答案。AI 通过 Ollama 或任意 OpenAI 兼容本地服务器运行，数据存于单个 SQLite 文件，无账号、无云端、无遥测；无模型时仍可按笔记自身词汇归档和搜索。功能包括 Agent 模式（65 个工具、21 个内置技能）、文档编辑器、白板、思维导图、图谱、时间线、OCR 与扫描 PDF 读取、从 Notion/Obsidian/Evernote/Apple Notes 导入，支持 Windows 安装包、Linux tarball 及源码运行，采用 AGPL v3.0 许可证。
推荐理由：本地优先的笔记应用，AI 归档、问答引用和隐私设计都写清了实现方式，想搭本地知识库的读者可以对照其架构取舍。
alisaadbaig 在 GitHub 发布 local-llm-chat，一个自托管模型的 ChatGPT 风格网页界面，后端为 FastAPI + SQLite，前端无构建步骤。支持把 vLLM、Ollama、llama.cpp、LM Studio、SGLang 服务器注册为后端并合并到一个模型下拉框，可同时向多个模型发消息并排对比流式输出，提供 24 个内置模板、12 条提示词库、附件与 token 预算提示，附 systemd 部署文件与 /api 接口。
推荐理由：原文完整给出了架构、配置和部署步骤，读者可以直接照着把多个 vLLM、Ollama、llama.cpp 服务器接进同一个聊天界面。
/u/bodhi371 用 ISTA-DASLab 的 Qwen3.8-27B-GSQ-RCO IQ3_S 量化（约 11GB），在 12GB VRAM + 8GB RAM 上以 llama.cpp 跑通 Qwen3.8-27B，64k 上下文下解码约 18 tok/sec、prefill 约 500-600 tok/sec。作者称这是其测过的最佳量化，GSQ-RCO 表现接近全精度；能塞下是因为混合架构只需 16/64 层 KV cache，q4_0 缓存下 64k 仅约 1.1GB。
推荐理由：作者给出了在 12GB VRAM 上跑通 Qwen3.8-27B 的完整量化方案与参数，附可复现脚本和实测速度数据。