方向
把模型跑在自己机器上：量化、推理引擎、显存优化、微调与蒸馏，以及让更大的无对齐模型跑得起来的工程进展。
1,573 条精选近 30 天 1,563 条共收录 5,761 条
作者 /u/A-Rahim 发布免费开源 Mac 应用 DigUp，本地运行 Google DeepMind 的 EmbeddingGemma 2，用一句描述搜索文件中的文本、图片、音频和视频内容。应用使用 ggml-org 的 Q8_0 GGUF 模型（865 MB）跑在 llama.cpp Metal 上，搜索只加载约 250 MB 文本编码器，停止输入约十分之一秒出结果，索引峰值低于 2 GB，支持孟加拉语和阿拉伯语搜索，MIT 协议，需 Apple Silicon 和 macOS 14+，仓库为 https://github.com/ARahim3/DigUp。
推荐理由：作者开源了基于 EmbeddingGemma 2 的本地多模态文件搜索 Mac 应用，内存占用、延迟和隐私细节都写得具体，便于本地部署参考。
PostTrainLLM 发布 MIT 协议的 Mac-first LLM 训练工厂、运行时与浏览器 playground，完全本地运行、零云端。项目含 76 个实验的最终处置、18 份保留配方契约、九个学习阶段产出十三件工件，并给出实测结果：单 Mac 上用约 99 条 frontier rollout 蒸馏的 4B 模型在多轮 agentic 工具调用硬门槛上得 100%，与 DeepSeek-V4-pro 持平，高于 Gemma-4-12b-qat 的 83% 和原版 4B 的 75%。作者同时披露了局限，如 v11 到 v12 迁移中域外广度从 60% 回退到 42%，sealed V1 评测 57.1% 的意图路由器被标记为 production reject。
推荐理由：作者整理了完整的实验台账、方法文档与 Mac 单机实测数据，读者可以按配方复现这条本地训练与蒸馏路线。
Bobcat 开源 llm-pool，一个通过单一 API 运行本地与远程大语言模型的 FastAPI 服务，支持模型加载卸载、GPU 状态查询与多模态输入。它适配 CT2、ExLlamaV3、llama_cpp、vLLM、llama_server、trtllm_serve、sglang_serve 及 OpenAI 兼容远程后端，内置按模型的客户端公平调度队列，并在 RTX PRO 6000 上给出 vllm_serve MTP 推测解码约 430+ tok/s 等本地实测吞吐数据。
推荐理由：README 详列多种后端接入方式、公平调度与本地实测吞吐数据，适合自建多模型统一推理服务时参考迁移。
KazKozDev 在 GitHub 开源 book-translator，可基于 Ollama 在本地电脑翻译整本小说，支持 TXT、EPUB、PDF、DOCX 输入和 11 种语言互译。流程分 Prepare、Start、Continue、Review 四步，先全书扫描生成术语表锁死人名地名，分块翻译时携带类型、术语表和上文，改写由独立验证器对照原文校验，质量检查用 chrF、LaBSE、COMET-Kiwi 等指标标记漏译与错误。
推荐理由：原文给出全书术语表、分块校验和质量检查的完整做法，读者可以借此理解用本地模型翻译整本小说时保持人名一致和防漏译的思路。
AtomicChat 在 Hugging Face 发布去对齐版 Qwen-Image-2.1-Turbo 文本编码器 GGUF，将 Qwen3-VL-8B-Instruct 的拒绝方向从权重中投影去除。作为聊天模型，英文拒绝率从 88.9% 降到 1.2%，俄语从 38% 降到 0%，MMLU 保持 77.35% 不变；45 条敏感图像提示词测试中无一翻转，图像输出仅有约 0.088 的 LPIPS 漂移。提供 BF16 到 Q2_K 量化分档，配 stable-diffusion.cpp 的 --llm 参数本地运行，方法基于 Arditi et al. 2024 的单方向拒绝机制研究。
推荐理由：原文完整给出拒绝方向消融方法、拒绝率前后对照和量化分档对画面的影响，可据此自行评估这个去对齐编码器的实际改动幅度。
GitHub 项目 Lotuses-robot/Summarizing 开源，一条个人信息流水线：群通知、随手记、聊天碎片由 AI 消化成带日期、要素和来源的完整事项，整理不了的进存疑库等人工决定。功能包括四段看板、群机器人接入、逐字引文证据链、全量快照修改留痕，SQLite 单文件单机自托管，AI 走 OpenAI 兼容接口可接本地模型，AGPL-3.0 许可。
推荐理由：这是一个可自托管的碎片信息整理工具，证据链和存疑库设计让 AI 整理结果可回溯到原话，适合想本地管理通知流的人参考。
anlord 在 Hugging Face 发布 gemma-4-E2B-it-abliterated 的 GGUF 量化合集，原模型消融拒绝行为后每 100 条有害提示的拒绝数从 99 降到 4。提供 bf16 到 Q4_0 共 12 个量化文件，全部由同一 F16 源用 llama-quantize 转换，8 GB 显存的 GPU 可完整容纳 Q4_K_M 至 Q8_0，仅含文本塔，多模态推理需用父仓库 safetensors，许可沿用 Gemma 条款。
推荐理由：原文给出拒绝率前后对比和各量化档位的实测说明，读者可按显存预算直接挑选合适档位。
cookies55 在 Hugging Face 发布了 Qwen3.5-9B 的去审查微调版，用 Unsloth 在本地硬件以 Claude 4.6 大型蒸馏数据集训练，经 Heretic 消融后拒绝率从 100/100 降到 6/100，KL 散度为 0.0793。该版本为 INSTRUCT 模式并修改了 jinja 模板，图像输入经测试可用，视频部分未测试，建议最低 q4ks（非 imatrix）或 IQ3S（imatrix）量化。
推荐理由：作者给出了消融后的 KL 散度和拒绝率前后对比，以及七项基准分数变化，读者可自行判断去对齐的代价。
作者花了约一天半写出非官方 MLX 引擎 strata-mlx，直接读取 Strata 的 GGUF 文件、不改权重，在 Mac 上运行 Qwen3.8-Flash-Next 这个 125B 参数 MoE 模型。内存不足以装下整个模型时按需从 SSD 读取专家；模拟测试中 66 GB 的 Q2_0 文件在 16 GB、24 GB、32 GB 内存档位分别跑出 6–7、19–23、28–47 tokens/秒，提示词读取约 273–287 tokens/秒。代码与实验日志在 https://github.com/yibie/strata-mlx。
推荐理由：作者用限内存实测给出不同 Mac 内存档位的运行速度数据，对想在 Mac 上跑超内存大模型的人有参考价值。
作者发布了 Qwen3.8-27B-Uncensored 的 GGUF 量化版本（IQ2_M 到 Q8_0），用 Heretic 移除拒绝方向，保留 MTP 头，拒绝行为显著减少但未消除，从 100 个有害提示中的 98 个降至 12 个。权重编辑带来约 0.043 的困惑度增加（相对约 0.7%），MMLU、ARC-Challenge、HellaSwag、Winogrande 四项基准平均下降 0.5 分且均在标准误内。模型卡同时给出 imatrix、自建低比特量化方法和 MTP 投机解码实测（n_max 1 时约 1.19x-1.28x 加速）。
推荐理由：作者给出了 Heretic 消融方法、拒绝率从 98/100 降到 12/100 以及困惑度和基准的前后对照数据，可以据此判断权重编辑的实际代价。
thetahealth 在 GitHub 开源了 Mirobody，一个自托管 AI 健康数据引擎，将化验报告、可穿戴设备和基因文件整合为标准化记录，每项数值可追溯至原始文件。支持 Docker 一键部署加一个模型 key（OpenRouter、OpenAI、Gemini、Anthropic、DeepSeek 等），也可通过 llama.cpp 纯本地运行，无需 GPU 时首答约 2–3 分钟（Apple 芯片笔记本原生 llama-server 约 30 秒）。
推荐理由：项目给出了完整的部署路径、本地模型内存与耗时数字和术语解析测试通过数，读者可以照此评估自托管健康数据引擎的落地成本。
Gugo 是一个开源免费的本地优先 Windows 桌面 Agent，通过 Electron 应用提供工具调用、子代理、Goal 计划审批、记忆中心与知识图谱，模型端点由用户自行配置，项目本身不内置任何计费系统。工具链覆盖文件、Shell、Git、图片、音视频（需 ffmpeg）、PDF 和归档处理，支持 MCP 客户端与服务端；README 明确说明默认 host Shell 模式的信任边界、Docker 隔离配置、APPROVAL_MODE 审批策略及 AES-256-GCM 凭据加密等安全设计。
推荐理由：README 详细交代了审批门控、Shell 沙箱与凭据加密等安全边界，读者可据此评估这个本地 Agent 的实际部署风险。
GitHub 用户 Raja0sama 发布 openbrain 项目，用固定的 Qwen 2.5 7B 负责对话、3B 负责判断，知识全部存在 SQLite 记忆图中，通过 Ollama 在本地运行。模型只回答被教过的内容，超出记忆时如实拒绝，并可通过 teacher.py 借用 Claude Code 登录向前沿模型提问补缺，每天上限 20 次、全部留日志且不发送个人内容；人格从经历中形成，叠在一个不可被对话侵蚀的固定价值核心上。自建基准中直接召回 8/8、多跳 5/6、诚实拒绝 6/6，Napoleon 泄漏控制测试中底座 7B 答对 5 题、该系统全部拒绝；项目以 Apache-2.0 协议开源。
推荐理由：开源仓库给出了架构拆解和基准数字，包括泄漏控制测试，读者可以据此评估固定小模型加外部记忆这条路线的可行边界。
harrytyp 在 GitHub 开源 free-llm-tracker，自动索引免费 LLM API 模型，目前收录 531 个模型、81 个 Provider，其中 63 个有实测 t/s，每 6 小时经 GitHub Actions 更新并发布到 GitHub Pages。数据源包括 OmniRoute 免费列表、OpenRouter /api/v1/models 与 llm-benchmarks.com，同仓库还附带一个仅用 Python 标准库的 llm-mini-router 网关，提供 OpenAI 兼容端点，可按 Intelligence 或 t/s 自动选模型并在限流时回退。
推荐理由：一个每6小时自动更新的免费 LLM API 追踪器，汇总531个模型并附实测速度与路由网关，适合本地部署参考。
sjoe1244 发布了 llmfan46 的 gemma-4-31B-it-uncensored-heretic 的 ExLlamaV3 4.00bpw-h4-vb4 量化版，权重、head、视觉塔和 KV cache 均为 4-bit，在单张 RTX 4090 上实现约 194K token 上下文池（视觉开启），写入速度 45 tok/s（32K prompt 时 41.9 tok/s）。量化 KL mean 0.0262 与 4.00bpw-h6 相同，困惑度 16.687（BF16 源为 16.586）；仅支持 TabbyAPI 或 ExLlamaV3，Apache 2.0 许可，去对齐工作出自 llmfan46。
推荐理由：原文给出了完整的 KL、困惑度、VRAM 和速度实测数据，读者可以据此判断这个 4-bit 量化在一卡上换取超长上下文的代价。
Pasindu Ranasinghe 在 GitHub 开源了 Model Fit Explorer，一款跨平台桌面应用，自动检测 Windows、macOS 和 Linux 硬件，估算 430 多个 Ollama 模型变体在 GPU VRAM、系统内存或统一内存中的占用，并给出从 Fully GPU 到 Cannot fit 的七档适配分类。估算包含权重、KV cache、缓冲区等项，不做虚构 tok/s 数字，可用 Ollama 实测对比，支持离线使用，无遥测，MIT 许可，从 Releases 下载 .dmg、.msi/.exe、.AppImage/.deb 等安装包。
推荐理由：原文给出了显存的估算公式与七档适配分类，读者可以据此判断本地能否跑动某个模型，而不是只拿到一个笼统结论。
hanlinwenyuan 发布开源工具 hlwy-ai-checker，用于检查第三方 AI API 是否掺假及渠道一致性，可完全本地部署以保护 API Key 与测试数据。原理是利用大模型被要求随机选数时的统计偏差形成指纹，先以官方 API key 标定，再测试第三方渠道并比较指纹相似度；作者说明这属于统计检测，结果受模型版本、采样参数等因素影响，不能作为商业纠纷的法律或事实依据。
推荐理由：原文讲清了用随机采样统计指纹检测第三方 API 渠道真伪的原理和使用流程，方法可复现且可本地部署。
该仓库发布了一套在 16GB Apple Silicon iMac/Mac mini 上完全本地运行 Hermes Agent 的方案，用 Qwen3 8B Q4_K_M 配 64K 上下文与 8-bit KV cache，无需 API 密钥、无云端。Hermes 硬性要求至少 64000 token 上下文，默认 f16 下 64K 注意力内存达 9.00 GiB 不可用，改用 q8_0 后降至 4.78 GiB，llama-server 总占用约 10.47 GiB，剩余约 5.53 GiB。
推荐理由：给出了16GB统一内存跑64K上下文的实测内存账本和完整部署脚本，方法可直接复用到类似的本地Agent配置。
Sentient 在 GitHub 开源 v3 alpha 版，是一个运行在用户自己电脑上的个人助手，可执行长任务、按计划或触发条件运行，并支持语音和 Telegram 交互。它会记住用户偏好并构建可修正的用户画像，每晚合并重复记忆、解决冲突并记录变更日志；支持 Ollama 本地模型或自备云模型密钥，数据存于单个 SQLite 文件，本地模型下数据不出本机，项目采用 GNU AGPL v3 许可。
推荐理由：原文给出了本地个人助手的记忆整理机制与架构说明，每晚合并重复记忆并解决冲突，可了解本地化长期记忆的做法。
OnTechnologyCo 开源了 LLM_Tools，一个 Windows 桌面应用，通过 ConPTY 挂接真实 CLI 并用 xterm.js 渲染，让 Claude Code CLI、OpenAI Codex CLI 和 Google Antigravity CLI 以标签页形式并行使用，斜杠命令、MCP 和技能与原终端一致。应用支持每标签选择 CLI 与工作文件夹、恢复历史会话、多账号登录与限额显示，并可在不同 CLI 和账号间通过转录重写移交对话上下文；代码采用 MIT 许可证，README 附有大量实测验证记录和尚未验证事项。
推荐理由：作者用 ConPTY 接真实 CLI 而非模拟终端，并给出跨 CLI 会话交接与逐项实测记录，方案细节可直接参考。