方向
把模型跑在自己机器上：量化、推理引擎、显存优化、微调与蒸馏，以及让更大的无对齐模型跑得起来的工程进展。
1,568 条精选近 30 天 1,558 条共收录 5,749 条
hotdogs 在 Hugging Face 发布 Ternary-Bonsai-2-27B-Abliterated-swift-cap-PQ2_0-MTP，基于 BoldingBuilds 的去拒绝 v2 版，以 0.4 scale 合并 Swift 去对齐与 ThinkingCap 省 token 推理两个 SVD-LoRA。模型采用 PQ2_0 三元量化（约2.13 bits/weight），27.3B 参数仅约 7.6 GB，支持 262,144 token 上下文、视觉输入和 MTP 投机解码。仅能通过 PrismML 的 llama.cpp fork 加载，主线程 llama.cpp、Ollama 和 LM Studio 均不支持。
推荐理由：原文给出abliteration的张数、MMLU损失和各LoRA保留能量，合并构建的局限与适用范围都写得很透明。
Rampa 是开源命令行 WCAG 无障碍检查器，先用 axe-core 处理规则能判定的问题，再把语义残留按 WCAG 2.1 准则逐条交给语言模型判断，覆盖 alt 文本、页面标题、链接目的、标签可见性等 9 项准则。每条结论必须引用页面上真实存在的节点和文本，否则被丢弃；可经 Ollama 本地模型或主流服务商运行，支持 SARIF、CI、Playwright 和 MCP，并附 W3C ACT 测试用例上的评估数据。
推荐理由：开源 CLI 用 axe-core 加模型判断补足规则无法判定语义的残留，并以 W3C ACT 测试用例给出每条准则的实测数据。
murai1998 在 GitHub 发布 LocalLLM，一个完全本地运行的开源 AI 助手平台，基于 Gemma 4 12B（GGUF，llama.cpp 推理），支持多模态聊天、文档 OCR、语音转文字、实时语音翻译和 LangGraph 工具调用智能体。项目采用单一 FastAPI 网关暴露 OpenAI 兼容 API，支持 CUDA 与 Apple Silicon GPU 加速，48 GB Apple Silicon Mac 可换用 Gemma 4 31B 或 Qwen3.8-27B 预设（M5 Pro 上约 13–15 tok/s）；唯一非本地功能是可选的 Gemini 3.5 Live Translate 对比引擎，需自备 API key。
推荐理由：README 详细给出了网关架构、量化配置和多智能体设计，想自建本地 AI 平台的读者可以参考其单网关和提供方抽象做法。
作者将 HauhauCS 发布的无审查 Qwen3.8-27B（GGUF 格式）转换为自研 C++/CUDA 推理引擎 NInfer 的格式，在单张 4090 上跑出 262K 全原生上下文、约 130 tok/s 解码速度（MTP3，70.8% 接受率）、9K 提示词下 3,591 tok/s 预填充，Perplexity 与官方产物差距在 1.3% 以内，视觉和工具调用仍可用，采用 E8 4Bit 量化。转换器与说明见 https://github.com/T-Crypt/ninfer-4090/pull/4，仓库为 ninfer。
推荐理由：作者给出转换前后速度、上下文和困惑度的对照数字，读者可据此评估自研推理格式在量化去对齐模型上的可用性。
Kizuna AI Lab 在 GitHub 发布开源实时双向语音翻译应用 Sokuji，提供桌面端与浏览器扩展两种形态，可接入 Zoom、Teams、Meet、Discord 等应用。工具支持 Local Inference 模式，基于 WASM 与 WebGPU 在设备端完成 ASR、翻译和 TTS，无需 API key、不依赖独立 GPU，完全离线；内置 44 个 ASR 模型、75 个翻译模型、137 个 TTS 模型，覆盖 99+ 识别语言、55+ 翻译语言和 53 种语音合成语言。
推荐理由：开源实时双向语音翻译工具，本地推理与多家云服务商可切换，需要跨语言会议又在意隐私的读者可以关注。
Lampost-123 在 GitHub 发布 AI Write，一款免费的 Windows 10/11 64 位长篇 AI 写作应用。它为每个故事维护角色、地点、规则和情节线索的记忆，在每次生成前注入当前场景所需内容，场景完成后自动更新记忆且每次改动可撤销；写作时实时检查拼写、事实矛盾和角色不应知晓的信息。支持 OpenRouter、DeepSeek 或本地 LM Studio/Ollama 模型，朗读与听写语音本地运行，故事数据保存在本地 Documents 文件夹，应用无账号无追踪，朗读语音需 NVIDIA RTX 20 系及以上 8 GB 显存。
推荐理由：这款写作工具把故事记忆和一致性检查做进本地应用，展示了长篇创作里维持角色与情节连续性的一种可落地做法。
gpupool 是一个基于 llama.cpp 的控制平面，能把分散在多台机器上的空闲 VRAM 池化，按层拆分模型跨 GPU 和服务器部署，并对外提供单个 OpenAI 兼容 URL。它支持多模型优先级与抢占、KV cache 量化共享、投机解码、Hugging Face 到 GGUF 的内置转换，估计器与已发布的 Q4_K_M GGUF 文件体积误差在 4% 以内；文档提醒 RPC 端口无认证，需在私网或 VPN 内使用。
推荐理由：gpupool 把多台机器的空闲 VRAM 池化成一个 OpenAI 兼容端点，文档给出具体放置方案和显存估算精度，便于评估能否复用自家零散 GPU。
uwa 是一个 Rust 编写的本地桥接工具，通过 CDP 驱动已登录 ChatGPT、Claude、Gemini、DeepSeek 等网页版的 Chromium，把会话暴露为标准 OpenAI/Anthropic 兼容接口，无需 API 密钥。支持 chromiumoxide 与 nodriver 双后端、网络优先 SSE 抽取加 DOM 回退、OOPIF 跨域 iframe 处理、MCP 双向集成、TOML 热重载与 Prometheus 指标，内置 10 多个站点 provider，MIT 协议发布，作者声明仅限教育研究用途。
推荐理由：原文给出了完整的架构、部署步骤和双后端设计，读者可以据此评估这套 Rust 桥接方案在本地复用浏览器登录态的可行性。
toroc07 在 GitHub 发布 ai-jarvis-assistant，一个全本地运行的 Windows 西班牙语语音助手，用 Ollama 跑 qwen3:8b，语音识别、合成和声纹验证都在本地完成，唯一可选外连是用户自配的 Claude API。项目重点在安全设计：所有操作经 guard.py 按 policy.yaml 白名单校验，删除进回收目录，支持 Ctrl+Alt+J 紧急停机且重启后仍保持停止；声纹用 ECAPA-TDNN 支持最多三名用户，两阶段验证。作者还给出实测笔记，如 Qwen3 4B 虽达 14.4 tok/s 但会倾倒内部独白，8B 为 10.7 tok/s，首次工具调用约 9 秒预热，常规件对话约 5 秒首词、带工具 12-16 秒，含 286 项测试。
推荐理由：原文详细公开了权限守卫、策略白名单和紧急停机的设计与实测数据，可迁移到其他本地 Agent 的安全与工程决策。
tyama-ds 发布了 agent-workbench，一个在 Windows 11 上运行的智能体工作应用，供 Local LLM、OpenAI、Anthropic 使用，PM 创建作業者并分配角色，通过邮件协作汇总结果，支持同 API 角色团队和异 API 混成团队。项目仅提供源码版（MIT License），不内置 Python，需已授权的 64-bit CPython 3.11～3.13，通过 Setup.cmd / Launch.cmd 启动，默认端口 8818；从 0.1.1.dev23 起停止了 Python 内置版的制作与分发。
推荐理由：这是一个支持 Local、OpenAI、Anthropic 混成团队的 Windows 智能体工作台，权限、预算与文件安全的实现细节写得相当具体，适合关心本地部署与多智能体协作的人参考。
AndrewDryga 开源了 co:op，一个 Go 编写的沙箱工具，在容器内以关闭权限提示的方式运行 Claude Code、Codex、Gemini CLI 和 Grok。容器只挂载项目目录，SSH 密钥、云登录和 .env 均不进入盒内，过滤网络只放行 AI 提供商和已批准域名；提供任务队列 coop loop、fork 评审、多账号轮换、评估和 cosign 签名校验，支持 macOS 和 Linux（Docker），MIT 许可。
推荐理由：README 讲清了沙箱隔离、密钥防护、过滤网络和任务队列的具体机制，读者可以据此评估无人值守跑编码智能体的可行方案。
作者在 GitHub 发布 autoclaim-adjudicator，一个车险物理损失理赔的确定性多智能体工作流，由代码控制流程和金额、LLM 负责判断与文案，独立校验并只用免费额度模型（Groq、Google AI Studio、Ollama 本地模型）。锁定测试 300 条理赔中 55.3% 自动决定、其中 97.6% 正确；欺诈两段式筛查以 10% 审查率拦截 78.3% 真实欺诈（ROC-AUC 0.860/0.955）；用 Qwen3-4B QLoRA 微调本地 judge 后捕获率 30% 升至 95%。作者提醒多数理赔为模拟数据，judge 和微调结果来自合成测试用例，详见 limitations.md。
推荐理由：作者给出了车险理赔 harness 的完整实测数据与消融结果，可看到确定性代码与 LLM 分工在具体业务里的落地方式。
Cactus Compute 发布面向手机、可穿戴、机器人、智能家居和微控制器的端侧基础模型 Needle 3，整个模型是单个 8-29 MB 二进制文件，权重和各平台引擎已在 Hugging Face 开放。模型基于 Laddered Simple Attention Network，2 到 20 层每档深度都是可部署模型，在移动端工具调用上以牺牲通用对话能力换取超过 10 倍体积模型的表现，并支持结构化抽取、文本嵌入和同容器的语音转写模型 Whistle（16.9 MB，支持 7 种语言）。提供 needle finetune 本地 LoRA 微调与平台微调两种方式，DroidCall 微调使 4 层以上的子网络在 29M 参数起通过 DeepSeek V4 Flash。
推荐理由：Cactus 官方开源了面向微型设备的 Needle 3，并给出与 Whisper、DeepSeek 等模型的基准对比和完整微调部署路径，适合本地部署场景参考。
hwdsl2 在 GitHub 发布 docker-mcp-gateway 镜像，基于 MCPHub 加 Caddy 鉴权代理，可在单一 HTTP 端点后以 Bearer token 认证运行多个 MCP 工具服务器。首次启动自动生成 API key，支持 /mcp 路径按名称访问各服务器，内置 fetch、filesystem、GitHub、Brave Search、Git、PostgreSQL、memory、sequential-thinking 服务器，支持 Streamable HTTP 与 SSE 传输，提供 Web 仪表盘、env 文件配置、LiteLLM 集成与 docker-compose 示例，支持 linux/amd64 和 linux/arm64，MIT 许可证。
推荐理由：README 提供了从启动命令到反代 HTTPS 的完整自托管 MCP 网关配置方法，想自建多服务器 MCP 端点的读者可以直接照着部署。
ashwinvijayakumar24 在 GitHub 开源 llm_serving_layer，一个从零构建的 LLM 服务系统，在单请求 Llama 3.2 1B 推理引擎之上实现 paged KV cache、continuous batching、内存压力下的 preemption、radix prefix cache 与跨 GPU 副本的 prefix-aware routing。
推荐理由：项目公开了五项声明的完整实测数据，包括未达成项的失败测量与七个失效案例诊断，方法与结果都可复现追溯。
GD4AI 在 GitHub 发布 Obsidian 插件 obsidian-llm-wiki，将 Karpathy 的 LLM Wiki 想法做成一键插件，用 LLM 从笔记中提取实体和概念生成交联 wiki 页面，不改写原始笔记。检索不用向量嵌入，而是基于 [[wiki-link]] 图的 5 级级联加 Monte Carlo Personalized PageRank，项目自有语料上 PPR @5 为 27.1% 对纯 kNN 基线 24.1%；插件支持 16+ 家 LLM 提供商、11 种界面与输出语言、v1.27.0 起内置 MinerU 后端支持 PDF、图片和 Office 摄取，可经 Ollama 或 LM Studio 完全本地运行，无后端无追踪。
推荐理由：原文详细说明了用 Personalized PageRank 走 wiki-link 图替代向量 RAG 的取舍与实测数字，可作为个人知识库工具选型参考。
Maximilian228 在 Hugging Face 发布了 huihui-ai 消融版 Qwen3.8-Flash-Next 的 NVFP4 量化包，全部路由专家用 GPTQ（而非 RTN）从 BF16 检查点量化，可在单张 RTX 20-50 显卡（12 GB 以上显存、64 GB 以上内存）上通过 Strata NVFP4 运行 125B 混合 MoE。在留出 token 上，GPTQ 的加权相对误差为 RTN 的 33.5%，48 层全部优于 RTN；实测 182.8 tok/s 解码、2810 tok/s prefill，解码成本与 RTN 持平。
推荐理由：原文给出完整的 GPTQ 量化方法和 48 层误差对比数据，读者可以据此评估 NVFP4 消融模型的精度与部署成本。
PocketLLM 项目通过 JNI/NDK 调用 llama.cpp 并支持 Vulkan GPU 卸载，在 Android 上本地运行 GGUF 模型，暴露 OpenAI 兼容 API 供本机和局域网客户端使用。v0.3.0 新增基于 GBNF 语法约束的 Agent 工具调用，保证小模型输出的工具调用格式合法，并提供共享同一核心引擎的桌面 JVM CLI（chat/serve/agent）。项目还内置 Hugging Face 模型下载、断点续传、聊天界面与 API key 管理；已知限制包括单模型串行推理、当前仅打包 arm64-v8a，且小于 500M 的模型参数内容质量较差。
推荐理由：开源项目直接在 Android 上用 llama.cpp 跑 GGUF 并提供 OpenAI 兼容 API，还给出采样时 GBNF 约束小模型工具调用格式的做法。
wlejon 在 GitHub 发布 brolm，一个纯 C++20 的语言与文本模型推理库，是 brodiffusion 的文本侧对应物，基于 brotensor 和 bromath 构建。它支持编码器嵌入与解码器生成，内置 CLIP、T5、Qwen3、Qwen3.5-VL、Qwen3-VL、Mistral 3.1、Gemma-2、Whisper、NLLB-200 等模型组件，后端覆盖 CPU（FP32）、CUDA、Metal 和 Vulkan（FP16/BF16），可直接加载 safetensors 与 GGUF 权重（量化权重需 GPU 后端）。MIT 协议，Pre-1.0 版本，CI 只覆盖 CPU 构建且自包含测试通过，绿色构建不表示模型输出正确。
推荐理由：README 讲清了纯 C++20 推理库的组件构成、支持的模型族与 GGUF 量化加载方式，并说明 CI 绿色并不代表模型输出正确。
Maximilian228 在 Hugging Face 发布 OrcaRouter Qwen3.8-Flash-Next-Uncensored 的 NVFP4 (GPTQ) 量化包，供 Strata NVFP4 引擎在单张 12 GB 以上 VRAM 的 RTX 20-50 显卡加 64 GB 内存上运行这个 125B 混合 MoE 模型。模型为 abliterated 去对齐微调，权重中移除了拒绝方向，不拒绝有害请求。作者用 GPTQ 从 BF16 checkpoint 重量化全部路由专家， held-out 误差为 ModelOpt RTN 量化的 33.4%，48 层全部低于 RTN，解码速度与 ModelOpt 包基本持平（约 185.6 对 191.6 tok/s）。
推荐理由：作者给出完整的 GPTQ 重量化方法和逐层误差对比，NVFP4 去对齐版相对 ModelOpt 量化把误差降到约三分之一。