方向
把模型跑在自己机器上：量化、推理引擎、显存优化、微调与蒸馏，以及让更大的无对齐模型跑得起来的工程进展。
1,573 条精选近 30 天 1,563 条共收录 5,761 条
kirodotdev 发布开源项目 Kiro Crew，一个可本地或远程部署的持久化开发工作区，基于 Apache License 2.0。它把纠错和任务失败沉淀为持久 lessons，从重复模式合成可复用 skills，会话、记忆、计划和任务检查点在 Gateway 重启后保留；支持桌面端、Web、CLI 及 Slack、Discord 等消息渠道，定时任务和无人值守长任务可带检查点自动运行。默认 Agent 运行在 kiro-cli 上，提供一键安装、Docker 镜像和源码构建，遥测默认开启但仅每天一条匿名心跳，可用 kirocrew telemetry disable 关闭。
推荐理由：README 讲清了持久会话、自学习记忆和技能演化的具体机制，读者可以据此判断这套自进化 Agent 工作区的实际能力边界。
basheer421 发布 cc-brain v3，一个为 AI 编码智能体提供长期记忆的后台守护进程，通过 MCP 向 Pi、Claude Code、Hermes 等客户端提供 recall、timeline、remember、correct、forget 等工具。它监控智能体会话，将其蒸馏为原子事实和按时间索引的 episodes，存入 SQLite + FTS5 + 本地嵌入向量的 brain.db，检索用 BM25 与稠密向量 RRF 融合后按新近度、重要性和项目重排，每次返回约 2 KB 排序事实。
推荐理由：作者给出了 v2 页面存储与 v3 事实存储的实测对比，20 个问题的命中数相同但上下文读取量从 1,562 KB 降到约 60 KB。
Eliza Halpern 发布 Saddle，一个确定性执行框架，通过约束 DAG 规划、并行 proof-gated worker 和机器校验门控，把非确定性的本地 LLM 变成可靠的编码工具。
推荐理由：作者给出了带基准数字的实测数据，包括 65 个植入缺陷中 65 个被拒绝、49 个理由正确，读者可据此评估这套审计回路的实际可靠性。
aldinelabs 在 GitHub 开源了桌面端 Agent 工作区 Pine 0.10.0（开发者预览版），采用 AGPL-3.0 协议，面向需要直接处理本地文件的办公场景。
推荐理由：面向非开发者的桌面端 Agent 工作区，文件预览、审批与沙箱机制写得具体，想绕开命令行用 Agent 处理文档的人可以参考。
dea6cat 在 GitHub 发布 ClydeCLI，一个用 Python 编写的终端编码智能体 harness，基于 Claude Code 架构重写，可接入任意云端或本地 LLM 并将其变成 agent。支持 13 家提供商、流式输出、SKILL.md 技能系统、沙箱与权限控制、会话保存与 /rewind 回退；内置 cardShuffle 按 /eval 评分在多个模型间轮换发牌，附带本地决策模型 Laya（Apache 2.0，约 800 MB）检测卡死循环，以及 SkillSpector 扫描外部技能、插件和 MCP 服务器。/models local 可按机器内存筛选 ollama.com、Hugging Face GGUF 和 MLX 模型。
推荐理由：作者用 Python 重写了 Claude Code 架构并开源，支持任意 LLM 接入，还内置本地模型匹配与多模型轮换路由，适合想研究 agent harness 实现的读者。
作者开源 SLM-agent-Lab，用 4 个确定性工具、300 个精确答案任务和 13 类失败分类法评测小型工具调用模型。在 150 任务子集上 Granite 4.0 350M 达 58.0%、Qwen2.5 0.5B 仅 31.3%，多步链式任务两者都接近崩溃（8% 和 4%），OOD 任务使 Granite 从 65.5% 跌至 29.0%。
推荐理由：实测给出 Granite 4.0 350M 与 Qwen2.5 0.5B 的工具调用失败分布，并量化到 int4 时格式保真才是精度下限。
Reddit 用户 /u/premakin 因 Wispr Flow 仅支持 macOS/Windows 且需订阅，自己开发了 Linux 语音输入守护进程 AutoType。
推荐理由：作者自建的 Linux 语音输入工具支持云端与完全离线两种路径，还说明了归一化层如何避免 LLM 破坏口述格式。
EmpirioLabs 发布开放权重决策模型 Aplomb 1，基于 Qwen3.5-4B 并采用 Qwen3-Omni-30B-A3B-Instruct 的音频编码器，将上下文窗口从 262K 扩展到 1M tokens，可在单请求中读取文本、JSON、图像、视频和音频。
推荐理由：官方公布了 Decision Index、MMLU-Pro 等基准分数和长上下文推理耗时，且完整跑分公开可查，便于自行核验。
onprs 在 GitHub 开源 OnprsBench_Core，一个本地优先的 LLM Benchmark Lab，用于长期评测、对比和追踪大语言模型的真实推理能力。
推荐理由：把评测对象定义为模型、渠道、思考强度等组合，并给出程序判题、成本留档与历史重评等可复用的长期评测做法。
Möbius 在 GitHub 开源（MIT 许可），定位为运行 AI 智能体的自托管工作区，将应用、智能体、记忆、技能和文件放在同一环境，支持网页、手机和自有服务器。
推荐理由：开源自托管的 AI 智能体工作区，把记忆、技能、反思和任务调度整合在同一套可自部署的架构里，部署命令完整可复用。
szibis 在 GitHub 发布 MLX-Flash v0.7.0，一个面向 Apple Silicon 的本地推理工具，通过 SSD 流式读取加内存感知缓存。
推荐理由：README 给出了 M3 Max 36GB 上的实测对比，Qwen3-30B 在内存压力下从 3 tok/s 提到 82 tok/s，并如实标注了模型放得下时收益有限的情况。
StreamingBoss 在 GitHub 发布 myharness，一个本地单用户学习用 Agent harness，支持浏览器与 Node 两种后端，默认通过本地 Ollama（qwen3:8b）推理，也可接入 Gemini、OpenAI 和 Claude。它提供主任务编排子任务、工具审批、MCP 服务器接入、git 与文件工具、tokenization 检查和会话导出，默认上限为每子任务 5 分钟、每目标 30 分钟、3 个并发子任务、10 轮和 200 次共享模型请求，可用 MYHARNESS_ORCHESTRATION_LIMITS 覆盖。浏览器版可打包为纯静态站点分发，无需后端；仓库地址 https://github.com/StreamingBoss/myharness。
推荐理由：README 详细披露了编排上限、审批策略和各后端边界，读者可据此评估这个本地 harness 是否适合自己动手学习。
BeinnoLLC 在 GitHub 发布 LLM-Telemetry，把本地 Ollama 主机和托管 API 的 LLM 遥测汇总到一个自包含 HTML 仪表盘，展示实时会话、GPU/CPU/VRAM 负载、按模型和任务的开销、失败类型和 provider→model→task 流向图。
推荐理由：原文完整给出了安装、配置和各命令的用法，读者可以直接照着把本地与托管模型的监控面板跑起来。
openbmb 在 Hugging Face 发布 MiniCPM-V 4.7 35B-A3B 的 GGUF（llama.cpp）量化版，原 BF16 权重在 openbmb/MiniCPM-V-4.7-35B-A3B。该模型是 MiniCPM-V 系列首个 MoE 变体，官方称其借助 Lookahead Expert Scheduling、细粒度分层量化和 DSpark 投机采样，成为首个可无损流畅端侧运行的开源 MoE 模型，在 iPhone 17 Pro Max 上以 3GB 内存达到 13+ tokens/s；Instruct 模式下整体得分高于 Qwen3.6 35B-A3B 且推理时间更短。
推荐理由：官方说明了 LES 预取、分层量化与投机采样如何配合，让 35B-A3B MoE 在 3GB 内存手机上跑到 13+ tokens/s。
开发者 /u/HoujunDev 发布 VoxStage，一个在 Apple Silicon Mac 上本地运行的剧本转语音工作站，代码以 AGPL-3.0 开源在 https://github.com/hera2019/VoxStage。
推荐理由：作者从一次 TTS 静默漏读 17% 文本的事故出发，给出逐句生成加 whisper.cpp 回读校验的可复用流程，并附实测数据。
/u/Kernoriordan 在 16GB RTX 5080 上用 NInfer v1.5（Ubuntu 24.04 经 WSL2）运行 Qwen 3.8 27B，分配 110,592 上下文，编码任务实测中位解码 96.45t/s（最低 84.6、最高 131.7），中位首 token 时间 1.4 秒。
推荐理由：作者给出 32 次真实编码请求的解码速度、TTFT 和显存占用数据，可复现的启动参数对 16GB 显卡本地部署有直接参考。
作者 xueshao1716 在 GitHub 开源了本地优先的个人智能系统元枢，其中的对话角色小语具备固定人格、长期记忆和情绪状态。系统将固定记忆、记忆日志、纠正记忆、关系记忆分开存储，每天 00:00 自动复盘当天会话并更新技能记忆；性格基因共 11 项基线，演化需用户批准且可回滚。
推荐理由：原文给出了记忆分层、每日反思和性格基因演化需批准回滚的具体机制，可了解本地人格系统的实际构造方式。
hertz-ai 在 GitHub 开源 HART OS，一个把本地推理作为系统服务提供的 AI 原生操作系统运行时，通过 llama.cpp 和 GGUF 权重支持 CUDA、ROCm、Metal、Vulkan 和纯 CPU，API 兼容 OpenAI 协议，监听 :6777/v1/chat/completions。
推荐理由：README 把各硬件档位能跑什么、哪些测试还没跑绿、学习代码闭源等局限都写清了，读者可以据此判断这个 AI 原生 OS 的实际边界。
wccch-wzz 在 GitHub 发布 dsh-repetition-guard 插件，用于抑制推理模型在流式输出中陷入的退化重复（如 ok ok ok...）。
推荐理由：原文给出触发阈值、重试机制和实测计数器，读者可以据此评估这个流式输出防重复插件是否值得接入。
canact 是一个 Rust CLI 和库，用数秒真实提示词探测模型与工具 schema，返回能力卡，给出 maxTools、编辑格式、XML fallback 和 JSON 修复层等宿主策略字段。安装方式包括 cargo install canact --locked、brew、Scoop 和 GitHub Releases 预编译包，MSRV 为 Rust 1.95；支持 Ollama、LM Studio、vLLM、OpenAI、xAI、Anthropic、OpenRouter、Groq、Amazon Bedrock 等端点，结果缓存于 probes.（30 天 TTL），并可导出 Aider、Cline 配置或以 stdio MCP server（工具 probe_model）运行。
推荐理由：原文详述了探针套件、宿主策略字段与导出流程，读者可以据此判断该工具如何为不同模型生成工具调用配置。