内容形态
开源仓库与工具：人格工程、记忆系统、去对齐脚本、推理与微调工具链。
2,050 条精选近 30 天 2,043 条共收录 8,517 条
/u/HauntingMoment 在 r/LocalLLaMA 报告，单工具的裸 IPython harness 在 Terminal-Bench Lite 上用 Qwen3.5-9B 追平了 QwenCode、OpenHands、opencode、Pi 等更重的生产级 harness。测试发现小模型 agent 的大部分随机性来自环境噪声而非模型本身，各 harness 约 25-30% 的调用用于读文件，工具使用更多反映系统提示词而非模型；OpenHands 因默认硬编码 temperature=0.0 最稳定，但同一任务 20 次试验的通过率仍在不同任务间大幅波动。
推荐理由：作者用多 harness 对照实测定位了小模型 agent 波动的来源，并给出约 40 行正则归一化工具输出这一可复用的降噪方法。
tashfeenahmed 发布 FreeLLMAPI，将 34 家提供商的 635 个免费模型端点聚合为单一 OpenAI 兼容 /v1 API，宣称合计约每月 74 亿 token 免费推理容量。路由器按速度、能力、可靠性评分选模型，429/5xx 时自动冷却并切换下一家，按 key 跟踪 RPM/RPD/TPM/TPD 以不超各免费档上限；密钥 AES-256-GCM 加密存于本地 SQLite，目录每日两次从 freellmapi.co 拉取签名更新，免费版滞后 30 天，Premium 实时目录 $19/年。
推荐理由：原文给出了聚合 34 家免费档位的具体规模和路由、限流跟踪机制，读者可以据此评估自建免费推理池的可行性。
kuchris 在 GitHub 发布 openinterview，面向 Apple Silicon Mac 的本地低延迟语音识别与 AI 面试练习工具。支持 MLX Whisper、NVIDIA Parakeet 或 Apple SpeechAnalyzer 在设备上转写通话双方，最终延迟约 1–2 秒，音频不出本机；可识别技术与行为面试问题并忽略寒暄，通过 OpenCode（如 DeepSeek）或任意 OpenAI 兼容服务生成可口头表达的简短答案，并按导入的 CV 和目标岗位定制。支持英语、日语、简繁中文和粤语，会话可本地保存回放，需 macOS 14.2+。
推荐理由：开源的 macOS 面试练习工具，本地转写双方通话并按 CV 生成口头答案，隐私设计和延迟数据写得具体。
GitHub 项目 kvscope 发布，包含一个 KV cache 感知的 LLM 推理网关和它的数字孪生调度模拟器，网关订阅 vLLM 的 KV 事件、维护全局前缀索引并按策略路由请求，孪生用网关记录的真实流量做影子评估、保真度检查和容量规划，再通过控制接口热切换策略。实测在 RTX 5070 上双 Qwen3-0.6B 实例中，从 round_robin 切到 prefix_affinity 后前缀命中从 78.0% 升至 87.6%，TTFT p90 从 15.6 ms 降到 9.9 ms；作者同时指出模拟器可比较策略与命中率，但绝对延迟低估 2 到 4 倍，不能用于预测真实延迟。
推荐理由：作者给出模拟器与真实集群在命中率和策略排序上的对照数据，也如实标注绝对延迟低估 2 到 4 倍的边界。
CFD 研究者 Stefano Zaghi 开源 llm-wiki，让 LLM 作为有状态编译器把论文、书籍和网页一次性编译成 lint 过、交叉链接、记录矛盾的 wiki，格式为 Google Open Knowledge Format v0.1。不依赖向量数据库和嵌入检索，每个概念一页、统一符号表、每条论断标注出处并区分已发表文献与假设，矛盾按来源记录而非按新旧裁决。
推荐理由：仓库把 LLM 当有状态编译器一次性整理科学文献，给出 OKF 格式、矛盾记录协议和可复用的建库流程。
Lautloserspieler 在 GitHub 发布 llm-server-benchmark，一个面向本地 LLM 推理的可复现基准测试框架，支持 llama.cpp 原生基准与 Docker 化 vLLM 后端，TGI 和 Ollama 处于未发布的 Beta 状态。框架在记录性能结果的同时保存硬件、驱动、后端、模型文件、量化、基准设置与 NVML/rocm-smi 遥测数据，提供 TTFT 与并发压测、长上下文 KV cache 基准、OOM 与多租户等压力测试，输出 HTML/PDF/CSV/JSON 报告，并通过配置指纹、模型 sha256 和 llama-bench 二进制哈希支持带严格校验的跨机器比较。
推荐理由：这个基准框架把硬件、驱动、量化、遥测等条件与性能结果一起记录，并用严格模式校验跨机器比较的可比性。
yjh051108 发布 fengcha-2.0，一个 DeepSeek Harness 预设，在环境说明首尾各插入一句硬性规定，使思考块中「我们」类词占比从 3% 升到 81%。消融显示只放结尾仅 0.56、氛围描述 0.13、改写 13000 字系统提示词几乎无效，模型只认可逐条检查的硬规定。作者明确未测正确率、代码质量、延迟与费用，实验仅在 deepseek-v4.1-flash 上进行，位置实验每组仅 10 个样本。仓库含 50 多个可复跑脚本、脱敏数据与 8 张图表，Apache-2.0 许可。
推荐理由：仓库给出位置与措辞的消融数据和失败记录，读者可以据此判断这类思考口吻干预到底靠什么起作用。
Sitor AI 发布开源工具 Frametell（帧言），输入一句话或笔记、PDF、幻灯片等材料即可生成带字幕的 1080p 讲解视频。导演 Agent 先产出分镜供用户确认，再写解说词、用 ElevenLabs 或火山引擎 TTS 配音、逐页绘制并自检，示例成片 72 秒耗时 12 分 52 秒、成本 $1.59。支持 macOS（Apple Silicon）本地运行，兼容 Anthropic、OpenAI、Google、DeepSeek、OpenRouter 等 API，采用 AGPL-3.0 许可。
推荐理由：原文给出了实际运行的成本与耗时数据，并说明其通过驱动成熟视频引擎而非从零生成来稳定产出，方法可复用。
intrusive-memory 开源 SwiftVinetas，可在 Apple Silicon 上完全本地运行，通过 MLX 上的 FLUX.2 Klein 4B 和 PixArt-Sigma XL 从文本提示生成连续漫画分格，并提供 Swift 库和 vinetas CLI。Klein 4B 约每格 26 秒、需 16 GB 内存，PixArt-Sigma XL 约 10 秒、需 8 GB；支持 LoRA 风格、最多 3 张参考图保持角色一致性、YAML 批量提示词和从剧本解析 GLOSA <shot> 生成 storyboard。v0.23.0 加入九个按用户自己 API key 计费的云端模型，与本地引擎通过 EngineRouter 并存；所有生成的 PNG 都内嵌元数据。
推荐理由：这个仓库给出了在 Apple Silicon 上纯本地生成连续漫画分格的完整方案，含内存占用与每格生成耗时，方法可迁移。
Zekun Shi 发布 FreeSolo 架构、论文（arXiv 2610.17191）与 341M/743M 研究用 base 模型权重，通过学习 chunk mean keys 支持检索、剪枝与层级摘要，RoPE 保留在局部窗口。FS-L 为线性时间、FS-B 为超线性次二次复杂度，两者共享一套 checkpoint 格式；模型在 4k 上下文训练，8k 及以上零样本外推，可在 262k（64 倍训练长度）检索单针而无需长上下文微调。
推荐理由：作者同时给出 RULER 准确率与 A100 实测吞吐显存表，读者可按复杂度和长度逐项对比各稀疏注意力方案。
LingLingDayo 在 GitHub 发布 ai-detector，一款检测大语言模型 API 真实性的桌面客户端，用于识别中转服务商掺水、降级或货不对板的行为。内置两种检测方式：模型测试向目标 API 发送 3 道挑战题，用 Hellinger 距离与多维特征频数算法比对 ModelTrace 基准模型库的统计学指纹；鹈鹕测试让模型生成骑自行车的鹈鹕 SVG 代码，直观检验是否降智或混用小模型。基于 Tauri v2 与 Vue 3 构建，支持多套 API 端点配置、Top 匹配候选排名与置信度展示、题库一键同步，遵循 MIT License。
推荐理由：把 ModelTrace 指纹题库与鹈鹕 SVG 测试打包成桌面客户端，为验证中转 API 是否货不对板提供了可直接上手的检测路径。
开发者 /u/siliconlotus 发布了 SillyTavern 扩展 WorldsApart，用相关性评分替代 ST 核心的 World Info 条目选择机制，GitHub 地址为 https://github.com/siliconlotus/st-worldsapart。作者自测 92 个分级场景显示，在 10k 预算下实际进入提示词内容的 F2 得分从 0.27 提升到 0.51。
推荐理由：作者给出91个分级场景下相关性得分从0.27升到0.51的实测数据，可借此判断这个 ST lorebook 替换系统值不值得装。
LogRaam 在 GitHub 发布 NpcMemoryService，一个把大语言模型接入游戏、让 NPC 进行真实对话并跨整个战役记住对话的 modding SDK。记忆在每轮对话注入模型，角色能对玩家数天甚至数月游戏时间前的行为作出反应；核心库面向 .NET Standard 2.0，仅依赖 Newtonsoft.Json，不依赖任何游戏引擎，最初为 Bannerlord mod Calradia Remembers 构建。
推荐理由：原文给出了完整的接入流程、响应协议和记忆压缩机制，读者可以照此把 LLM 对话与跨会话记忆接进自己的游戏。
quintonmiller 发布 Tailored AI（TAI），一个模块化的个人 Agent 运行框架，通过 tai CLI 安装后即可启动 HTTP API、内置 UI、cron 与 autopilot，并接入 Discord 或 Slack。各运行面（模型、工具、Agent、渠道、任务后端等）均有接口与注册机制可替换，插件为普通 npm 包；支持 Ollama 等 OpenAI 兼容本地模型，默认绑定 127.0.0.1:3000，提供 Docker 多架构镜像（amd64+arm64），本地 LLM 实测含 devstral-small-2（约15GB）与 qwen3-coder:30b（约18GB）。仓库地址：https://github.com/quintonmiller/tailored-ai
推荐理由：README 给出了从安装到 Docker 自托管的完整命令和配置示例，模块边界与插件机制也写得清楚，便于评估是否自用。
Google 开源了 Harness2，可将任何 AI harness 变成随时间自我改进的系统。harness 指模型外围的一切，包括系统提示词、工具、记忆、技能和子智能体；agent 会为每个任务提出修改、运行多个候选版本并按表现择优，无需正确答案或评分器，模型权重不变，学到的改进可跨任务延续并保存。Google 用 Gemini 3.5 Flash 和 GLM-5 在法律、办公和专业工作基准上测试，一轮修改即超过原始 harness，多轮后分数更高。GitHub 地址：https://github.com/google-research/harness2
推荐理由：原文说明了 Harness2 让智能体自行改进外围 harness 的机制，且无需标准答案即可比较候选版本，方法可迁移到本地部署场景。
ajaved1205 在 GitHub 开源 self-improving-agents 框架，把自我改进代码 Agent 分为四级：AutoResearch 循环、结构化反馈循环、重写自身源码的 HyperAgent 循环，以及代码 Agent 与测试 Agent 对抗共进化的 Arena 循环。实验显示固定基准会制造虚假信心，Level 1-3 在 email validation 原测试上得 90-100%，换到 Arena 对抗测试套件后降到 62-66%，而 Arena Loop 保持 70%；Feedback Loop 性价比最佳，snake 得 31.1 分且每任务成本 $0.03 仅为 Arena（$0.63）的 1/20。
推荐理由：原文给出四个等级的完整实验数据，固定基准与对抗基准的分数落差能说明自改进方案的脆弱点在哪。
adeelahmad 发布 aloop（Aladdin's Loop，前身 agentic-agile，当前 v0.12.0），把一行意图转成计划、测试优先、门控验证的软件交付，支持 Claude Code、Codex 和 OpenCode 三种宿主。流程为用户批准计划后由隔离 git worktree 中的廉价 worker 执行，RED/GREEN/结构审查等确定性 hook 门控决定验收，模型不能自行宣称完成。实测示例包括 11/11 检查通过耗时 11m10s 花费 $0.65 等；一个约 17K 行 Go 后端用约 155 万输出 token 完成，其中 76% 由 Sonnet 4.6 承担，输入缓存命中 99.9%。
推荐理由：原文给出多组可复现的实测数据，包括检查通过数、耗时和成本，读者可以据此评估这套门控循环在自家工作流里的可行性。
dave-holden 发布 proxytoolpatch 仓库，提供 FastAPI 代理 proxytool 和纯 Python 修复库 toolpatch，把小模型以原始文本泄漏的工具调用在传输途中修复为结构化调用，opencode、pi、curl 等任何 OpenAI 兼容客户端无需改动即可使用。
推荐理由：给出了在本地模型前加代理层修复泄漏工具调用的完整方案，含架构图、启动顺序和配置示例，方法可直接迁移复用。
GitHub 开源 RustyRAG，一个 Rust 编写的单二进制 RAG 服务器，检索、重排、生成全流程控制在 1 秒内，无 reranker 时 TTFT 低于 200ms。在 Open RAG Bench 3,045 题上用 qwen-3-235b 做 LLM-as-judge 评测，开启 Jina Reranker v3 后通过率 94.5%（失败 167/3,024），关闭后 91.6%（失败 253/3,020），重排增加约 100ms TTFT 和约 370ms 总延迟。
推荐理由：README 给出了同一套 3,045 题基准下开关 reranker 的通过率与延迟对比，读者可据此自行权衡精度和速度的取舍。
BlockRunAI 开源了其六款产品共用的智能 LLM 路由引擎 router-core。它用 15 维本地特征对请求分类，先硬过滤不满足能力契约的模型，再按任务质量、成本、速度、可靠性打分排序，决策约 0.05 ms、无推理调用、无网络访问，并返回可审计的理由和有序回退链。V3.4 基准显示任务成功率从 49% 升至 57%，单任务成本降 6.4%，但质量增益的 95% 置信区间为 −1.9 到 +15.5 点、跨零，官方明确声明未统计显著优于原规则路由。MIT 许可、零运行时依赖，需 Node ≥ 20.19，仅以 commit tarball 安装而不发布 npm。
推荐理由：原文给出了完整的分级过滤与打分机制、实测延迟和带失败区间的基准数据，读者可以据此评估这套本地路由引擎是否值得复用。