跳到正文
  1. GitHub · 去对齐工具与仓库57

    ehartye/wiki-master:在 Obsidian 上原生实现 Karpathy LLM Wiki 模式的 Claude Code/Copilot CLI/Codex 插件

    ehartye 发布 wiki-master 插件,让 Claude Code、GitHub Copilot CLI 或 Codex 作为合成引擎,在 Obsidian 中增量编译并维护一个持久、密集互链的 markdown wiki。无 MCP server、无 daemon、无向量数据库,语义搜索基于本地 Ollama 嵌入的 chunk 级索引,约 1,800 页约 5,500 chunks,暴力余弦检索在个位数毫秒内完成。

    推荐理由:原文给出了完整的技能清单、vault 结构和检索规模数据,读者可以据此判断这套零向量数据库的 wiki 方案是否适配自己的工作流。

  2. GitHub · 灵魂体仓库76

    开源 QQ 本地大模型聊天机器人 qq-ollama-bot

    muguang1224 发布了用 Ollama 本地模型驱动的 QQ 聊天机器人项目 qq-ollama-bot,通过 NapCat 收发消息,不需要云端 API,支持 Windows / Linux / macOS。它用 qwen3.5-4b 聊天、qwen2.5vl:3b 看图,加 YOLO 做目标检测,具备情绪系统、长期记忆、人设进化、语音回复(edge-tts / GPT-SoVITS 声音克隆)、主动聊天和 QQ 空间发说说等功能;并用 Prompt 层加代码正则两层拦截,阻止模型编造「刚刷到视频」等假经历。README 附完整安装步骤、风控与账号安全提示,以及图片缩放实测,原图送模型需 46-200 秒,缩到 256px 后降到 4.4 秒。

    推荐理由:README 讲清了情绪系统、长期记忆和两层防编造的构造方法,还给出图片缩放和显存的实测数据,做法可迁移。

  3. GitHub · 灵魂体仓库60

    understudy-lm 发布仅用目标模型文本训练的推测解码草稿模型,针对 Qwen3.5-4B 投影加速 1.43x

    understudy-lm 项目发布了仅从目标 LLM 的文本输出训练的推测解码草稿模型,无需 logits、隐藏状态或更小的同族模型,草稿一次猜测 4 个 token,由目标模型一步验证,输出不变。发布的草稿针对 Qwen3.5-4B 训练,实测每步接受 1.58 个 token,投影加速 1.43x;在 llama.cpp 下因需逐 token 起草并恢复状态反而更慢(27 到 36 tok/s 对 69 tok/s),需支持 lookahead heads 的运行时才能兑现。

    推荐理由:只靠目标模型的文本训练推测解码草稿模型,不用 logits 和隐藏状态,并给出接受的实测与局限说明。

  1. GitHub · 去对齐工具与仓库63

    best-engine-ai-helper 开源:按硬件自动选型本地 LLM/VLM 并经质量门验证

    Warith Harchaoui 发布 best-engine-ai-helper,一个纯 Python 工具,可检测本机内存(Apple Silicon 统一内存、NVIDIA/AMD VRAM 或系统内存),从内置模型目录中选出得分最高且装得下的本地 LLM 或 VLM,并通过 Ollama 拉取。选型综合结构化输出能力、内存适配、任务基准和带宽估算的吞吐四要素,pull 与 validate 会用 Ralph Loop 文本缺陷检测和 Ralph Eyeball Loop 视觉缺陷检测两道质量门验证模型,通过后才写入环境文件;实测吞吐数据存入 measurements.yaml,在 Apple M2 Max 上将 gemma3:12b 的估算误差从 64-118% 降到 17-25%。

    推荐理由:原文给出了选型四要素与实测校准数据,读者可以据此理解本地模型自动选型工具的取舍逻辑。

  2. Ollama Blog56

    Ollama 支持语音模型,首发 Gradium 的 Phonon 文本转语音系列

    Ollama 0.40.11 起支持文本转语音,首个语音模型是 Gradium 的 Phonon 系列,目前可用 macOS,Windows 和 Linux 支持即将推出。在 M5 Max MacBook Pro 上,Ollama 借助 MLX 加速,吞吐比次快的 Gradium ptts 运行时快 35%,词错率与 Hugging Face Transformers 参考实现持平;Phonon 采用 Apache 2.0 许可,40M 版本为 CC BY-NC 4.0 限非商用,支持英语、法语、德语、西班牙语、葡萄牙语,并提供 OpenAI 兼容的 /v1/audio/speech 接口和流式播放。

    推荐理由:官方给出了与 Gradium 自家运行时的吞吐对比和词错率对照数据,读者可以据此判断在 Apple Silicon 上本地跑语音模型的真实表现。

  3. GitHub · 去对齐工具与仓库58

    用 Python 从零构建的个人 AI 智能体 Tony 开源

    作者开源了 Tony,一个用 Python 从零构建的个人 AI 智能体,目的是学习智能体内部原理,v2 版新增对话与工具,测试台词得分 108/108。人格保存在版本化文本文件中,回答可标记好坏以指导调整;记忆由笔记、会话摘要和最多 40 条事实的整合记忆组成并进入 prompt。默认模型 qwen3:4b,依赖 uv 和 Ollama,采用 MIT 许可证。

    推荐理由:作者把人格改动变成可测量的流程,用测试台词加裁判模型打分,只保留不变差的修改,做法可迁移到其他本地智能体项目。

  1. GitHub · 灵魂体仓库55

    semantic-cache-proxy:基于 Ollama 和 Redis Stack 的本地 LLM 语义缓存代理发布

    作者发布了面向本地 LLM 的语义缓存反向代理 semantic-cache-proxy,将提示词嵌入索引进 Redis Stack 的 HNSW 向量索引,相同或语义改写的查询命中缓存后延迟低于 15ms,绕过本地 GPU/CPU 推理瓶颈。系统用 SHA-256 对 system prompt 和参数做哈希分区,相似度阈值 ≥ 0.88 判定命中,兼容 OpenAI /v1/chat/completions 接口,并通过 X-Cache-Lookup 等响应头和 Streamlit 仪表盘提供实时遥测。项目 100% 本地运行、无需付费 API key,依赖 nomic-embed-text 嵌入模型,仓库附部署步骤与延迟基准脚本。

    推荐理由:给出完整的架构流程、缓存阈值和部署命令,想把本地 LLM 推理换成语义缓存的读者可以直接照着搭建。

  2. GitHub · 3D 生成新仓库76

    Kaiacord 开源自托管 Discord 伴侣机器人,单张 12GB GPU 本地运行持久人格

    作者发布 Kaiacord,一个自托管的 Discord 伴侣机器人 Kaia,主打有持续内在生命感:情绪、关系、信念和情景记忆持久化到磁盘,可在重启后延续,每晚 03:00 至 05:00 复盘当天对话并更新长期记忆。技术栈为 Ollama 运行 gemma3:12b 负责对话与视觉,nomic-embed-text-cpu 在 CPU 上跑检索嵌入,BM25 与向量检索经 Reciprocal Rank Fusion 合并,并有一条后处理守卫管线清除提示词回显、伪造引用和谄媚语气;另含 Python 计算数值的持久化 RPG Aethelgard、本地 DJ 音乐、RTL-SDR 短波监听等功能。仓库采用 MIT 许可,地址 https://github.com/Ekco-S64QTN6/Kaiacord。

    推荐理由:原文完整给出了情绪、信念、情景记忆的持久化设计与检索融合、生成守卫的实现细节,可作搭建有持续内在状态的自托管伴侣机器人的参考。

  1. GitHub · 去对齐工具与仓库58

    yfHHHE 开源 emoji-native-lm:只会用 1 到 3 个 emoji 回复的 Qwen3-1.7B 微调模型

    yfHHHE 发布 emoji-native-lm,基于 Qwen3-1.7B 用 LoRA 做 SFT 加 DPO 微调,对任何输入只以 1-3 个 emoji 回复。训练数据约 12k 条中英文聊天消息,由 Claude Opus 生成并回复,覆盖 1,915 种 emoji;666 条评测提示下经 wrapper 的回复 100% 合规,首轮采样合规率 98.9%,而基座 Qwen3-1.7B 为 0%。仓库提供 Ollama 与 llama.cpp 的 GGUF(1.8 GB q8_0)及 Python wrapper 部署方案,代码采用 Apache 2.0 许可。

    推荐理由:仓库公开了数据生成、SFT、DPO 到 GRPO 失败与修复的完整脚本和实测数据,读者可以照此复现并借鉴其偏见修正做法。

  2. GitHub · 灵魂体仓库55

    开源 AI 合同审查工具 ContractGuard 发布,30 秒内标出合同红旗条款

    he-yufeng 在 GitHub 发布开源 AI Agent 工具 ContractGuard,上传 PDF/DOCX 合同即可在 30 秒内输出红旗条款、警告、保护项和 A+ 到 F 的公平度评分及逐条修改建议。工具通过 Pydantic 模型保证结构化输出,支持 OpenRouter、OpenAI 及 Ollama 本地模型;在 LLM 之外并行运行辖区感知的确定性法条核对清单,覆盖中国劳动法与民法典及加州住宅租赁规则,无法判定时诚实返回 unknown。支持批量扫描、版本对比、JSON 导出和 Gradio Web UI,最长约 30000 token(约 60 页)。

    推荐理由:开源合同审查 Agent 除了 LLM 分析还内置辖区感知的法条核对清单,并对缺失条款诚实返回 unknown,思路可直接借鉴。

  3. GitHub · 灵魂体仓库69

    toolcall-rescue 发布,从纯文本内容中抢救本地小模型的工具调用

    MUSE-CODE-SPACE 发布 toolcall-rescue,一个零依赖的纯标准库 Python 包,用于在结构化 tool_calls 字段为空时,从 qwen2.5、Gemma、Kimi、MiniMax 等本地或小型模型以纯文本输出的消息内容中恢复工具调用,支持 Ollama、llama.cpp、vLLM、LM Studio 等 OpenAI 兼容端点。

    推荐理由:这是一个可直接落地的本地小模型工具调用抢救库,安全模型讲得清楚,还交代了为何框架核心拒绝收编这一层的取舍。

  4. GitHub · 灵魂体仓库56

    开源 Windows 语音助手 Cephi 发布,可用 Ollama 本地运行

    开发者发布开源免费的 Windows 助手 Cephi,按 Ctrl+Alt+Space 即可语音或文字操控整台电脑,支持播放 Spotify 音乐、打开系统设置、划词翻译、截图提问和笔记管理。可接 Ollama 本地模型让数据不出本机,也可用自己的 Claude、Gemini 或 OpenAI 兼容 API 密钥,支持接入任意 MCP 服务器或用一个 JSON 文件添加自定义工具,MIT 协议开源。

    推荐理由:开源 Windows 语音助手 Cephi,仓库把本地 Ollama、MCP 工具扩展和快捷键体系讲得相当完整,适合想自建本地 Agent 的人参考。

  5. GitHub · 去对齐工具与仓库61

    WhisprFlow 开源:本地运行的 Windows/macOS 语音听写工具

    作者发布 WhisprFlow,一个在本地运行的 Windows 和 macOS 语音听写工具,按热键说话后自动清理填充词、加标点并粘贴到光标处。默认用 Phonon-2 在设备上转写、Ollama qwen3:4b-instruct 本地润色,无需账号和订阅;11 秒听写端到端约 1.7 秒(i5-13500HX + RTX 4050 实测),支持 Qwen3-ASR 处理多语言,词典从用户听写中学习术语拼写,代码 MIT 许可,macOS 代码路径保留但未测试。

    推荐理由:原文给出实测延迟、模型选型对比和架构细节,读者可以据此评估这套本地语音听写方案是否适合自己复现。

  6. GitHub · 3D 生成新仓库65

    rag-evaluation-testing-platform:一个可对比、可复现的 RAG 管线评测开源框架

    GitHub 开源了 rag-evaluation-testing-platform,一个零运行时依赖的 RAG 管线评测框架,固定数据集跑问答、对检索和生成分別打分,输出可 diff 的 JSON+CSV 报告。它内置 lexical/dense/hybrid 三种检索器、extractive 与 Ollama 生成器、以及经 65 条人工标注验证的 LLM-as-judge(llama3.2:3b 对 gemini-3.8-flash),评审器在 49 条留出项上 κ 达 0.95,词元规则为 0.90;21 个用例基线中 qwen3:1.7b 开启推理模式可将幻觉率从 0.25 降到 0,代价是延迟约 5 倍。

    推荐理由:项目不只给代码,还用 65 条人工标注实测了 LLM 评审与词元规则的差异,读者可借此理解 RAG 评测该测什么。

  7. GitHub · 去对齐工具与仓库71

    apu-llm 开源:让无独显笔记本用共享内存跑 35B 本地模型并接入 Claude Code

    yago-mendoza 发布 apu-llm 仓库,让 GPU 共享系统内存的 APU 笔记本一条命令完成本地大模型安装、问答与基准测试,并通过内置 MCP 服务器让 Claude Code 把批量文本工作交给本地模型。在 Ryzen AI 7 PRO 450、64GB LPDDR5X 参考机上,Qwen3.6 35B-A3B(MoE,3B 激活)经 Ollama 跑在 iGPU 上写入 11.7 tok/s、读长输入 93 tok/s,加载占 20.6GB;Qwen3.8 27B 稠密模型更聪明但写入仅 2.6 tok/s。

    推荐理由:作者在一台 64GB 无独显的 ThinkPad 上实测了 APU 跑 35B 模型的真实速度与智能水平,并给出按内存选型的对照表。

  8. GitHub · 灵魂体仓库63

    IntelliJ 插件 llm-copilot-intellij 0.0.01 发布,可接 Ollama 等 13 家 LLM 提供补全与代码操作

    RA-King 在 GitHub 发布 IntelliJ IDEA 插件 llm-copilot-intellij 0.0.01,为任意 LLM 提供 ghost text 行内补全、编辑器内聊天面板和代码操作,支持包括本地 Ollama 在内的 13 个提供商,MIT 许可。补全具备结构感知与意图推断,后台构建全项目符号表和双向 import 图以提供真实声明签名,并含去重守卫、next edit 建议和错误分析功能;要求 IntelliJ IDEA 2026.1+,默认按 Ollama 本地部署配置。

    推荐理由:README 详细写清了补全触发门槛、项目索引和去重逻辑,读者能据此评估这款可接任意 LLM 的 IntelliJ 插件是否值得试。

  1. GitHub · 灵魂体仓库59

    MAGI-Systems-AI 开源 OpenTenet 工作区,为 AI 编码助手加跨工具纪律层

    MAGI-Systems-AI 发布开源项目 OpenTenet,一个纯 markdown 工作区,让 AI 编码助手在会话启动时读取硬规则宪法、六阶段算法和验证准则,解决无状态、幻觉路径和虚报完成的问题。它兼容 Claude Code、Gemini CLI、Cursor、Codex、Aider 和 Copilot Chat,pre-commit 钩子扫描 16 种凭据模式,为 Claude Code 生成约 13k 精简上下文、为 Codex 和 Aider 生成约 57k 完整上下文,并支持 Ollama + Aider 离线本地模型。项目附本地 Web 控制台和可选团队模式,MIT 协议。

    推荐理由:开源工作区把验证规则写进文件而非模型,给出六阶段算法与探针表,跨六种 AI CLI 可复用,方法可直接迁移。

  1. GitHub · 灵魂体仓库59

    agent-on-a-budget 开源项目用小模型分层路由把客服 Agent 成本降到近半

    GitHub 项目 agent-on-a-budget 构建了一个客服 AI Agent,用 LLM 标注 1,080 条消息训练小 ML 模型,并按置信度把消息路由到最便宜的助手:ML 模型答简单问题、本地 Ollama 上的 3B 模型答政策问题、云端 LLM 处理退款等工具调用、高额退款转人工。基于 OpenAI gpt-5.4-mini 的 60 条消息实测显示,分层路由比只用云端专家便宜 1.9 倍、快 1.6 倍,55% 消息零成本处理,标注全部消息仅花 $0.07。项目支持 Mac、Windows 和 Linux,内置离线测试、答案缓存重放机制,并提供逐章 Notebook 和 Streamlit 演示应用。

    推荐理由:给出实测的成本、延迟和准确率分层路由数据,读者可以参考这套便宜模型处理简单消息、云端大模型兜底的省成本思路。

  2. GitHub · 灵魂体仓库64

    Open Grammar 插件用本地 Ollama 模型为 Obsidian 和 Logseq 做英德语拼写语法检查

    laffy-999 发布 Open Grammar 插件,在 Obsidian 1.14.4 和 Logseq 0.10.15 内用本地 Ollama 模型提供英语和德语拼写语法建议,不依赖云模型和外部检查服务,仅接受 loopback 地址并拒绝云端模型。默认模型为 qwen3.5:4b,在 63 段合成基准中修复 32/39 处错误且保留全部 24 个对照段落,约需 3 GiB GPU 显存或可回退 CPU 运行;正文还给出十余个候选模型的对比数据和保护链接、代码等笔记语法不被改动的实现细节。

    推荐理由:README 附带 12 个候选模型在 63 段合成样本上的实测对比和筛选逻辑,读者可以照着按内存与语言需求选型复现。

  3. arXiv · cs.AI62

    arXiv 论文实证研究越狱评测:ASR 随判定方法从 96.0% 变为 2.7%

    arXiv 论文 2610.26595 研究越狱攻击成功率(ASR)对比高度依赖响应生成与判定方式,用 3 个开放权重模型、8 种攻击和 3 种评测流程做实证。低资源语言攻击在关键词匹配下平均 ASR 达 96.0%,改用按 StrongRELECT 说明的 Qwen3 评测器则仅 2.7%;同一请求在 Ollama 默认温度 0.8 下采样 100 次,关键词匹配下 ASR 为 100% 而 Qwen3 评测器为 50%。作者建议明确成功定义、对齐响应预算、验证评测器,并报告重复交互下的累积失败率。

    推荐理由:论文用具体数据说明越狱成功率如何随评测方法剧烈变化,对任何人引用 ASR 榜单前都是可迁移的核查思路。