跳到正文
  1. GitHub · 去对齐工具与仓库57

    ehartye/wiki-master:在 Obsidian 上原生实现 Karpathy LLM Wiki 模式的 Claude Code/Copilot CLI/Codex 插件

    ehartye 发布 wiki-master 插件,让 Claude Code、GitHub Copilot CLI 或 Codex 作为合成引擎,在 Obsidian 中增量编译并维护一个持久、密集互链的 markdown wiki。无 MCP server、无 daemon、无向量数据库,语义搜索基于本地 Ollama 嵌入的 chunk 级索引,约 1,800 页约 5,500 chunks,暴力余弦检索在个位数毫秒内完成。

    推荐理由:原文给出了完整的技能清单、vault 结构和检索规模数据,读者可以据此判断这套零向量数据库的 wiki 方案是否适配自己的工作流。

  2. GitHub · 灵魂体仓库76

    开源 QQ 本地大模型聊天机器人 qq-ollama-bot

    muguang1224 发布了用 Ollama 本地模型驱动的 QQ 聊天机器人项目 qq-ollama-bot,通过 NapCat 收发消息,不需要云端 API,支持 Windows / Linux / macOS。它用 qwen3.5-4b 聊天、qwen2.5vl:3b 看图,加 YOLO 做目标检测,具备情绪系统、长期记忆、人设进化、语音回复(edge-tts / GPT-SoVITS 声音克隆)、主动聊天和 QQ 空间发说说等功能;并用 Prompt 层加代码正则两层拦截,阻止模型编造「刚刷到视频」等假经历。README 附完整安装步骤、风控与账号安全提示,以及图片缩放实测,原图送模型需 46-200 秒,缩到 256px 后降到 4.4 秒。

    推荐理由:README 讲清了情绪系统、长期记忆和两层防编造的构造方法,还给出图片缩放和显存的实测数据,做法可迁移。

  3. GitHub · 灵魂体仓库60

    understudy-lm 发布仅用目标模型文本训练的推测解码草稿模型,针对 Qwen3.5-4B 投影加速 1.43x

    understudy-lm 项目发布了仅从目标 LLM 的文本输出训练的推测解码草稿模型,无需 logits、隐藏状态或更小的同族模型,草稿一次猜测 4 个 token,由目标模型一步验证,输出不变。发布的草稿针对 Qwen3.5-4B 训练,实测每步接受 1.58 个 token,投影加速 1.43x;在 llama.cpp 下因需逐 token 起草并恢复状态反而更慢(27 到 36 tok/s 对 69 tok/s),需支持 lookahead heads 的运行时才能兑现。

    推荐理由:只靠目标模型的文本训练推测解码草稿模型,不用 logits 和隐藏状态,并给出接受的实测与局限说明。

  1. GitHub · 去对齐工具与仓库63

    best-engine-ai-helper 开源:按硬件自动选型本地 LLM/VLM 并经质量门验证

    Warith Harchaoui 发布 best-engine-ai-helper,一个纯 Python 工具,可检测本机内存(Apple Silicon 统一内存、NVIDIA/AMD VRAM 或系统内存),从内置模型目录中选出得分最高且装得下的本地 LLM 或 VLM,并通过 Ollama 拉取。选型综合结构化输出能力、内存适配、任务基准和带宽估算的吞吐四要素,pull 与 validate 会用 Ralph Loop 文本缺陷检测和 Ralph Eyeball Loop 视觉缺陷检测两道质量门验证模型,通过后才写入环境文件;实测吞吐数据存入 measurements.yaml,在 Apple M2 Max 上将 gemma3:12b 的估算误差从 64-118% 降到 17-25%。

    推荐理由:原文给出了选型四要素与实测校准数据,读者可以据此理解本地模型自动选型工具的取舍逻辑。

  2. Ollama Blog56

    Ollama 支持语音模型,首发 Gradium 的 Phonon 文本转语音系列

    Ollama 0.40.11 起支持文本转语音,首个语音模型是 Gradium 的 Phonon 系列,目前可用 macOS,Windows 和 Linux 支持即将推出。在 M5 Max MacBook Pro 上,Ollama 借助 MLX 加速,吞吐比次快的 Gradium ptts 运行时快 35%,词错率与 Hugging Face Transformers 参考实现持平;Phonon 采用 Apache 2.0 许可,40M 版本为 CC BY-NC 4.0 限非商用,支持英语、法语、德语、西班牙语、葡萄牙语,并提供 OpenAI 兼容的 /v1/audio/speech 接口和流式播放。

    推荐理由:官方给出了与 Gradium 自家运行时的吞吐对比和词错率对照数据,读者可以据此判断在 Apple Silicon 上本地跑语音模型的真实表现。

  1. GitHub · 灵魂体仓库55

    semantic-cache-proxy:基于 Ollama 和 Redis Stack 的本地 LLM 语义缓存代理发布

    作者发布了面向本地 LLM 的语义缓存反向代理 semantic-cache-proxy,将提示词嵌入索引进 Redis Stack 的 HNSW 向量索引,相同或语义改写的查询命中缓存后延迟低于 15ms,绕过本地 GPU/CPU 推理瓶颈。系统用 SHA-256 对 system prompt 和参数做哈希分区,相似度阈值 ≥ 0.88 判定命中,兼容 OpenAI /v1/chat/completions 接口,并通过 X-Cache-Lookup 等响应头和 Streamlit 仪表盘提供实时遥测。项目 100% 本地运行、无需付费 API key,依赖 nomic-embed-text 嵌入模型,仓库附部署步骤与延迟基准脚本。

    推荐理由:给出完整的架构流程、缓存阈值和部署命令,想把本地 LLM 推理换成语义缓存的读者可以直接照着搭建。

  1. GitHub · 灵魂体仓库55

    开源 AI 合同审查工具 ContractGuard 发布,30 秒内标出合同红旗条款

    he-yufeng 在 GitHub 发布开源 AI Agent 工具 ContractGuard,上传 PDF/DOCX 合同即可在 30 秒内输出红旗条款、警告、保护项和 A+ 到 F 的公平度评分及逐条修改建议。工具通过 Pydantic 模型保证结构化输出,支持 OpenRouter、OpenAI 及 Ollama 本地模型;在 LLM 之外并行运行辖区感知的确定性法条核对清单,覆盖中国劳动法与民法典及加州住宅租赁规则,无法判定时诚实返回 unknown。支持批量扫描、版本对比、JSON 导出和 Gradio Web UI,最长约 30000 token(约 60 页)。

    推荐理由:开源合同审查 Agent 除了 LLM 分析还内置辖区感知的法条核对清单,并对缺失条款诚实返回 unknown,思路可直接借鉴。

  2. GitHub · 灵魂体仓库69

    toolcall-rescue 发布,从纯文本内容中抢救本地小模型的工具调用

    MUSE-CODE-SPACE 发布 toolcall-rescue,一个零依赖的纯标准库 Python 包,用于在结构化 tool_calls 字段为空时,从 qwen2.5、Gemma、Kimi、MiniMax 等本地或小型模型以纯文本输出的消息内容中恢复工具调用,支持 Ollama、llama.cpp、vLLM、LM Studio 等 OpenAI 兼容端点。

    推荐理由:这是一个可直接落地的本地小模型工具调用抢救库,安全模型讲得清楚,还交代了为何框架核心拒绝收编这一层的取舍。

  3. GitHub · 灵魂体仓库56

    开源 Windows 语音助手 Cephi 发布,可用 Ollama 本地运行

    开发者发布开源免费的 Windows 助手 Cephi,按 Ctrl+Alt+Space 即可语音或文字操控整台电脑,支持播放 Spotify 音乐、打开系统设置、划词翻译、截图提问和笔记管理。可接 Ollama 本地模型让数据不出本机,也可用自己的 Claude、Gemini 或 OpenAI 兼容 API 密钥,支持接入任意 MCP 服务器或用一个 JSON 文件添加自定义工具,MIT 协议开源。

    推荐理由:开源 Windows 语音助手 Cephi,仓库把本地 Ollama、MCP 工具扩展和快捷键体系讲得相当完整,适合想自建本地 Agent 的人参考。

  4. GitHub · 去对齐工具与仓库61

    WhisprFlow 开源:本地运行的 Windows/macOS 语音听写工具

    作者发布 WhisprFlow,一个在本地运行的 Windows 和 macOS 语音听写工具,按热键说话后自动清理填充词、加标点并粘贴到光标处。默认用 Phonon-2 在设备上转写、Ollama qwen3:4b-instruct 本地润色,无需账号和订阅;11 秒听写端到端约 1.7 秒(i5-13500HX + RTX 4050 实测),支持 Qwen3-ASR 处理多语言,词典从用户听写中学习术语拼写,代码 MIT 许可,macOS 代码路径保留但未测试。

    推荐理由:原文给出实测延迟、模型选型对比和架构细节,读者可以据此评估这套本地语音听写方案是否适合自己复现。

  5. GitHub · 3D 生成新仓库65

    rag-evaluation-testing-platform:一个可对比、可复现的 RAG 管线评测开源框架

    GitHub 开源了 rag-evaluation-testing-platform,一个零运行时依赖的 RAG 管线评测框架,固定数据集跑问答、对检索和生成分別打分,输出可 diff 的 JSON+CSV 报告。它内置 lexical/dense/hybrid 三种检索器、extractive 与 Ollama 生成器、以及经 65 条人工标注验证的 LLM-as-judge(llama3.2:3b 对 gemini-3.8-flash),评审器在 49 条留出项上 κ 达 0.95,词元规则为 0.90;21 个用例基线中 qwen3:1.7b 开启推理模式可将幻觉率从 0.25 降到 0,代价是延迟约 5 倍。

    推荐理由:项目不只给代码,还用 65 条人工标注实测了 LLM 评审与词元规则的差异,读者可借此理解 RAG 评测该测什么。

  6. GitHub · 去对齐工具与仓库71

    apu-llm 开源:让无独显笔记本用共享内存跑 35B 本地模型并接入 Claude Code

    yago-mendoza 发布 apu-llm 仓库,让 GPU 共享系统内存的 APU 笔记本一条命令完成本地大模型安装、问答与基准测试,并通过内置 MCP 服务器让 Claude Code 把批量文本工作交给本地模型。在 Ryzen AI 7 PRO 450、64GB LPDDR5X 参考机上,Qwen3.6 35B-A3B(MoE,3B 激活)经 Ollama 跑在 iGPU 上写入 11.7 tok/s、读长输入 93 tok/s,加载占 20.6GB;Qwen3.8 27B 稠密模型更聪明但写入仅 2.6 tok/s。

    推荐理由:作者在一台 64GB 无独显的 ThinkPad 上实测了 APU 跑 35B 模型的真实速度与智能水平,并给出按内存选型的对照表。

  7. GitHub · 灵魂体仓库63

    IntelliJ 插件 llm-copilot-intellij 0.0.01 发布,可接 Ollama 等 13 家 LLM 提供补全与代码操作

    RA-King 在 GitHub 发布 IntelliJ IDEA 插件 llm-copilot-intellij 0.0.01,为任意 LLM 提供 ghost text 行内补全、编辑器内聊天面板和代码操作,支持包括本地 Ollama 在内的 13 个提供商,MIT 许可。补全具备结构感知与意图推断,后台构建全项目符号表和双向 import 图以提供真实声明签名,并含去重守卫、next edit 建议和错误分析功能;要求 IntelliJ IDEA 2026.1+,默认按 Ollama 本地部署配置。

    推荐理由:README 详细写清了补全触发门槛、项目索引和去重逻辑,读者能据此评估这款可接任意 LLM 的 IntelliJ 插件是否值得试。

  1. GitHub · 灵魂体仓库59

    MAGI-Systems-AI 开源 OpenTenet 工作区,为 AI 编码助手加跨工具纪律层

    MAGI-Systems-AI 发布开源项目 OpenTenet,一个纯 markdown 工作区,让 AI 编码助手在会话启动时读取硬规则宪法、六阶段算法和验证准则,解决无状态、幻觉路径和虚报完成的问题。它兼容 Claude Code、Gemini CLI、Cursor、Codex、Aider 和 Copilot Chat,pre-commit 钩子扫描 16 种凭据模式,为 Claude Code 生成约 13k 精简上下文、为 Codex 和 Aider 生成约 57k 完整上下文,并支持 Ollama + Aider 离线本地模型。项目附本地 Web 控制台和可选团队模式,MIT 协议。

    推荐理由:开源工作区把验证规则写进文件而非模型,给出六阶段算法与探针表,跨六种 AI CLI 可复用,方法可直接迁移。

  1. GitHub · 灵魂体仓库59

    agent-on-a-budget 开源项目用小模型分层路由把客服 Agent 成本降到近半

    GitHub 项目 agent-on-a-budget 构建了一个客服 AI Agent,用 LLM 标注 1,080 条消息训练小 ML 模型,并按置信度把消息路由到最便宜的助手:ML 模型答简单问题、本地 Ollama 上的 3B 模型答政策问题、云端 LLM 处理退款等工具调用、高额退款转人工。基于 OpenAI gpt-5.4-mini 的 60 条消息实测显示,分层路由比只用云端专家便宜 1.9 倍、快 1.6 倍,55% 消息零成本处理,标注全部消息仅花 $0.07。项目支持 Mac、Windows 和 Linux,内置离线测试、答案缓存重放机制,并提供逐章 Notebook 和 Streamlit 演示应用。

    推荐理由:给出实测的成本、延迟和准确率分层路由数据,读者可以参考这套便宜模型处理简单消息、云端大模型兜底的省成本思路。

  2. GitHub · 灵魂体仓库64

    Open Grammar 插件用本地 Ollama 模型为 Obsidian 和 Logseq 做英德语拼写语法检查

    laffy-999 发布 Open Grammar 插件,在 Obsidian 1.14.4 和 Logseq 0.10.15 内用本地 Ollama 模型提供英语和德语拼写语法建议,不依赖云模型和外部检查服务,仅接受 loopback 地址并拒绝云端模型。默认模型为 qwen3.5:4b,在 63 段合成基准中修复 32/39 处错误且保留全部 24 个对照段落,约需 3 GiB GPU 显存或可回退 CPU 运行;正文还给出十余个候选模型的对比数据和保护链接、代码等笔记语法不被改动的实现细节。

    推荐理由:README 附带 12 个候选模型在 63 段合成样本上的实测对比和筛选逻辑,读者可以照着按内存与语言需求选型复现。

  3. GitHub · 灵魂体仓库60

    GIBSON 0.10.0 发布:1997 黑客电影风格的实用终端,内置 AI 陪伴角色 NYX

    GitHub 开源项目 GIBSON 发布 0.10.0 alpha 版,是一个装扮成 1997 demoscene 风格的真实终端,基于 node-pty 和 xterm.js 6,支持 PowerShell、cmd、bash、zsh 及 WSL,提供标签页、最多四分屏、广播输入等实用功能。内置的 NYX 角色可通过 Ollama、Anthropic 或任意 OpenAI 兼容 API 驱动(Ollama 已实测),并随终端活动切换 28 种线框世界;Windows 为已测试平台,macOS 和 Linux 构建由 CI 生成并冒烟测试,采用 MIT 许可证。

    推荐理由:把真实终端做成 1997 demoscene 风格外壳,还内置 NETWATCH、进程可视化和可接本地模型的 NYX,兼具趣味与实用。

  1. GitHub · 去对齐工具与仓库61

    ButterKnife 发布:连接本地 Ollama 与 LM Studio 的自托管聊天与编码客户端

    rskulles 发布 ButterKnife,一个本地网络聊天客户端,可连接 Ollama、LM Studio 及任何 OpenAI API 兼容服务器(vLLM、llama.cpp),也可接入 Anthropic key 使用 Claude。每平台单文件、无需 Docker 或数据库,聊天数据留在本机;Code 标签页为自有模型提供类似 Claude Code 的编码智能体,模型读项目、改文件、跑测试,每步需用户批准,兼容 .claude/ 目录的 commands 和 skills。支持手机扫码多设备同步、双模型对比、/image 生图、Whisper 语音输入、上下文接近上限时自动摘要旧对话。

    推荐理由:原文详细列出了连接 Ollama、LM Studio 等本地模型服务器的配置步骤和 Code 编码智能体的权限机制,便于判断是否适合自托管。

  2. GitHub · 灵魂体仓库68

    Fox 本地 LLM 服务器发布:Ollama 直接替代方案,主打并发下的共享前缀复用

    Fox 是一个面向并发负载的本地 LLM 服务器,可作为 Ollama 的直接替代,MIT OR Apache-2.0 双许可,改端口即可兼容现有 Ollama 与 OpenAI 客户端。它包装 llama.cpp,核心优化是并发请求间的共享前缀 KV cache 复用:新请求匹配最长共享前缀跳过 prefill,还能从正在解码的序列复制共享前缀,这是其他 llama.cpp 服务器做不到的。在 Radeon 890M Vulkan 测试中,16 客户端共享系统提示词时 TTFT p50 为 1402 ms 对 llama-server 的 8064 ms,但短独立提示词的单轮请求吞吐约为基线的 96%,反而慢约 4%。

    推荐理由:README给出了共享前缀并发场景下与llama-server的对比数据和复现脚本,也坦承短独立请求反而慢约4%,可自行判断适用场景。

  1. GitHub · 3D 生成新仓库66

    DuckDB_Dbt 开源:基于 dbt 语义层的本地 Text-to-SQL 工具

    The-Pack-Man 在 GitHub 发布 DuckDB_Dbt,用自然语言提问即可在本地 DuckDB + Ollama(qwen2.5-coder:7b)上生成 SQL、执行并解释,dbt 建模并通过手写 semantic_manifest.yaml 注入业务规则,SQL 走只读连接,失败自动重试(默认2次)。作者用32题golden集做消融评测:qwen2.5-coder 7B 在 temperature 0 下,仅schema 时总体执行准确率 56.2%(business_rule 类仅 15.4%),加语义 manifest 后总体 90.6%(business_rule 92.3%),manifest 提升 +34.4 个百分点,修复12题、破坏1题。

    推荐理由:作者用32题golden集做了加与不加semantic manifest的消融,还列出了残余失败案例和自述局限,结论可复核。