跳到正文
10月19日周一
  1. GitHub · 3D 生成新仓库48

    本地优先桌面 AI 智能体 Duya 开启公开测试

    Duya 是一款本地优先的桌面 AI 智能体,现已进入公开测试,可在项目内执行任务并让浏览器、文件、终端操作和权限决定保持可见。它支持交互式浏览器研究、文件读写、shell 命令、可固定的项目参考上下文,以及 Skills、MCP 服务器和实验性画布 Conductor。会话与设置保留在本地,可接入托管 provider、OpenAI/Anthropic 兼容端点或本地 Ollama,Windows、macOS 和 Linux 均有 beta 安装包。

  2. GitHub · 去对齐工具与仓库36

    FreeToken Windows 单卡版 freetoken-win-qwen3.8-flash-next:单张消费级 GPU 上跑 Qwen3.8-Flash-Next 长上下文 MoE

    FreeToken(基于上游 main 58f4b9e、版本 0.1.3)发布面向 Windows 单卡 + 大内存的补丁分支,可在 RTX 5090 32 GB 等单 GPU 上通过 OpenAI/Anthropic 兼容 HTTP API 服务大型 MoE checkpoint。分支以 Qwen3.8-Flash-Next(qwen4_exp 架构)为参考,实现 turbo4 KV 压缩(约 516 字节/token、与 bf16 余弦 0.9887)、QSA 稀疏注意力扩展、BudgetSlider 运行时重平衡与多模态缓存复用,支持 1M-token KV 池;GLM-5.3-Flash 作为并行轨道适用同一套机制。

  3. GitHub · 去对齐工具与仓库66

    RustFox 开源:用 Rust 写的自托管 Telegram AI 智能体助手

    chinkan 在 GitHub 开源了 RustFox,一个用 Rust 编写、可自托管的 Telegram AI 智能体助手,以单个二进制文件分发,cargo install 后约 2 分钟完成设置。它运行 agentic 循环调用沙箱工具(文件读写、命令执行、经 MCP 的网络搜索),用 SQLite 加向量 RAG 做持久记忆,支持技能与子智能体、多 Bot 多人格、cron 任务调度、运行时模型切换与 fallback 链,默认走 OpenRouter,也可接本地 Ollama 或任何 OpenAI 兼容端点,并内置 Web Portal 和自我升级功能。

    推荐理由:原文完整列出了工具调用、SQLite 加向量 RAG 记忆、多 Bot 人格隔离等实现细节,可按需自部署到 Telegram。

  4. GitHub · 去对齐工具与仓库57

    ai-detector:基于 Tauri 与 Vue 3 的 LLM API 真实性检测桌面客户端

    LingLingDayo 在 GitHub 发布 ai-detector,一款检测大语言模型 API 真实性的桌面客户端,用于识别中转服务商掺水、降级或货不对板的行为。内置两种检测方式:模型测试向目标 API 发送 3 道挑战题,用 Hellinger 距离与多维特征频数算法比对 ModelTrace 基准模型库的统计学指纹;鹈鹕测试让模型生成骑自行车的鹈鹕 SVG 代码,直观检验是否降智或混用小模型。基于 Tauri v2 与 Vue 3 构建,支持多套 API 端点配置、Top 匹配候选排名与置信度展示、题库一键同步,遵循 MIT License。

    推荐理由:把 ModelTrace 指纹题库与鹈鹕 SVG 测试打包成桌面客户端,为验证中转 API 是否货不对板提供了可直接上手的检测路径。

  5. GitHub · 去对齐工具与仓库61

    ButterKnife 发布:连接本地 Ollama 与 LM Studio 的自托管聊天与编码客户端

    rskulles 发布 ButterKnife,一个本地网络聊天客户端,可连接 Ollama、LM Studio 及任何 OpenAI API 兼容服务器(vLLM、llama.cpp),也可接入 Anthropic key 使用 Claude。每平台单文件、无需 Docker 或数据库,聊天数据留在本机;Code 标签页为自有模型提供类似 Claude Code 的编码智能体,模型读项目、改文件、跑测试,每步需用户批准,兼容 .claude/ 目录的 commands 和 skills。支持手机扫码多设备同步、双模型对比、/image 生图、Whisper 语音输入、上下文接近上限时自动摘要旧对话。

    推荐理由:原文详细列出了连接 Ollama、LM Studio 等本地模型服务器的配置步骤和 Code 编码智能体的权限机制,便于判断是否适合自托管。

  6. GitHub · 去对齐工具与仓库20

    Legal Backlog Digest PDF:用单一 Infrai 凭证打通法律批处理摘要与 PDF 生成

    Legal Backlog Digest PDF 示例展示用同一个 INFRAI_API_KEY 和 base URL,将法律批处理结果直接送入 pdf.generate,无需额外交接步骤。示例代码 overnight_digest.py 读取 matter 记录、提交 ai.batch.submit 请求并渲染 PDF,带幂等键、Retry-After 与指数退避重试。相比 OpenAI batch 加 wkhtmltopdf 的双账号双凭证方案,该流程一份凭证、一张账单、一条审计记录。

  7. GitHub · 去对齐工具与仓库60

    llm-gateway 开源:本地网关双向转换 Anthropic 与 OpenAI 协议

    banchen21 在 GitHub 发布 llm-gateway,一个本地网关,对客户端说 Anthropic Messages API,对上游说 Anthropic 或 OpenAI Chat Completions API,双向转换且支持 SSE 流式。它归一化 thinking、output_config 等易被第三方实现拒绝的字段,支持模型别名映射、按客户端签发和吊销入站密钥、可读请求日志(不含消息正文),提供桌面窗口和浏览器两种 GUI,监听 127.0.0.1:8787。未实现 Responses API,count_tokens 为字符估算而非真实 tokenizer;预编译二进制覆盖 Windows、Linux 和 macOS,macOS 仅含 headless 服务端,MIT 许可。

    推荐理由:本地网关在 Anthropic 与 OpenAI 两种协议间双向转换请求和流式响应,并给出模型别名、密钥管理和请求日志等落地细节。

  8. GitHub · 去对齐工具与仓库52

    Jeonghyeock 开源船舶机舱报警应对助手,MCP 加 RAG 全程本地运行

    Jeonghyeock 发布 engine-room-assistant 仓库,一个船舶机舱报警应对助手:报警触发后通过 MCP 从虚拟船舶自动化系统读取传感器值,用 RAG 在手册与 46 CFR Part 62 规则中检索程序并附依据给出建议,不执行操作。模型、检索、索引全部在本机运行(Ollama、LanceDB),船舶、机器与设定值均为教学用虚拟数据,仅规则为真实原文。检索评测用 15 个问题按 recall@5 评估,条款改为段落切分后 recall@5 从 0.87 升至 0.93、首位命中从 0.73 升至 0.80、每问题约 69 ms;针对 qwen3:8b 调整了系统参数与检索说明,并留下韩英跨语言查询未解决的问题待第三阶段用系统提示词或服务端英文查询对比解决。

  9. GitHub · 去对齐工具与仓库54

    RBG-Harness:面向编码智能体的单 LLM 确定性控制平面开源

    emiliano-go 在 GitHub 开源 RBG-Harness,用单个生成式 LLM 提出修改,其余环节全部由确定性检索、沙箱验证和小型判别模型承担。系统通过 15 个 MCP 工具暴露索引、检索、计划审计、测试排序、漂移检测等能力,存储使用 libSQL/Turso,学习组件从执行账本训练且仅作建议,编译与测试门禁仍是最终判定标准。项目标注为实验性,要求 Python 3.12+。

  10. Reddit · r/LocalLLaMA64

    双 CMP 170HX 本地优化 Qwen 3.8 Flash Next,作者公开完整配方与吞吐数据

    作者 /u/dead-fish 在两张 CMP 170HX(PCIe Gen2 x4)上优化 Qwen 3.8 Flash Next,使用 W4A16 AutoRound 检查点、修补版 vLLM、流水线并行和原生 MTP 投机解码。8 并发代码请求时单请求解码 116 tok/s、首 token 231 ms,聚合 840 tok/s;prefill 4k–64k 提示为 6,300–7,100 tok/s;HumanEval 157/164(95.7%)、GSM8K 1,271/1,319(96.4%),使用完整 262,144 token 窗口。完整配方、Docker 镜像和补丁见 https://github.com/AlexBrandes/cmp170hx-qwen38-flash-next。

    推荐理由:作者给出双 CMP 170HX 跑 Qwen 3.8 Flash Next 的完整配方和分并发吞吐数据,可复现且方法透明。

  11. GitHub · 3D 生成新仓库31

    Tailo 开源:基于 Claude 的简历定制工具,秒级适配职位且不虚构任何技能

    Tailo 是一个基于 Claude(claude-sonnet-5-5,medium effort)的开源简历定制工具,通过分析主简历与职位描述的差距,重排版块、改写要点并诚实标注技能缺口,不虚构任何内容。相比 Sonnet 4.6,Sonnet 5.5 在试点对比中更忠实于原简历,速度约快 2.5 倍且成本相近。项目采用 Next.js 16 + TypeScript + Vercel AI SDK + PostgreSQL(Neon)构建,支持 Google 登录、逐用户数据隔离,并可导出一页式 ATS 友好 PDF。

  12. GitHub · 3D 生成新仓库29

    Intent TestGen:从 issue 报告生成 fail-to-pass Python 测试补丁的开源研究实现

    Intent TestGen 是一个开源研究项目,能从软件 issue 报告自动生成 fail-to-pass 的 Python 测试文件并转为 git patch,用于 SWT-Bench Lite 风格评测。它先用 AST 仓库检查和 BM25 文件排序做确定性检索,再让 LLM 分阶段完成测试生成与候选评判,兼顾可控的 token 预算与可审计输出。真实 LLM 调用需 LLM7 API key,且需显式传入 --allow-llm 和 --allow-network 安全标志。

  13. GitHub · 3D 生成新仓库21

    RAGdoll:一个模块化、易扩展的开源 RAG 引擎

    Alice Durand 在 GitHub 开源了 RAGdoll,一个各组件解耦的模块化 RAG 引擎,通过 FastAPI 提供 REST API,支持 Pydantic 严格校验与 Swagger 文档。目前接入 ChromaDB 向量库和 Gemini API(默认 Gemini 2.5 flash,温度默认 0.2),检索返回 top k 最近邻 chunk,采用 Strategy 架构便于替换向量库或新增 LLM。路线图包括用 Ragas 评估、混合检索与 re-ranking,以及支持 OpenAI API 和 Ollama/vLLM 本地模型。

  14. GitHub · 3D 生成新仓库53

    Raywake 团队开源 motion-engine,用可编辑 HTML 和 JavaScript 生成产品发布影片

    Raywake 团队开源 motion-engine,一款基于可编辑 HTML/JavaScript 本地渲染产品发布影片的 MIT 工具。12 秒 demo 无需 API key 或付费生成即可运行,图形本地绘制、音效合成,输出 1280×720 30fps H.264/AAC MP4 及海报、QA 报告和可编辑源文件;可选接入 Raywake 生成图片、视频和音频素材,生成前提供免费 USD 报价,并支持预算上限、幂等 key 与断点续跑。需 Node.js 22+、FFmpeg 和 Chrome/Chromium。

  15. Reddit · r/SillyTavernAI71

    SillyTavern 扩展 WorldsApart 发布,用相关性重做 lorebook 条目选择

    开发者 /u/siliconlotus 发布了 SillyTavern 扩展 WorldsApart,用相关性评分替代 ST 核心的 World Info 条目选择机制,GitHub 地址为 https://github.com/siliconlotus/st-worldsapart。作者自测 92 个分级场景显示,在 10k 预算下实际进入提示词内容的 F2 得分从 0.27 提升到 0.51。

    推荐理由:作者给出91个分级场景下相关性得分从0.27升到0.51的实测数据,可借此判断这个 ST lorebook 替换系统值不值得装。

  16. ComfyUI Releases · 图像工作流13

    ComfyUI v0.42.1 发布

    ComfyUI 发布 v0.42.1 版本,标签为 63be2f9,于 18 Oct 22:58 打上标签,附带 2 个资源文件。原文未提供具体更新内容说明。

  17. GitHub · 去对齐工具与仓库32

    CoralBricks CLI:在现有编码智能体中调用 GLM 5.3 与 DeepSeek V4.1 Flash

    CoralBricks 推出 CLI 工具,可在 Claude Code、Codex CLI、OpenCode、Pi 等已有编码智能体中直接使用 GLM 5.3、DeepSeek V4.1 Flash 等开源模型,提供 1M token 上下文。通过 npm install -g coralbricks 安装,需 Node.js 20 及以上;登录采用浏览器验证,密钥经 P-256 ECDH 与 AES-256-GCM 加密存储于本地,且不修改用户原有智能体配置。

  18. GitHub · 去对齐工具与仓库38

    Home Sweet Home Agent:面向 Home Assistant 的集中式对话与 MCP 网关

    Home Sweet Home Agent 是一个集中式对话与 MCP 网关,为 Home Assistant 及可选文本客户端提供统一受控接口,客户端无需自行管理 MCP 会话、LLM 编排或写入安全。核心已实现 bearer-token 授权、每模块单一托管 MCP 会话、OpenAI 兼容的 provider 无关 LLM 循环、读/写/破坏性工具策略与单次确认、脱敏日志、健康端点、token 生成器和本地 chat CLI;Home Assistant 作为第五 MCP 源及其对话适配器为后续功能。

  19. GitHub · 去对齐工具与仓库42

    game-llm:让浏览器游戏与 AI 对话的 Cloudflare Worker

    GitHub 上的 game-llm 是一个供浏览器游戏(如 GitHub Pages 作品)统一调用 AI 对话的 Cloudflare Worker,API 密钥只存于 Cloudflare secret,按 Groq(openai/gpt-oss-120b)→ Gemini(gemini-flash-latest)→ Workers AI(@cf/google/gemma-4-26b-a4b-it)顺序回退,全部失败则返回 502 并由游戏侧规则会话兜底。各免费额度按每分钟/每日次数与 token 限制共享,触发 429 时按 Retry-After 暂停对应后端;另提供基于 Cloudflare Clef-flash 的选项判定功能。

  20. GitHub · 去对齐工具与仓库57

    Homing Pigeon 开源:让云端 SI 通过邮件远程操控你的电脑

    Pigeon-Home 在 GitHub 发布 Homing Pigeon,一个通过邮件通道让 Muse、Grok、ChatGPT、Claude、Gemini、Copilot 等云端 SI 在本地机器上执行任务的个人远程开发 agent。runner 轮询 IMAP 并验证 HMAC-SHA-384 签名后以特权用户执行任务,结果回传供 SI 迭代;Oracle 机制以 HMAC 签名证明返回答案而不泄露原始输出,支持 bubblewrap 执行隔离与扩展系统。项目明确警告持有共享密钥者即拥有机器完全控制权,建议使用一次性账户并阅读 PROTOCOL.md。

    推荐理由:原文给出了完整的威胁模型、HMAC 签名机制和三种安全档位配置,读者可以据此评估把云端 SI 接入本机的实际风险。

  21. GitHub · 去对齐工具与仓库64

    quintonmiller 开源个人 Agent 框架 Tailored AI

    quintonmiller 发布 Tailored AI(TAI),一个模块化的个人 Agent 运行框架,通过 tai CLI 安装后即可启动 HTTP API、内置 UI、cron 与 autopilot,并接入 Discord 或 Slack。各运行面(模型、工具、Agent、渠道、任务后端等)均有接口与注册机制可替换,插件为普通 npm 包;支持 Ollama 等 OpenAI 兼容本地模型,默认绑定 127.0.0.1:3000,提供 Docker 多架构镜像(amd64+arm64),本地 LLM 实测含 devstral-small-2(约15GB)与 qwen3-coder:30b(约18GB)。仓库地址:https://github.com/quintonmiller/tailored-ai

    推荐理由:README 给出了从安装到 Docker 自托管的完整命令和配置示例,模块边界与插件机制也写得清楚,便于评估是否自用。

  22. GitHub · 去对齐工具与仓库64

    llamadart 0.15.1 发布:Dart/Flutter 端侧 LLM 推理库

    llamadart 0.15.1 提供 Dart/Flutter 跨平台端侧 LLM 推理,一套 API 在 Android、iOS、macOS、Windows、Linux 和 Web 上运行模型,无需推理服务器。GGUF 模型经 llama.cpp 运行,.litertlm 经 LiteRT-LM 运行,支持流式输出、工具调用、结构化 JSON、多模态、LoRA、嵌入向量,以及实验性的语音识别、语音合成和基于 stable-diffusion.cpp 的端侧文生图(Preview)。

  23. GitHub · 去对齐工具与仓库66

    react-native-litert-lm 发布:React Native 端用 LiteRT-LM 跑 Gemma 4

    hung-yueh 发布 react-native-litert-lm,让 React Native 应用在 iPhone 和 Android 上通过 LiteRT-LM 与 Nitro Modules 端侧推理 Gemma 4 等模型。核心卖点是内存安全:loadModel() 预检权重加 KV cache 开销、运行时追踪 RSS、上下文溢出预警和确定性 unload(),避免 1–4 GB 模型被 iOS Jetsam 或 Android LMK 杀掉。支持 GPU(Metal/OpenCL)与 Android NPU、投机解码、JSON Schema/正则约束输出、typed 流式事件、工具调用、EmbeddingGemma 2 端侧嵌入,以及单引擎多会话。

    推荐理由:README 给出了与 react-native-executorch 和 llama.cpp 的逐项对比表,读者可据此判断手机端跑 Gemma 4 该选哪条路线。

  24. GitHub · 去对齐工具与仓库35

    HippoxHQ 开源 AI 原生桌面操作系统 hippoxOS

    HippoxHQ 推出 AI 原生桌面操作系统 hippoxOS,以自然语言作为核心交互方式,让用户通过对话控制文件系统、创作工具与自动化任务。系统基于专为自然语言交互构建的 Hippox Kernel,负责驱动调度、工作流编排(含 ReAct、Batch、Chain、PlanAndExecute 四种模式)与资源访问控制,并提供视频剪辑等专业子系统和定时任务管理。支持 Windows、macOS 与 Linux,可从 Releases 页面下载。

  25. GitHub · 去对齐工具与仓库49

    wnz99/llm-dev-skills:面向 Claude、Codex、OpenCode 的跨模型 LLM 开发技能集

    GitHub 仓库 wnz99/llm-dev-skills 收录一组支持 Agent Skills 格式(SKILL.md)的技能,用于跨模型代码审查、调试、验证与重构,可调用 Claude、Codex 或 OpenCode 作为外部 LLM 协作伙伴。技能涵盖 wnz-cross-review-pr 双模型独立互审、wnz-code-reviewer 新鲜上下文审查、wnz-phase-executor 分阶段执行等 16 项,支持安装到 Claude Code 与 Codex,wnz-code-reviewer 基于 google-gemini/gemini-cli 的 code-reviewer 改编,采用 MIT 许可证。

  26. GitHub · 去对齐工具与仓库21

    umabot/umabotools:基于 GitHub Pages 的单页 Web 工具集与 Markdown 自动部署流水线

    umabot/umabotools 是一组单页 Web 工具集合,通过 GitHub Actions 自动部署到 GitHub Pages。推送 main 分支后,convert_docs.py 会将 index.md 转为 index.html、将 ./docs/**/*.md 转为 ./dist/**/*.html,并自动注入页眉页脚片段,支持 skip_conversion、draft、title 等 frontmatter 控制,部署通常 1-2 分钟完成。工具仅用纯 HTML/CSS/JavaScript,CDN 依赖需带 SRI 哈希,开发规范见 AGENTS.md。

  27. GitHub · 去对齐工具与仓库40

    LocalPilot:硬件感知的本地大模型运行工具

    LocalPilot 是一款硬件感知的 Python 应用,可检测本机 CPU、RAM、VRAM 与 Metal/CUDA 加速能力,按兼容性筛选模型并自动配置 llama.cpp、vLLM、Ollama、LM Studio、Docker Model Runner 等推理后端与执行服务。它提供 6 步引导式安装向导、终端内流式聊天(ChatScreen)、25 类结构化错误码的错误恢复系统,支持 TUI 与 CLI 双界面,可通过 pipx、pip 或 uv 安装。

  28. GitHub · 灵魂体仓库48

    Llama Launcher:Windows 下的 llama.cpp 启动器

    Llama Launcher 是一款 Windows 平台的 llama.cpp 启动器,提供启动预设、VRAM/RAM 内存计算器、多版本构建管理、内置聊天和 benchmark,可从 Hugging Face 下载模型、从 GitHub 下载构建。其统一 OpenAI 兼容路由器支持模型自动加载与卸载,可通过局域网密码与 API 密钥访问,默认端口 8090 为管理界面、8080 为 OpenAI API 路由。项目采用 Tauri 2 桌面应用加 Svelte 5 UI 架构,并支持通过 GitHub Actions 或 Docker 交叉编译。

  29. GitHub · 灵魂体仓库31

    resume_builderV3:JSON 收件箱到 Postgres 队列的简历生成流水线

    resume_builderV3 是一套简历生成流水线:JSON 收件箱进入 PostgreSQL 队列,经 Python 生成并以确定性方式渲染出 JSON/Markdown 简历,存入私有 Supabase Storage 或本地存储。FastAPI、导入器与 worker 共用一个代码库,默认使用 Mock 提供商,另支持 OpenAI 兼容结构化 JSON 提供商,工作流含执行租约、有界重试和可恢复渲染上传。尚未实现 DOCX/PDF 模板、浏览器 UI 与签名下载 URL,本地开发推荐 Python 3.12+ 和 PostgreSQL 17。

  30. GitHub · 灵魂体仓库64

    LocalFlow:Windows 本地语音听写工具,Whisper 加可选 Ollama 清理全部离线运行

    taylormartins 发布开源工具 LocalFlow,在 Windows 上按 Caps Lock 即可听写,Whisper 转文字后由可选的本地 LLM(经 Ollama)或内置规则清理填充词与口误,音频和文本不出本机、无需账号。RTX 4070 Ti 用 large-v3-turbo 实测 21 秒语音约 1.7 秒转写加 0.6 秒清理,约 12 倍实时;无 GPU 时回退 CPU 转写和算法清理,另支持手机听写、语音命令模式和自定义角色语气改写。

    推荐理由:README 对清理链路的设计写得很实,包括防止 LLM 抢答的四道防线、延迟实测和 VRAM 争用排查,方法可迁移到类似本地语音工具。

  31. GitHub · 灵魂体仓库37

    MasakiNiwa/LLLM-Keiri:带本地 LLM 的日本会计学习网站上线

    GitHub 上的 LLLM-Keiri 是一个学习日本会计(簿记、日常账务、决算、税务、会计准则)的网站,目前为初期版。仕訳(分录)的正误判断、借贷一致与账簿汇总由程序完成,浏览器内的本地 AI(如 Gemma 4)在其上提供解说、反应与答疑,AI 角色类型可选。学习数据以 Markdown/YAML 与代码分离存放,可追踪决算书→总账→原始分录的下钻,支持合并决算、外部 AI 生成教材导入,并采用 WebGPU 推荐环境、MIT 许可与 PWA。

  32. GitHub · 灵魂体仓库30

    AI News Poster v12.0:基于 Groq LLM 的 Telegram AI 新闻自动发布工具

    开源项目 AI News Poster v12.0 是一套向 Telegram 自动发布 AI 新闻的系统,从 TechCrunch AI、VentureBeat AI、The Decoder 等 15 个 RSS 源抓取内容,经相关性过滤、6 种去重算法与多样性控制后,调用 Groq 的 llama-3.3-70b-versatile 生成帖子,失败时回退到 llama-3.1-8b。系统使用 SQLite 记录已发布与被拒文章,帖子最短 450 字符,新闻最长 72 小时,数据库保留 90 天。

  33. GitHub · 灵魂体仓库41

    kuarezma 开源桌面工具 ensemble-ai:模型分配向导与可回滚工具规则写入器

    GitHub 项目 kuarezma/ensemble-ai 是一款桌面模型分配向导和可回滚的工具规则写入器,用户选择工具与配置档、审阅六角色 crew、预览变更后需显式点击 Apply 才写入,支持 revert 回滚。内置目录含 11 个模型、35 个实测 effort 变体、26 个工具和 11 个订阅档位估算,目前仅启用 Claude Code、Codex CLI 和 Gemini CLI 的默认路径,其余 22 个客户端未验证。核心无 Electron/DOM 依赖、无遥测,提供 macOS/Windows/Linux 安装包,默认英文、可选土耳其语。

  34. GitHub · 灵魂体仓库15

    LangChain-LLM-Applications:基于 LangChain 和 Streamlit 的生成式 AI 应用合集

    GitHub 仓库 LangChain-LLM-Applications 收录了使用 Python、LangChain 和 Streamlit 构建的生成式 AI 应用,包含 Ollama Chatbot、OpenAI Chatbot 和 RAG Document Q&A Chatbot 三个项目。其中 RAG 应用支持上传多个 PDF,用 Hugging Face 生成嵌入向量、FAISS 存储检索,并由 Groq 托管的语言模型生成答案。项目未来计划加入对话记忆、FastAPI REST API 及 Docker 部署。

  35. GitHub · 灵魂体仓库33

    whetstone:从你自己的历史提示词中学习的提示词增强器(MCP 服务器)

    whetstone 是一个基于 MCP 的提示词增强器,从用户过去效果良好的提示词及其后续结果中学习,当前状态为"透传并记忆":enhance 调用先原样返回提示词,同时在脱敏后存储每次调用及结果。它提供 export、forget、reindex、import claude-code 等数据管理命令,检索功能默认关闭,可用 WHETSTONE_RETRIEVAL=on 开启;若服务故障,客户端会直接发送原始提示词。项目采用 Apache-2.0 许可证。

  36. GitHub · 灵魂体仓库47

    figjam-mcp:把 FigJam 画板转为可被 LLM 引用上下文的本地 MCP 服务器

    开源项目 figjam-mcp 提供一个本地 MCP 服务器,通过 Figma REST API 读取 FigJam 画板,将便签、表格、图片和箭头聚类为结构化快照,供 LLM 回答问题并附节点级引用链接。工具包括 ingest_board、get_board_context、answer_from_board、diff_board 等,需 Node.js 22.12+ 与 Figma personal access token,默认走 OpenRouter 免费模型(20 请求/分钟、50 请求/天)。仅本地 stdio 运行,快照存于本机私有缓存,MIT 许可。

  37. GitHub · 灵魂体仓库53

    processing-llm 发布:Ollama 本地模型驱动的双窗口浏览器 VJ 工具

    borboss366 在 GitHub 发布 processing-llm,一个双窗口浏览器 VJ 系统:Butterchurn 背景 + 热加载 p5 前台模块,由本地 Ollama 运行的 qwen3:8b 作为导演模型,根据音频特征随音乐切换预设和色彩滤镜。需要 Node 22+,渲染窗口与控制窗口通过 Node 服务器的 WS 桥通信,可跨机器运行;附 modgen 模块生成、replay.mjs 对导演提示词变体做离线 A/B 对比、观众手机画舞者提交审核管线等工具。

  38. GitHub · 灵魂体仓库55

    jerith-mesh 发布面向 MoE 大语言模型推理的同模型 P2P 算力网络

    ParadoxFuzzle 在 GitHub 开源了 jerith-mesh,一个模型同构的 P2P 算力网络,用于 MoE 大语言模型推理。节点只与运行相同模型的节点互联,以 Colibri 风格的按需专家加载为本地原语,仅在邻近节点持有热点专家时跨网请求,并通过流水线回退、投机预取等方式隐藏公网 30-300 ms 延迟。项目包含 CLI、Web UI、Discord bot、OpenAI 兼容 API、本地记忆技能(SQLite 或 PostgreSQL+pgvector 加 nomic 嵌入),贡献按推理 token、专家激活、带宽和在线时长计量并结算到 JerithChain(JER),也可接入 BTC/ETH/DOGE/XMR;反欺诈采用冗余重放、密码学承诺和搭便车者统计检测。

    推荐理由:原文详细说明了同模型节点组网、专家按需加载和贡献计量机制,适合想自建分布式推理网络的读者参考部署方案。

最多提供 50 页,更早的内容请使用搜索或主题页。