基于 NVIDIA AIPerf 构建的 LLM 基准测试工具发布 alpha 版,征集反馈
Reddit r/LocalLLaMA 用户基于 NVIDIA AIPerf 开发了一款易于理解的 LLM 基准测试与调优工具,目前处于 alpha 阶段并公开征集反馈。工具能报告在指定延迟目标下服务器可承载的用户数、哪个环节最先成为瓶颈,以及下一步应调整哪个 vLLM 参数,附有 llama 3.1 8b 在单张 H100 上的示例报告。
新闻、仓库与研究,按时间排列。
Reddit r/LocalLLaMA 用户基于 NVIDIA AIPerf 开发了一款易于理解的 LLM 基准测试与调优工具,目前处于 alpha 阶段并公开征集反馈。工具能报告在指定延迟目标下服务器可承载的用户数、哪个环节最先成为瓶颈,以及下一步应调整哪个 vLLM 参数,附有 llama 3.1 8b 在单张 H100 上的示例报告。
Kapitsa 开源推理引擎贡献者 Ye 发布 Flint 40B A2.5B Q4 在 MacBook Pro M4 Pro 48GB 上的实测,使用 Kapitsa 达到 128 tok/s 短上下文解码。Kapitsa 为 Apple Silicon 定制 Metal kernel,在 128K 上下文解码上比 recursive 自家引擎快 1.30 倍、比 llama.cpp 快 1.9 倍,缓存后续轮次首 token 延迟 0.13 秒;针对 Flint Q4 训练的 KFlash tree drafter 声称已带来 1.4 倍解码加速,预计周一发布。
GitHub 新仓库 TigreGotico/evidencia 发布,这是一个面向欧洲葡萄牙语(pt-PT)的 RAG 问答服务,通过 Select、Sufficient、Grounded 三个决策门判断证据是否支持答案,不足时拒答。每次响应附带各门概率与阈值、证据链接及引用段落号,示例中 sufficient 0.934、grounded 0.966,16 个段落保留 4 个。它支持本地文档与 pt.wikipedia、geoapi.pt、IPMA 等 14 个公共来源,默认决策模型 Jevásio-0.8B-v2 仅限非商业研究使用,整体采用 Apache License 2.0,并提供 MCP server 和 HTTP API。
Zettelrobbe 是基于 Paperless-AI 全面重构的开源文档管理工具,支持接入 OpenAI、Ollama 或任意 OpenAI 兼容 API 做语义文档分类,并新增 MFA 登录、全局 API 与 SSE 限流等服务端安全特性。它提供 Mistral OCR 与本地视觉模型的灵活 OCR、重复标签/发件人合并,以及服务端分页与 tag 缓存,即便上万文档也能保持界面流畅。项目通过 Docker Compose 部署,作者提示当前架构变动大、不保证稳定,迁移前需完整备份 Paperless-ngx。
Manixhor 在 GitHub 开源 QA-Bot-Document,一个基于 RAG 的文档问答系统,支持 PDF、TXT、DOCX 并附带来源引用,已上线 Streamlit Community Cloud。技术栈包括 LangChain、ChromaDB、HuggingFace all-MiniLM-L6-v2 嵌入和 Groq 免费托管的 openai/gpt-oss-20b,速度超 100 tokens/sec,限每分钟 30 次请求。切块采用 1000 字符、200 字符重叠的 RecursiveCharacterTextSplitter。
GitHub 上开源的 Financial Document Intelligence RAG Assistant 是一个 AI 问答应用,通过 RAG 从上传的金融文档中检索信息,并由 Ollama 托管的语言模型生成有依据的回答。项目使用 ChromaDB 存储向量嵌入,提供 Streamlit 交互界面,并展示检索片段、页码等来源信息。作者强调这是教育性质项目,不能替代专业财务建议或银行正式贷款审批流程。
开源项目 Image_classification_generation 基于 Python、Streamlit 和 Azure OpenAI,提供图像描述、视觉问答和由 LLM 生成 SVG 矢量插图并支持预览、下载等功能。项目要求 Python 3.12,通过环境变量加载 Azure 端点与密钥,并对上传图片和 SVG 内容做校验与清洗,采用 MIT 许可证。
GitHub 仓库 PirateEra/mpi-thesis 开源了一套基于 SemTalk 架构的动作生成训练项目,包含两阶段训练流程、SMPL-H 与 SMPL-X 身体模型支持,以及 LMDB 数据处理、Gradio 可视化和评估脚本。项目使用 uv 管理环境,通过 JSON 配置文件控制数据切分参数(如 pose_fps、pose_length、max_gb)与 VAE 训练参数(如 codebook 大小、learning rate、loss 权重),并提供 MPI 集群的运行说明。
GP Lead Hunter 是一款面向 Guitar Priest Tec 的 AI 客户线索挖掘与外联工具,可跨行业发现潜在客户、整理线索、调研线上足迹、生成个性化 WhatsApp 和邮件推销文案,并跟进追踪。实时商户搜索集成功能目前仍在开发中。
said9246 在 GitHub 开源 youtube-rag-bot 项目,一个基于 AI 的 YouTube 聊天机器人,利用 LangChain、RAG、Hugging Face 和向量数据库,从视频转录文本中回答问题。项目使用 Python 和 Streamlit 构建,并提供在线 Demo 可直接试用。
danieltyukov 在 GitHub 开源 ChipLeap,可从负载描述(如 Llama 3.2 1B、5 tokens/s)或用户自带 RTL 出发,自动设计架构、生成 SystemVerilog RTL、X-HEEP RISC-V SoC 配置或 AXI4 IP,并完成仿真、综合、布局布线直至 GDS。附 MCP 服务器供 Claude、Cursor 等助手驱动,示例 UART 在 IHP SG13G2 开源 PDK 上通过 DRC、LVS,全流程约一刻钟,MIT 许可,亦可调用 Cadence、Synopsys、Siemens 商用工具。
法律科技咨询网站 discover.legal 正在 site-v6 分支进行全新重写,README 作为契约文档随 PR 同步更新。该站提供 Buy、Build、Run、Advise 四项服务,价格均为"Price on request",含 Documents(安大略省)与 BigLaw 两个离线录制的演示产品,不存储访客数据、无账户与支付,生产环境仍由旧产品(110 个辖区、v1 引擎)服务直至切换。
Upstash 的 Context7 为编码智能体提供最新的版本特定库文档和代码示例,避免 LLM 依赖过时训练数据而产生幻觉 API。它支持 CLI + Skills 与 MCP 两种模式,通过 `npx ctx7 setup` 一条命令完成安装,需 Node.js 22.13 或更新版本,可用 `--cursor`、`--claude`、`--opencode` 指定目标智能体,并支持手动配置到 30 多个 MCP 客户端。
GitHub 开源项目 homeai 是一个用 LangChain 构建的家庭 AI 助手,默认使用本地 LLM,可选用 OpenAI 作为提供方,支持 LM Studio、Ollama、llama.cpp、vLLM 等 OpenAI 兼容 API 服务,默认模型为 google/gemma-4-e4b。项目提供 CLI、Streamlit Web 界面、PyQt6 桌面应用三种形式,Web Launcher 支持通过 Tailscale Serve 暴露 8501 端口并可打包为 macOS 应用。
作者在 GitHub 开源 ContextCraft,一个 AST 感知的仓库打包工具,用 Tree-sitter 解析代码、以 Personalized PageRank 评估文件架构重要性,并通过多选背包问题在 4 个 AST 保真层级(FULL/SKEL/SIGS/TREE)间分配 token 预算。在其自身仓库的基准中,4000 token 预算下公开 API 签名覆盖率达 70.9%,而朴素前缀截断仅 18.4%;支持 CLI、Python SDK 和 Web 界面,可输出 Markdown、Claude XML 或 JSON,采用 MIT 许可证。
推荐理由:作者给出了与朴素截断在相同 token 预算下的公开 API 覆盖率对比数据,读者可以据此评估这种 AST 分级压缩是否值得替换现有打包工具。
Auriti-Labs 在 GitHub 开源 GEO Optimizer,一条命令即可对任意网站打 0–100 分,检测 ChatGPT、Perplexity、Gemini、Claude 和 Google AI Overviews 能否抓取、理解并引用该站。工具提供 16 个 CLI 命令、9 个评分类别、27 个 AI 爬虫检查和 47 项内容检查,MIT 许可,可用 uvx 零安装运行,也可在 geoready.dev 免费网页版使用。对 1800+ 网站的审计显示中位分为 59/100。
GitHub 仓库 urbanhobbit/bilgi-llm-wiki 将 /root/wiki 目录配置为 Obsidian Vault,用作 LLM 使用的 wiki。内容包含 Obsidian 下载与打开步骤、推荐插件(Dataview、Templater、QuickAdd、Calendar、Advanced Tables)、Graph View 使用及简报工作流,当前共 9 个 wiki 页面,含 UNICEF entity 页面和数字权利、数字公民概念页。
Myrhex-x 发布开源 Chrome 扩展 Unsponsored(unsponsored-0.2.0.zip),优先用 SponsorBlock 共享列表跳过 YouTube 视频里的赞助口播、频道周边推销和求订阅提醒,没有标记的视频再用用户自选 AI 读字幕找广告,支持 OpenAI、Claude、Gemini、Grok、DeepSeek、OpenRouter 及 Ollama 本地模型,还能在 YouTube 出现 Skip 按钮时立即结束广告。实测 60 个 SponsorBlock 标注视频,本地 qwen2.5 7B 检出 75%、误跳率 10%、免费,Grok 4.3 检出 90%、误跳率 0%、每视频约 $0.0073。
推荐理由:开源浏览器扩展自带实测数据,对比本地小模型与商用 API 在跳过赞助片段上的检出率和成本,方法可复用。
KPO-Tech 发布开源 Go Agent 运行时 Seshat,支持多提供商路由、自托管与本地优先部署,提供 CLI/TUI、gRPC 和 Go SDK 三种使用方式。内置 60 多个工具,含沙箱 bash、MCP 客户端、RAG、技能系统、SQLite 会话持久化与权限引擎,支持 Anthropic、OpenAI、Gemini、Mistral、DeepSeek、Ollama 等 15 个提供商,采用 Apache 2.0 许可证。
推荐理由:原文给出与 Claude Agent SDK、OpenAI Agents SDK 等五个框架的功能对照表,可据此评估这个 Go 运行时在多提供商和自托管场景的取舍。
frederico-kluser 发布开源工具 llm-selector,可本地筛选 OpenRouter 目录中 460+ 聊天模型,按模态、开放或专有权重、混合价格、缓存定价、上下文窗口和 benchmark 门槛过滤,再用 log 尺度成本/质量散点图、benchmark 雷达图和排行榜对比。通过 npx llm-selector 即可运行,数据来自 OpenRouter 公开 API 和 Artificial Analysis(需自备 key),fit score 在当前结果集内计算,缺失 benchmark 显示为 — 而非 0,配置可存为预设并以 JSON 导入导出,代码采用 MIT 许可。
推荐理由:开源的本地模型筛选工具,把硬约束过滤和自定义权重的 fit score 分开,适合按自己的预算和模态需求选模型。
bilkamal 在 GitHub 开源 agentorium,一个把任意多智能体工作流可视化为实时 2D 办公室的工具,智能体以角色形式出现,有任务时走到工位打字,空闲时睡觉、打游戏或聊天,消息以信封动画在房间内传递。支持通过 sdk/ 的 HTTP 客户端接入 LangGraph、CrewAI、AutoGen、OpenAI Agents SDK、Claude Agent SDK 或纯 Python 循环,也可使用内置的 client/supervisor/worker 团队,每个智能体可独立配置 provider、模型和 API key(支持 anthropic 官方 SDK 及 OpenRouter、Groq、Ollama、vLLM 等 OpenAI 兼容端点)。
GitHub 仓库 dimthink/awesome-ai-podcast-notes 是一个面向 AI 从业者的开放资料库,把长播客和 YouTube 深度内容转成可检索、可引用的 Markdown 笔记,当前收录 958 篇笔记、16 个频道、632 份结构化文稿,覆盖 2016-10-07 至 2026-10-21 的内容。资料分为深度笔记、结构化文稿、原始文稿三种版本,并提供按频道、时间线和主题索引的浏览入口,附 data/episodes.json 等机器可读数据。仓库由 YouTube AI Deep Reader 自动生成并每日刷新,内容为 AI 生成资料,引用前建议核对原始来源。
Soum-Code 发布开源项目 AgentPulse,一个可自托管的轻量可观测性 SDK,对多 Agent LLM 系统的每个 span 持续评估 grounding 风险、工具声明校验、Agent 间矛盾与漂移,并将 Agent 稳定性指数汇总为 0-100 分。grounding 评估用 MiniLM 嵌入相似度加 DeBERTa NLI 分类器双模型串行打分,支持 LangGraph 插桩或直接包装 OpenAI/Anthropic 客户端;附 2026-08-18 基准数据(全评估器 P95 172.2 ms)及漂移、阈值消融等多份报告。需从源码安装,PyPI 上的 agentpulse 是无关项目,评估 worker 进程不可省略,暴露到公网前须设置真实的 AGENTPULSE_API_KEY。
推荐理由:开源项目作者给出完整的评测延迟数据与部署文档,读者可据此评估这套多 Agent 质量监控方案能否复用到自己的流水线。
duu261 在 GitHub 发布面向编程智能体的 Agent Skill「production-ops-discipline」,源自作者在生产服务器上约 12,000 次 tool calls 中观察到的 claude-opus-5-5 失败习惯。技能教授变更前写明目标与回滚、每次调用只做一个改动、禁止读取 .env 等密钥文件、在固定触发条件下委托独立审查等纪律;附录的脚本统计显示显式工作目录比例从 60.8 升至 99.4,cd 串联从 35.5 降至 0.6,但作者说明改动当晚同时落地了配套规则,且与 GPT 模型的对比列来自不同时段,只能作方向性参考,计划中的对照 A/B 测试尚未进行。
推荐理由:作者基于约 12000 次生产环境 tool calls 的日志给出行为前后对比数据,并坦承存在混淆因素,可复用的生产操作纪律模式值得一读。
taixingbi 在 GitHub 发布 adaptive-LLM-gateway 仓库,提供一个基于 AWS Bedrock 的中心化 LLM 网关 MVP,spoke 账户通过 IAM SigV4 调用,应用元数据存于 DynamoDB 而非每个应用一个 inference profile。网关在自身层面强制执行过载与多租户容量控制,支持 none、rpm、tpm、token-bucket、priority、slo-aware 及 adaptive-slo 等 admission policy,共享配额状态存于 ElastiCache。
作者发布 dsh-dupguard,一个 DeepSeek Harness (DSH) 的实时重复输出守卫插件,同一字符串连续重复 10 次及以上(可配置)时立即停止生成,已生成内容仍正常提交为助手消息。插件默认检测思考文本,代码区域内阈值按 4 倍放宽;实测把代码内倍数从 3 提到 4 后 260 个文件的重放误报从 2 降到 0。支持简单阈值、分段表与实验性模块三种次数模式,提供图形设置页、截停通知与一键继续指令,兼容 DSH 0.2.1-rc.2 及更早多个版本,Node ≥ 20,MIT 许可。
推荐理由:README 给出默认阈值、误报实测和双入口测试覆盖,想在 DSH 里拦模型复读空转的话可以直接照着装和调参。
job-apply-mcp 是一个开源 MCP 服务器,可并行搜索 Greenhouse、Lever、Ashby、SmartRecruiters、Workday 等职位板并代填申请,默认 dry_run = true,真实提交需审批 token,CAPTCHA 和验证码等硬停止一律返回 needs_human。常规表单字段路由到本机 Ollama、LM Studio 或 MLX 处理,仅复杂文案走云端,支持 stdio 与带 bearer token 的 streamable HTTP 两种传输,兼容十种 MCP 客户端,采用 MIT 许可证。
GitHub 开源项目 tech-news-rag-assistant 是一个回答近期科技新闻问题的 RAG 助手,每个答案均基于真实文章并标注引用来源。系统采用 dense(BGE-large 嵌入)+ BM25 混合检索,经 RRF 融合和 cross-encoder 重排,由 Cerebras 上的 gpt-oss-120b 生成答案,并设防幻觉检索分数门槛。在 15 题的 golden set 评测中,Recall@5 达 1.000、MRR 0.967,忠实度与相关性均为 5.00(1–5 分)。
GitHub 上的开源项目 AlexITC/expense-tracker 是一个自托管记账应用,用 AWS Textract 做收据 OCR、用 Amazon Bedrock 提取 PDF 银行对账单交易并自动对账,减少手工录入。它支持 Telegram bot 提交支出、MCP server 供 AI 助手查询数据,AWS 功能默认 mock 模式可本地端到端运行。项目本身也是作者用 AI 写代码的实验:作者只负责规划和审查,出错时改进工作流而非手改代码。
GitHub 上的 Unmortan-Ellary/Vascura-FRONT 是一个 Apache 2.0 开源 LLM 前端,支持任意 OpenAI API 兼容后端(含 LM Studio、Kobold.CPP、Llama.CPP、Text Generation WebUI,Strict API 模式下支持 Mistral 和 OpenRouter)。
GitHub 开源项目 Voice AI Study Coach 是一个可投入生产的 AI 学习教练,支持 Claude、GPT-4o、Gemini 等多 LLM,通过 .env 配置即可零代码切换供应商并提供 fallback 降级。它具备苏格拉底式对话辅导、自适应测验和语音输入输出(Web Speech API)功能,后端采用 FastAPI + PostgreSQL,前端为 React + TypeScript,并提供完整的 Azure Container Apps 部署方案。
PACo 让语言模型像 PAC 一样用自然语言处理 MASW 地震剖面,从原始记录生成频散曲线和横波速度模型,结果按 PAC 的格式输出。它提供两种模式:workflow 模式成本更低但结果较差,本地小模型即可运行;autonomous 模式效果更好但需要具备视觉和长上下文的前沿模型,消耗更多 token。项目基于 Python 3.14 和 uv 安装,包含 paco-server MCP 服务器与 paco-agent 终端聊天工具,并通过每阶段的质量门(quality gate)检查和修复结果。
一位用户计划用约 100 美元购入的 MacBook Pro M2(24GB 内存、1TB 存储),通过 llama.cpp 或 vLLM 搭建轻量 AI 服务器,替代 4 x RTX 5060 Ti 的现有 AI rig 为 Home Assistant 服务以省电费。其担心 M2 的 prompt processing 过慢和模型幻觉问题:gemma4:e4b 实测会漏细节(如"关闭除 3 号灯外所有灯"时全关),也拿不准 Qwen3:30b 是否必需、ornith-1.5:9b 是否够用。
llama.cpp 的 WebGPU 后端在 PR #30914 中新增 Q2_0 量化支持。在 RTX 3060 上用 Dawn WebGPU 实测,Ternary Bonsai 1.7B Q2_0 的 pp512 从 35.03 t/s 提升到 1915.91 t/s,tg128 从 14.02 t/s 提升到 94.75 t/s;Bonsai 2 2B Q2_0 的 pp512 达 2039.89 t/s,tg128 达 71.72 t/s。
Reddit 用户 /u/ievkz 因厌倦阅读 AI 编程智能体输出的大段文字,在 AGENTS.md(CLAUDE.md)中加入规则,要求用 Wiremark 生成 UI 原型、用 Mermaid 生成图表,使 Codex、Claude Code 等智能体产出的 plan.md 包含图表、流程图和 UI 草图。由于多数查看器和 IDE 不支持渲染 Markdown 中嵌入的 Wiremark 和 Mermaid,作者又开源了 blueprint4llm 工具,支持导出 plan.html 或 plan.pdf,也可用 --serve 启动本地预览服务器,保存 plan.md 后页面自动刷新,并可从页面直接下载 PDF。
推荐理由:作者针对 AI 编程智能体输出大段文字的痛点,给出用 Wiremark 和 Mermaid 让 plan.md 可视化的具体做法和配套开源工具。
Storrito 在 GitHub 发布 agentitos,一组围绕 Instagram Stories 规划与发布工具构建的专用 LLM 智能体。每个智能体为独立文件夹,遵循 Agent Skills 格式的 SKILL.md,可复制进 Claude Code 等支持技能的运行时使用,包含 auto-reframe、best-takes、brand-kit、kinetic-lyrics 和 story-from-link 五个智能体,覆盖媒体生成、视频剪辑和故事制作等工作流,项目采用 MIT 许可证开源。
GitHub 上开源的 Ollama-UI 是一个本地优先的轻量级 Ollama Web UI,采用 FastAPI 后端加原生 HTML/CSS/JavaScript 前端,无框架、无构建步骤。它支持模型选择、流式响应、对话历史、图片输入(最多 4 张)、消息队列、停止生成和新对话,通过 HTTP/SSE 连接本机 Ollama 实例。项目刻意不做云端部署,提示词和推理全部保留在本地,无需任何外部 LLM API。
MemoFlow 是一套面向 Codex 的交互式语音转写与自学习纪要生成 Skill,调用阿里云百炼的 Qwen-Audio-3.1-ASR-Flash-Filetrans 模型完成长音频非实时转写,当前仅支持 Windows 10/11 x64,采用 Apache-2.0 许可证。其中 asr-transcription Skill 已完成,可生成区分说话人、带时间戳的 Word、Excel、Markdown 三种格式校对稿;个性化纪要生成仍在开发中,从 v0.1.2 起支持自动更新。
Picsman 可将两张人像转化为电影感的僵尸情侣视频,涵盖视觉效果对比、场景保真度与角色一致性等维度。文章还介绍了其具体的视频生成方法。
作者发布 intel-arc-local-ai 仓库,在同一台机器上逐卡实测 Intel Arc Pro B50 16GB(¥3,499)、B60 24GB、B65 32GB、B70 32GB 四款显卡的本地 AI 表现,涵盖 llama.cpp on SYCL 的 Qwen3.6-35B-A3B Q4_0 解码(37.6/52.4/53.1/75.9 tok/s)、Qwen-Image 2.1 与 MiniMax H3 视频生成速度、整卡功耗(B70 满载约 290 W)及每任务电费。
推荐理由:作者用同一台机器只换卡的方式实测四款 Intel Arc 显卡,给出性能、显存与电费三个维度的对照数据,也标注了未测项。