如何在本地测试基于 stdio 的 MCP server
一名用户在 r/LocalLLaMA 请教如何以最简单的方式在本地 AI 环境中测试自己用 Python 编写的 MCP server。默认 stdio 传输导致 llama-ui 连接不便,LM Studio 又需在 JSON 中手动声明每个工具;作者最终在 Pi 中通过 ~/.pi/agent/mcp.json 配置运行,且 Pi 能自动检测 server 中的工具方法。
新闻、仓库与研究,按时间排列。
一名用户在 r/LocalLLaMA 请教如何以最简单的方式在本地 AI 环境中测试自己用 Python 编写的 MCP server。默认 stdio 传输导致 llama-ui 连接不便,LM Studio 又需在 JSON 中手动声明每个工具;作者最终在 Pi 中通过 ~/.pi/agent/mcp.json 配置运行,且 Pi 能自动检测 server 中的工具方法。
研究团队提出 Poseidon,一个从科学代码仓库自动生成多样化、可验证训练环境的流水线,同等仓库预算下比先前方法多提取近 10 倍环境,涵盖 Reproduction、Subflow、Completion、Correction 四类任务。由此构建的 Pearl 包含来自 7,110 个公开仓库、横跨 10 个学科的 97,659 个可执行可验证环境,是迄今最大、覆盖面最广的科学智能体训练环境集合。Qwen3.5 模型(9B、27B、35B-A3B)在 Pearl 上训练后在六项科学智能体基准上均取得一致提升。
研究者提出 CoRPS-Dial,一个可控双智能体框架,通过画像驱动的患者智能体与流程引导的医生智能体交互,并结合事后质量控制,合成诊前医疗对话。在冠心病场景实验中,其合成对话在信息覆盖、临床合规和自然度上更贴近真实对话;下游微调实验也验证了生成数据的实用性。
SCI-AGENT-EXAM 是一个面向科研工作流的智能体评测基准,包含 120 个专家标注任务,覆盖 11 个科学领域和 7 种研究任务类型。它采用程序化验证与经校准的 LLM 评审相结合的混合评估协议,并对执行轨迹的进展与稳定性进行分析。对 10 个前沿 LLM 智能体的实验显示,GPT-6 Astra 以 80.9 的总分领先,但仅 26.0% 的运行超过 0.95 成功阈值。
研究者提出 ProfileSim,一个面向金融营销外呼的场景化用户模拟框架,联合建模用户画像(人口属性与大五人格)和业务画像,基于真实语音对话数据微调,并用 GRPO 配合对话与话语两级分层奖励优化。搭配集成 SOP 约束与 RAG 的客服 Agent,ProfileSim 在口语自然度和用户画像一致性上最优,生成的话语更短且业务合规度相当,可支持意图识别训练、Agent 评测与冷启动部署。
Async-RBench 是一个面向 LLM Agent 异步任务执行的基准,包含覆盖八个场景的 200 个可执行任务,并通过场景控制器与 Event Response Contract(ERC)规范结果处理,同时以 Dynamic Replanning Score(DRS)独立于任务成功率进行评分。对九个 Agent 的评测显示 DRS 得分为 19.2 到 45.1,且异步交付下任务成功率平均为 26.0%,低于批量交付的 29.7%;对其中三个 Agent 在每次收到结果后重建计划的提示策略仅带来 2.6 到 3.5 分的 DRS 提升。
NVIDIA 于 10 月 23 日在 Hugging Face 发布 NVIDIA-Nemotron-3.5-Bolt-E4B-4GB,由 Gemma-4-E4B-it 后训练而来,总参数 8B(有效 4B),上下文 64K,采用 OpenMDW-1.1 许可。模型面向本地语音助手、交互式人格和嵌入式界面,强化多轮工具调用与指令遵循,支持通过 chat-template 开关思考模式、运行时思考预算、会话模式和异步工具调用,可搭配 DFlash drafter 做投机解码。模型卡附上与 Gemma4 E4B-it、Qwen3.5 4B 等在 BF16 和 Q4_K_M 两种精度下的基准对比,并公开了预训练和后训练数据清单;unsloth 提供 Q4_K_M GGUF 量化版及 llama.cpp 部署命令。
推荐理由:模型卡给出与 Gemma4、Qwen3.5 同精度组的实测对比表和完整部署配方,可据此评估这个小模型在多轮工具调用上的取舍。
研究者提出 ANT-A Benchmark,覆盖 7 个跨领域、跨模态数据集,每个实例含任务专属标注指南和 5 个独立人类标签,并用 Fleiss kappa 评估模型标注与人类标注分布的一致性。配套的 ANT-OR 多智能体框架从正负反馈中蒸馏对比决策规则来优化提示词,agreement@>=2 准确率比较强基线高 4.5 分,与人类标注分布的 Fleiss kappa 差距在 2 分以内。代码和基准已开源。
LeafSkill 提出一种外部复用层,通过语义检索落地经验、将动作模板绑定到当前对象与可执行动作,并使用轻量 1.7B 选择器为递归 LLM Agent 选择动作。在 200 个 Robotouille 任务上完成 137 个,超过 ReCAP 的 121 个(68.5% vs. 60.5%),并在两者均完成的 106 个任务上减少 Qwen3.5-27B token 消耗 14.42%、调用次数 14.08%。技能保持在模型参数之外,冻结选择器可采纳 97.34% 的未见技能类型。
DealsFlow 是一个部署于英国早期基金的人机协同智能体框架,让 LLM 阅读创业公司融资材料并引用证据评分,通过阶段化佐证上限(78/70/60 分)、只降不升的怀疑者调用和预取证据模式抑制评分虚高。在 142 笔三年以上 SEIS/EIS 投资上,其评分与总价值倍数的 Spearman ρ=0.45、识别减记的 AUC 0.71,优于无约束 LLM 的 0.38 和 0.68;20 份申请的试点中分析师单件耗时从 44.7 降至 18.9 分钟,但 70% 的报告仍需至少一处修正。
arXiv 论文 2610.32370 提出一个物理可控的多模态智能体,用于非平稳响应下科学仪器的逐shot调参,包含符号物理量提取、两层记忆加 MLLM 生成动作、独立动作可行性检查三个可审计组件。在 EXL-50U 四个平台的 455 shots 按时间顺序回放中,物理符号比波形图像的 macro-F1 高 0.21-0.32,检索上下文使与历史动作方向的一致率提升 22.4-42.7 个百分点;在五个离子源的监督运行中,409 次 executed shots 的束提取率达 86.80%。
推荐理由:论文用可审计的多模态智能体在真实聚变装置上做仪器调参,给出了消融数据和监督运行成功率,方法可迁移到类似非平稳控制场景。
arXiv 论文提出 RIVER 框架,将多智能体 LLM 交互的输出分解为原子声明,从收敛、探索、保留三个维度评估信息动态。研究在 40 个新闻生成受控案例上评估五种交互策略,发现反复汇聚式交互促进收敛但缩小信息空间,分布式接力则产生更广、共享更少的信息。结果表明集体信息动态更适合用信息流机制而非下游性能来解释。
arXiv 论文 2610.32322 提出测量 LLM Agent 技能内化的新方法,用于公共技能库的技能退役。现有规则只比较有无技能的增益,无法区分技能已被内化和模型与技能都不具备能力的 uncovered 状态。新方法隐去技能后在由技能合成的任务上打分,并需另一模型从该技能获益时才采信高分。在 SkillsBench 上,31 项退役中 28 项依赖未通过的探针,按未辅助得分退役无可检测的奖励损失,判定一致性 Cohen's kappa 0.42 高于增益规则的 0.23。作者发布 1251 个技能及四个模型下的任务与逐项得分。
开源项目 NAS-Agent-Butler 提供 NAS / Linux 私有云智能管家方案,不跑本地重型模型,内存仅占 80MB,无需显卡,通过 WebSocket 长连接接入飞书,零公网端口暴露。它支持文字、语音、图片多模态交互,遵循 MCP 规范提供系统负载、Docker 治理、磁盘 SMART 巡检、天气查询和 WOL 唤醒等工具,支持 YAML 自定义定时任务,基于 MIT 许可证开源。
ActiveHarness 是一个用于构建生产级 LLM 管道的 Ruby 框架,为 Rails 设计,也可在纯 Ruby 中使用。v0.3.0 将 ActiveHarness::Agent 更名为 ActiveHarness::Request,Agent 名称改指通过安全 Tool 执行决策循环的新抽象。框架支持嵌套与混合管道、基于共识的 Tribunals 裁决、成本与耗时追踪、基于 OpenTelemetry 的事件追踪,以及 JSON、SQLite 和 PostgreSQL 存储的会话记忆,Tool calling 兼容 OpenAI 兼容提供商和 Anthropic。
ReproLens 是一个开源智能体,用于审计 AI 项目的复现就绪度。它扫描本地 Python 仓库,提取 README、依赖、模型卡、数据集卡、CI 和许可证等证据,按环境、数据、模型、实验、文档与 AI 特有风险六个维度评分,输出 report.md、score.json、evidence.json、remediation.json,并生成带证据 ID 的整改计划和预计提分。
Agent BlackBox 是一个基于 Docker Compose 和 PostgreSQL 自托管的 AI 智能体记录工具,将每次模型调用、工具调用、命令、文件编辑和重试记录为类型化事件,并定位运行中断的步骤。它提供成本分析、多智能体 Waterfall 视图、运行对比和审批功能,内置循环、重试风暴、成本激增等确定性检测器,并提供 LangGraph、OpenAI、Anthropic 和 MCP 适配器,数据默认仅存元数据且保留在本机。
开发者 rakeshnitb23 在 GitHub 发布 toolism,通过删除 JSON Schema 中冗余的 title、anyOf 包裹、default: null、未用 $defs 等内容,在不改变工具调用有效性的前提下削减工具定义 token。在含 159 个工具、来自 13 个主流 MCP 服务器的 14 套工具集上,默认 safe 规则共削减 37.4% token,其中 Notion 服务器降幅达 73%。工具提供 measure、slim 命令、hypothesis-jsonschema 等价校验、GitHub Action 门禁,以及 OpenAI、Anthropic 和 MCP 格式的 Python API,采用 MIT 许可证。
推荐理由:作者给出 14 套共 159 个工具的实测数据,默认规则平均削减 37.4% 的工具定义 token 且保证校验等价,可直接套用。
metadist 在 GitHub 发布 Synaplan,一个 Apache-2.0 协议的自托管团队 AI 平台,整合聊天、文件知识库、网站挂件、WhatsApp 与邮件等渠道。支持 OpenAI、Anthropic、Gemini、Groq、Mistral、xAI、HuggingFace 及本地 Ollama 等多家模型并可按任务切换;AI planner 将请求拆解为任务图并按步骤分配模型以降低成本,每条回答显示实际花费。README 提供与 Open WebUI、LibreChat、Dify 的对比表,标准安装约 4 GB,支持 Docker、离线内网 TLS、Linux 服务器与 Kubernetes 等多种部署方式。
GitHub 上的 tanmoysrt/sites.tanmoysarkar.me 仓库是一个极简归档,用于存放 LLM 生成的报告、指南、计划、演示和 Marp 幻灯片。内容支持直接 HTML 页面与生成页面两种方式,源文件存于 raw/ 目录、构建产物存于对应目录并需同时提交;Marp 幻灯片通过 npm install -g @marp-team/marp-cli 构建发布。该发布技能可通过 npx skills add 命令为 Codex 和 Claude Code 全局安装,推送到 main 分支即更新列表并部署站点。
deeptelar 发布 telar-foodie,一个基于 Kotlin 库 Telar 构建的旅行觅食规划 Agent 示例应用,整个应用是单个网页,无后端服务器,工作流在浏览器中运行,计划保存在浏览器本地。应用通过 Wikivoyage、OpenStreetMap 和可选的 Google Places 三个信源交叉筛选餐厅,Agent 以图状工作流组织访谈、检索与工具调用,支持英语、西班牙语和加泰罗尼亚语。作者用同一趟 Palma de Mallorca 三天行程实测多个模型:gemma4:cloud (31B) 被推荐,qwen3:8b 可用但表现弱,gemma4:12b 在 15 GB 内存下溢出未测完;七天行程加两次修改用 Claude Opus 5.5 约花费 $2.12。
GitHub 开源项目 Kamebox 是一个为团队打造的 AI 智能体协作房间,人类与多个 bot 共享空间协作,支持 Pack 模板、@mention、Plan mode 和定时 Routines。所有 bot 写操作需人工点击 Allow 审批,每次变更记录为可 Undo 的卡片,默认使用 ANTHROPIC_API_KEY,也可配置 KAMEBOX_PROVIDER=openai 接入 OpenAI 兼容端点。它通过 Docker 部署,最低 1 vCPU、512 MB RAM 即可运行,空闲占用约 55 MB,数据存于单个 SQLite 文件并每日自动备份保留最近 14 份。
andrewsavio 在 GitHub 开源 AI-World,一个低多边形 3D 世界中十个有需求、性格和偏好的智能体以量子计算为目标自主学习和生活。每个智能体带两个 PyTorch 网络,技能脑用 mini-batch SGD 训练,决策脑用 REINFORCE 策略梯度强化学习,不含任何语言模型;全部在本地运行,无云端、无 API 密钥、无遥测,附 pytest 测试套件与 GitHub Actions CI。
推荐理由:十个自主智能体在本地低多边形世界里用真实 PyTorch 网络学习与决策,全程无语言模型,架构与训练方法都写得清楚。
Mollie 发布 mollie/ai 仓库,通过 Mollie MCP server 和集成 skills 让 Claude Code、Cursor、Codex、Gemini CLI 等 AI 编码助手实时访问 Mollie 账户。安装需具备 profile.read 权限的 Mollie Advanced access token,提供 mollie-payments、mollie-upgrade、mollie-agent-toolkit 三个 skill 及基于 agent-toolkit 的 Vercel AI SDK、OpenAI、LangChain 示例。
开发者 boywithdragons 在 GitHub 发布了一个基于 RAG 的共同基金 FAQ 问答助手,覆盖 5 只 HDFC Mutual Fund scheme 及一篇资本利得声明文章,每个答案只引用一个来源页面。系统在调用 LLM 前先做 guardrails 拦截建议、预测、比较和个人数据,检索用 sentence-transformers/all-MiniLM-L6-v2 嵌入、Chroma 向量库、TOP_K 5,生成走 Groq API 的 qwen/qwen3.8-27b,输出上限 300 token、超时 20 秒。项目需 Python 3.14,仅限事实问答,不提供投资建议。
Dome-Layer 在 GitHub 发布 dome-llm-council,让 Claude(Strategic Advisor)、Gemini(Research Analyst)与 GPT-4o(Critical Advisor)三个模型进行两轮结构化议事:各自独立作答后互相质询,再由可配置的 synthesizer 模型(默认 claude-opus-4-6)产出包含 DISSENT、置信分数与推理链的裁决。每次议事会生成 GovernanceEvent 写入 append-only 审计日志,可持久化到 Supabase,面向受 GDPR、MiFID II、AI Act 约束的行业决策场景。
GitHub 开源项目 AI Career Coach 让求职者在同一保存的工作区内完成申请准备,功能包括 CV 反馈、模拟面试、岗位匹配分析、公司调研和个性化学习路线图。前端采用 React、Vite、TypeScript,后端为 Python FastAPI 加 PostgreSQL 存储,AI 能力基于 OpenAI API,PDF/DOCX 简历解析用 pypdf 和 python-docx。项目前端托管在 Vercel,可在线体验。
GitHub 上的 Dome-Layer/dome-document-intelligence 可从 PDF、图片或表格中自动检测文档类型并提取字段,提供逐字段置信度评分、16 条治理规则校验与仅存元数据和哈希的审计日志。该工具属 DOME 方法的 Orchestrate 与 Model 阶段,Claude API(默认模型 claude-sonnet-4-6)模式已可用,Ollama 本地模式和 Azure OpenAI 模式尚未实现,计划支持 Llama 3.2 Vision 和 Qwen2-VL。后端为 FastAPI、前端为 Next.js,评估用四层 harness 测量精确率/召回率/F1 与置信度校准(ECE)。
Dome-Layer 在 GitHub 开源 dome-data-intelligence,用户上传任意 CSV 或 Excel 文件即可在数秒内得到带自然语言问答的治理分析看板,原始数据不出浏览器。后端基于 FastAPI,支持 claude、azure_openai、ollama 三种 LLM Provider(后两者目前仅有 stub 未实现),前端为 Next.js,依赖 Supabase 实现认证与看板保存,内置 3 个预置演示数据集和 18 个冒烟测试。项目采用 CC BY-NC 4.0 许可,仅供非商业用途。
francisown 在 GitHub 开源 FilingCopilot,一个本地优先的 SEC 财报研究工作台,每个数字可追溯到报告期、货币、单位和行定位,答案可导出为带 SHA256 清单的证据包并由独立校验器离线复核。项目用 Python 和 FastAPI 构建,LangGraph 编排研究工具,支持浏览器、CLI、REST 和 30 个 MCP 工具,约 23k 行代码。自评的 140 题双语评测中 100 个研究题完成 81 个,数值核对 116 项精确匹配、0 项错误,但检索 Recall@5 仅 0.26,作者明确说明评测为自评、无独立人工金标准。
Manifest LLM Gateway 是一个开源 LLM 网关,面向 AI Agent 和应用,将 API 密钥、订阅和本地模型接入同一 OpenAI 兼容端点,查询可发给正确模型,避免单一厂商锁定。它支持 300+ 模型、35 个内置 provider 连接和 18 种订阅流程,提供完整请求日志、费用追踪与限额通知,并在查询失败时自动 fallback 到其他模型。可通过 Docker 镜像自托管或 Cloud 版使用,采用 MIT 协议。
GitHub 上的华为电脑营销图文生成项目「华章有据」(huawei-pc-marketing-agent)发布 v1.2.0,需求问询最多两轮,文字角色统一使用魔搭的 deepseek-ai/DeepSeek-V4.1-Flash-1017,图片核验用 Qwen/Qwen3.5-35B-A3B。线上真实任务中小红书图文 49.4 秒生成成功,带回答续跑 66.9 秒 ok_with_flags;上线前 196 项 Python 与 34 项前端测试通过。公开演示无需账号,创空间保持 protected 模式,主生图链路 ChatGPT 上游返回 401 待刷新令牌,失败时降级到魔搭免费 Qwen/Qwen-Image-Edit-2511。
kingfs 发布 Trajecta(v2.0.0,由 llm-tracelab 改名),一个本地优先的 LLM 流量录制/回放代理,可将真实 API 交换保存为 .http cassette 并离线回放。它支持 OpenAI、Anthropic Messages、Google GenAI、Vertex 等协议,逐片保存 SSE 流,测试无需网络与 API key。项目提供 Monitor UI、trace 解析 findings、ATIF v1.8 JSONL 导出、MCP server 的 21 个工具及多上游路由,生产用 Postgres、本地用 SQLite。
arXiv 论文 DMAIC-Bench(arXiv:2610.32305)提出评测 LLM 智能体自我克制能力的基准,用 97 个种子任务、覆盖四个行业 15 个工业案例,基于 Lean Six Sigma 的显式统计前提构建,配反事实变体以区分合理停止与盲目停止。对六家提供商 13 个模型的实测显示,GO 决策路由准确率平均 92%,NO-GO 决策仅 19%;盲测专家评审估计 11 个被审计智能体的报告在 47% 的 NO-GO 决策点上基于无效证据行动,区间 31% 至 61%。论文含 54 页 14 图,代码与数据已公开。
推荐理由:论文用反事实变体把自我克制从任务完成度里拆出来测,给出 GO/NO-GO 路由准确率的量化差距,可作为评估智能体决策的新方法参考。
一位医疗行业用户因隐私限制不能用 Gemini、Claude、Codex,在 r/LocalLLaMA 询问 2026 年 10 月本地生成幻灯片的最佳方案,要求输入数据与生成过程全程本地。其列举两种做法:让本地 LLM 生成 HTML 幻灯片,布局与 JS 交互更灵活但分发麻烦;或用 python-pptx 生成 PPTX,传统直接但效果呆板。
论文提出 SWE-Shift,一个评估编码智能体在任务执行中途遭遇代码、依赖或需求变更时表现的基准,包含 120 个场景、12 类变更族,并在 9 个干预位置评测。17 个编码智能体系统的 Shifted 成绩均低于 Clean 基线,GPT-6 Astra 从 67.35% 降至 24.79%,配对成功率 20.34%;工具/会话变更与过期证据在所有系统上配对成功率为零。论文地址 https://arxiv.org/abs/2610.32196v1
推荐理由:这个基准专门测任务执行中途环境被改动时的表现,17 个系统的成绩都下降,暴露了保留已有工作与刷新证据的短板。
研究者提出 DIVA,一种免训练的 LLM 信息获取方法,让模型基于证据的决策价值决定何时查询、何时停止,避免为无法改变决策的"检查"付费。其变体 DIVA-U 进一步考虑 LLM 对证据影响概率估计的不确定性。在 4 个领域、20 个 LLM 上,DIVA-U 的 regret 低于所有 LLM 基线;在各检查可靠性已知的合成场景中,DIVA 将最佳基线的 regret 降低 75%。
有用户反馈,在 Android 的 Termux 上通过 Chutes 在 SillyTavern 中使用 DeepSeek V3.2 时,近期随机出现空白回复,其他模型正常。日志显示模型已生成内容,但全部写入了 reasoning_content 字段而非 content,导致 SillyTavern 收到空回复。作者已尝试切换连接方式、调整采样参数和推理设置均无效,怀疑与约 60k tokens 的长对话、Chutes 端点或 SillyTavern 的响应处理有关。
posit-dev/ai-lib 是一个 npm-workspaces monorepo,为 Posit Assistant 提供平台无关的 LLM provider 基础设施,包含 ai-provider-bridge(插件注册表、模型客户端支持 14 家 provider)、ai-config 和 ai-credentials 三个包。ai-config 在读取 providers.json 时按 provider 块粒度容错,无效配置被跳过而不影响有效配置,程序化写入则保持严格;ai-provider-bridge 通过 v* 标签触发 GitHub Release 发布 tarball。
开源模拟赛车工具 Simulator Controller 发布 7.3.1.0 版,基于插件化框架可对接 Button Boxes 等外设控制 SimHub、SimFeedback 等模拟器组件。内置四位 AI 助手——Race Engineer、Race Strategist、Race Spotter 和 Driving Coach,分别负责进站与天气、比赛策略、周围车辆预警和驾驶指导。新版本修复了 LMU 与 RF2 聊天模式,更新了 LLM Runtime,并提升了 GPT-6 工具调用兼容性。