SolBehave:评估 LLM 生成 Solidity 智能合约的行为正确性
SolBehave 是一个评估 LLM 生成 Solidity 智能合约行为正确性的 benchmark,基于 250 个真实可复现的 Ethereum 合约,采用差分模糊测试、历史交易重放和 DCR 图引导的合成交易重放三种方法。对 7 个开源权重模型的评测显示,编译成功率介于 26.4% 至 92.7%,但差分模糊测试下仅 31.4% 的可编译函数与原函数等价,表明编译远非正确性的充分条件。
新闻、仓库与研究,按时间排列。
SolBehave 是一个评估 LLM 生成 Solidity 智能合约行为正确性的 benchmark,基于 250 个真实可复现的 Ethereum 合约,采用差分模糊测试、历史交易重放和 DCR 图引导的合成交易重放三种方法。对 7 个开源权重模型的评测显示,编译成功率介于 26.4% 至 92.7%,但差分模糊测试下仅 31.4% 的可编译函数与原函数等价,表明编译远非正确性的充分条件。
论文提出 PreciseCoder,在单元测试奖励基础上加入语义验证的局部编辑信号,让代码模型调试时更少改动且不幻觉出错误。在 4B、9B、27B 模型上,平均编辑行数从 7-15 降至 3,通过率持平;仅用单行 bug 训练即可泛化到仓库级修复。将 9B 模型的推理轨迹提供给 GPT-5.6 Sol 和 Qwen3.8-Max,可使编辑精度提升 4.6-12.4 分。
arXiv 论文提出 ARBITER,一个 35B MoE 智能体验证器,仅凭题面和源码判定候选程序正确性并生成反例作为可检验证据,基于 USACO 2026 构建了 USACO-JUDGE 评测集并用强化学习训练。训练将错误程序上的反例成功率从 40.61% 提升到 62.67%,USACO-JUDGE 二元判定准确率从 71.41% 提升到 87.41%,在代码选择与改进任务上均优于基线;IOI 2026 案例中 ARBITER 引导的改进使 GPT-OSS-120B 在官方提交限制下的期望分数超过金牌线。论文链接 https://arxiv.org/abs/2610.18760v1。
推荐理由:论文给出了反例生成与判定准确率在训练前后的具体数字,可据此评估这类可验证反馈验证器的实际提升幅度。
研究者提出多轮反馈引导(MFG)分子优化框架,用强化学习训练大语言模型基于前一轮反馈逐步优化分子,引入反馈向量与反馈对齐的奖励函数。在 GeLLM³O 上应用于十项多目标分子优化任务后,GeLLM³O-MFG 的平均相似度约束成功率(81.50%)超过基模型 GeLLM³O(70.81%)。
论文提出 AesCode,通过将设计目标表示为可归因属性的 design graph,结合确定性校验器与 VLM judge 的 Visual Graph Rubric 构建解耦跨模态奖励并用强化学习优化,以代码生成幻灯片、海报、仪表盘等视觉产物。AesCode-8B 和 AesCode-32B 相对同规模 Qwen3-VL 基线将视觉质量分别提升 31.1 和 22.4 个百分点,达到接近 GPT-5.5 与 Claude Opus 4.8 等闭源前沿模型的水平。
GitHub 新开源项目 nvidia-annual-reports-rag-chatbot 是一个 AI 聊天机器人,可帮助用户查找和理解 NVIDIA 年报及委托声明书中的信息。它采用 RAG(检索增强生成)技术从文档中检索相关内容,生成带来源引用的上下文答案。项目目前处于早期阶段,暂无 star、fork 或 release。
Dust 是一个基于 Rust 的 Dart 和 Flutter 代码生成工具,面向人类开发者和 AI 编码智能体,仓库快照来自 mainline revision 45349afab66f25b5092b4a0e7189a785ff578020。它通过注解加 dust build 生成类型化实现,提供数据类、JSON 序列化、校验、HTTP 客户端(Stable)以及路由、状态管理、i18n、数据库(Beta)等功能,并支持安装 use-dust Agent Skill。发布二进制尚未迁移,目前需用 cargo install 从源码构建,采用 MIT 许可证。
prompts.chat 将 Code Review Assistant 提示词由 JSON 格式改写为自然语言版,贡献者更新为 @sinansonmez。新版提示词要求模型分析代码的可读性、可维护性与风格、找出潜在 bug、提出性能改进建议,并按代码分析、具体反馈、改进建议三段格式输出,附 Python 找质数函数示例。
研究者提出 ReTerm,一种通过学习从自身失败任务中恢复来实现自我改进的终端智能体训练方法,并构建了用于 SFT 冷启动的 ReTerm-10K 数据集和从失败状态分叉生成多次自恢复尝试的在线 RL 算法 ReTerm-GRPO。基于 Qwen3.5-9B 的 ReTerm-9B 在 Terminal-Bench 2.0 上取得 34.8% Pass@1,较基座模型提升 14.6 分,且在多类错误下的恢复率均高于标准 GRPO。代码、数据和模型已开源。
作者在 arXiv 发布技术报告,宣布从零训练出 2.5B 参数的泰米尔语-英语模型 Agaram 2.5B 并开放权重。
推荐理由:作者公开了从训练配置到评测弱点的完整细节,包括约 13300 美元成本和知识能力的短板,可作为小语种模型从零训练的参照。
论文提出 SeTPO(Selective Teacher guided Policy Optimization),通过逆向 KL 的 token 级教师反馈与正向 KL 持续监督,解决小语言模型在强化学习工具使用探索不足与师生行为分布失配问题。理论上证明最优策略期望奖励不低于教师并保留部分教师概率质量,在 BFCL v4 与 API Bank 上超越 SFT、强化学习和蒸馏基线。
研究者以临床试验方案数字化为测试场景,发布含 150 份公开协议 PDF、四个任务类别的专家标注基准 TrialPD-Bench,并评估九个模型在五种 coding-agent harness 下的表现。结果显示最强智能体也无法完全解决该任务,通常能定位所需证据但在转写与结构化的最后一公里失败;配套的领域 harness TrialScribe 加入任务技能与验证循环,使本地部署的开源模型在八项指标上提升 6.2-59.4 分,达到或超过 GPT-5.6-Sol 等专有模型。
推荐理由:原文用专家标注基准把编码智能体在长文档任务上的失败定位到转写与结构化环节,并给出可复用的领域harness改进数据。
开源工具 upfront 0.1.0 可在输入提示词前统计各 coding agent 加载的 MCP 工具、skills 与指令文件消耗的 token,并检查在 Claude Code、Codex、Gemini CLI 或 OpenCode 中的兼容性。针对“Claude Code 首次提示前发送约 33k token、OpenCode 约 7k”的问题,demo 显示单个 filesystem MCP 服务器 14 个工具约占 2,751 token。工具用 o200k_base 计数,支持 uvx/pip 安装,提供 --json、--budget 等参数,默认不经同意不启动任何服务器。
GitHub 上的开源项目 Ignite 是一款面向 macOS 的桌面应用,可同时运行多个 AI 编程 Agent,每个对话在独立的 git worktree 中工作,任务完成后以 pull request 形式交付。它支持通过 Claude Code 和 Codex 登录使用 Claude 与 ChatGPT,也可用 API key,并内置沙盒、图片标注、⌘K 全局搜索、从 Claude Code/Cursor 等一键导入 Skills 和 MCP 服务器、手机同 Wi-Fi 远程访问等功能。Linux 与 Windows 可通过 npm run tauri dev 运行。
d-callan 发布 gxy-tool-bot,这是一个 Python 库加 GitHub Actions 工作流,可从用户提交的 Tool Request issue 出发,自动研究工具、生成 XML/macros/测试数据并开出 PR,已在真实工具请求上端到端跑通。流程为 plan、维护者加 ready-to-implement 标签、generate、PR 四步,支持更新既有工具、定时检测 bioconda 新版本自动开 PR,可通过 OpenRouter 配置 z-ai/glm-5.2 或 gpt-4o 等模型;设计上把规范放进验证循环而非系统提示词,agent 有 give_up 机制,当前处于积极开发状态,版本 0.1.2,MIT 许可。
推荐理由:作者公开了 Galaxy 工具 wrapper 生成机器人的完整工作流与配置细节,运维者可以直接照此在自己的仓库中接入。
DIALibGen 现已通过 okohlbacher/homebrew-dialibrarygenerator tap 在 macOS 14 及以上(Apple Silicon 和 Intel)提供 brew install --cask 安装,包含 CLI 与桌面版两个 cask。CLI 可在单一 TOPP 兼容可执行文件中生成、精炼和调优 DIA 谱图库,发行包经 Developer ID 签名与公证,内置 AlphaPeptDeep 的三个预测模型、运行时库和 CPU 训练,无需 Python 环境或下载模型。配套的 update-casks 工作流每六小时检查发布、校验双架构 SHA-256 并在双平台上自动审计安装与卸载。
GitHub 上的开源项目 VibeUI 是一套封装 Bootstrap 5.3 的 Vue 3 组件库,提供 60+ 严格 TypeScript 类型组件,自动处理 JS 生命周期、v-model、ID 生成与 ARIA 可访问性,支持 WCAG 2.4.3 焦点管理,并附带拖拽、日历、canvas 图表等交互套件。包内含 llms.txt 供 AI 助手查阅文档,通过 npm install @velkymx/vibeui 安装。
该仓库将 PyraNet-Verilog 设计转化为基于仿真的训练样例,用 LoRA 微调 Gemma 模型生成 testbench,并用 Icarus Verilog 仿真对比。已完成的 pass 1–2 显示,训练后的 E4B IQ4_NL + imatrix 在 600 个 DUT 上仿真成功率达 93.2%,而原版 E2B 多个量化版本为 27.2%–35.7%。VerilogEval v2 集成已就绪但尚未产出评测结果。
开源仓库 hamchowderr/locus 上线 GitHub,这是一个围绕 GoHighLevel 构建的 AI 原生系统,面向代理商提供站点生成与跨客户运营能力。产品文档存放在 Obsidian vault 中,PRD 中的"What changed in v0.5"记录了 v0.5 的变更;项目需要 Node 22.12+ 与 pnpm 10,桌面端为 Electron 应用。
Anthropic 发布工程复盘,因 Claude 使日均合并代码量从 2026 年 5 月约 2,500 增至 9 月超 30,000,五个月内自研版本控制系统 Scion 并完全替代 git,同时推出代码评审工具 Antique。
Google 工程师用 Gemini 4 Argon 在 google/adk-python 上无人值守运行 11 小时,共提出 6 项优化,审查后合并 2 项。落地后长会话内存会话准备时间降低约 40%,包导入速度加快 21%。
Google 发布 Gemini 4 Argon,面向开发者、企业和消费者全球开放,API 定价为每百万输入 token 2 美元、输出 token 10 美元,支持 1M 输入输出 token 上限。模型在 Vals Index 排名第一,ERQA 具身推理基准得 87%,在 Antigravity 中使智能体代码提交量增加超 35%、回滚减少近三分之一;安全方面对抗性违规减少近 2 倍,Gray Swan 间接提示注入基准下 15 次自适应攻击成功率降至 0.7%。
推荐理由:官方发布给出工程、科学与机器人三线的实测数据,可用于评估该模型在长程复杂任务上的真实表现。
GitHub 开源了 agentledger-cli,一个本地优先的 AI 编程智能体成本账本工具,读取 Claude Code、Codex 和 Gemini CLI 写入本地的会话日志并换算成 token 数与美元成本。实测样例扫描 73 个会话文件,共约 437.77M tokens、估算成本 $74.98。该工具完全本地运行、无需 API key 或网络调用,支持按模型、按日、按会话统计及 watch 实时刷新,价格表内置可离线使用,许可证为 MIT。
一位 Mac 用户称,如今可直接让 GPT 或 Claude 阅读 Transformers 与 vLLM 的实现并将代码移植到 Mac,这在几个月前还百分之百会失败,现在新模型不再需要等仓库维护者移植。发帖者表示自己是纯 vibe coding 仅供个人使用,并询问其他人是否有类似体验。
该仓库在 MetaMathQA 上以 PiSSA 风格 SVD 初始化微调 Llama-3.2-1B,并在 GSM8K 和 MATH 各 1,000 测试样本上评测。Rank 256 时 GSM8K 准确率 27.1%、MATH 5.3%,训练耗时 92.42 分钟;rank 16 下 p25/p50/bottom 三种奇异值范围分别取得 12.6%/11.7%/11.4% 的 GSM8K 准确率,均低于默认 top 的 15.3%。
该 GitHub 仓库提供一款 Streamlit 应用,在相同的受控记录上对比基于规则的 ETL 与 Groq 托管的 openai/gpt-oss-20b 模型辅助数据规范化,用于 ICITIIT 2027 受控 ETL 基准研究。实验使用 Kaggle 竞赛 "E-Commerce Returns: Who Will Send It Back?" 的 train.csv,以固定种子抽样并保留原始值作 ground truth,对比字段级准确率、整记录准确率、运行时长、吞吐、token 用量、API 错误和估算服务成本,可导出审计 JSON 与逐记录 CSV,应用可部署在 Streamlit Community Cloud。
GitHub 开源项目 codefeed 是一个 CLI 工具,可将本地目录或 GitHub 仓库转换为 LLM 友好的文本摘要。它不调用 git 或磁盘克隆,而是通过单次 HTTP 请求流式拉取 GitHub tarball;默认输出 digest.txt,支持 -o、-r、-f 选项及 XML 格式(LLM 优化的 XML 标签),并自动排除 .env*、*.pem、id_rsa* 等敏感文件和 lockfiles。网络错误与 HTTP 429/5xx 采用指数退避重试,最多 3 次;私有仓库可通过 GITHUB_TOKEN 认证。
Reddit 用户用 sergqwer 的 Strata 分支(strata-nvfp4)在单张 RTX 5090 32GB 上运行自行转换为 NVFP4 的 Qwen3.8-Flash-Next 125B-A6B hybrid MoE,完成 Three.js 低多边形 3D 马循环动画挑战。纯智能体工作时长 23m 10s,共 87 步、124,443 输出 token,cache 命中率 99.0%,解码中位 116 t/s,262,144 上下文下 33 分钟内零压缩。
inclusionAI 发布 Ling-3.1-flash,一个原生混合推理模型,总参数 560B、每 token 激活 25B,支持 1M token 上下文窗口。模型采用 Hybrid-linear MoE 架构(KDA 与 Gated MLA 混合注意力、512 个专家激活 8 个),在 Terminal-Bench 4.0、SWE-bench Pro、GDPVal-AA V2.1 等 Agent、编码和医疗金融类基准上有提升,并提供了基于开源编码 Agent Pi 构建的 LingCode 评测 harness。官方给出 SGLang(含 MTP 推测解码)和 vLLM 的部署配方,支持 Claude Code 等框架调用。
推荐理由:官方模型卡同时给出架构规格、多基准评测和 SGLang 与 vLLM 的部署配方,方便读者评估并直接上手这个混合推理 MoE 模型。
GitHub 开源项目 Shakespeare-Next-Word-Prediction-Using-LSTM 用 Python 和 TensorFlow/Keras 构建 LSTM 网络,学习莎士比亚文本的序列模式并生成莎士比亚风格文本。模型含 embedding 层、LSTM 层、Dropout 和 dense 输出层,采用 Adam 优化与 early stopping,支持 temperature 和 top-k 采样生成文本,仅用于教育学习目的。
GitHub 上的开源工具 structify 可将大语言模型的复杂文本输出整理为表格、JSON 或列表等清晰数据格式,无需编程基础。工具提供类型安全校验,兼容主流 AI 服务,支持 Windows、macOS 和 Linux,数据默认在本地处理。
freeCodeCamp 发布教程,讲解如何用 Python 和 AI 辅助工具构建可扩展数据管道。课程先由 Alexey Grigoriev 演示从零构建 ETL 管道的传统难点,再由 Adrian Brudaru 介绍开源库 dlt,涵盖 API 数据抽取与规范化、schema 演进、增量加载、SCD2、用 Crontab、GitHub Actions、Airflow、Dagster 部署,以及用 LLM 生成管道和文档。
GitHub 开源项目 NEXUS 是一个 Python 编写的 Agentic AI 应用构建器,可将自然语言需求自动转化为项目文件。其多智能体工作流由 Planner、Architect、Coder 三个 Agent 分别负责规划、架构设计和代码生成,并通过 Streamlit 界面提交需求,使用 Groq API 驱动 LLM 生成,内置验证与修复、重试机制。
Tessl 博客介绍用四个可拥有的文件约束编码智能体:CLAUDE.md 全局指令、.claude/rules/ 路径级规则、.claude/ 下的能力配置以及 .claude/hooks/ 钩子,通过这些文件为 Claude 等智能体设定行为边界和自动化流程。
Tibo 宣布 GPT-6.1 Sol 在 Codex 与 Work 中的默认上下文长度从 272k 提升至 500k,增幅约 80%。此举可减少压缩(compaction),适合需长期保留大量上下文的任务;用户仍可自行覆盖设置,模型最大上下文长度为 1M。
Vapi 工程师 Lat Ware 自研的 Pedantic Review Bot 将 PR 从开到合并的平均时间从 130 多小时降至 65 小时。该机器人通过运行测试和小复现来验证发现,分析与评论分属两个 job,且只能评论、不能批准或推送。在 2026 年 9 月 2 日至 10 月 2 日期间,它审查了 1,694 个 PR,并在其中 276 个中提出 363 个 blocker 发现。
开发者 Brandon Thomas 因不满 Adobe 订阅违约金,用 Claude Opus 5.5 以 Rust 逆向重写 Photoshop 等 7 款 Adobe 软件并开源,其中 PS 项目不到 10 天获 4.6 万 Star,整个 REA 项目 Star 数逼近 10 万。
prompts.chat 将 Code Review Specialist 提示词重构为结构化 YAML 格式,包含 system 角色、persona 元数据、分步审查指令(语法与逻辑错误分析、行业标准评估、优化机会识别)及可操作的反馈交付物。新版本保留原代码审查定位,更新作者署名并标记为 FALSE 状态。
prompts.chat 更新了 Code Review Specialist(代码审查专家)prompt。新版聚焦代码质量与可读性、编码规范合规、优化与性能改进机会、潜在 bug 识别,要求提供清晰可操作的反馈、带示例的改进建议并保持专业建设性语气,且改为结构化 YAML metadata 格式。
nabinpkl 开源 askRAG,一个对 1,046 篇 arXiv 计算机科学论文构建的 Agentic RAG 应用,agent 通过混合检索、元数据查询、论文阅读和沙盒 Python 等工具回答问题。仓库含 78,024 行目录的可筛选浏览、引用与类目趋势页和基准页,检索用 BM25 与稠密向量经 RRF 融合再用 Voyage rerank-3-lite 重排,93 道金标问题的评测显示 Hybrid + rerank 达 90% Recall@10、论文级召回 99%,中位延迟 735 ms、每次查询约 $0.000659;代码 MIT 协议,依赖的 PyMuPDF 为 AGPL-3.0。
推荐理由:作者公布了每种检索方法的逐项评测数据,含按问题类型的差异和噪声边界,读者可据此评估 Agentic RAG 方案的适用场景。