跳到正文
10月23日周五
  1. GitHub · 去对齐工具与仓库37

    SneppX-ALG:开源安全 AI 算法框架,含 10 层安全与 MoE/SSM 架构

    SneppX 开源的 MIT 协议 AI 算法框架 SneppX-ALG,以 C11/C++20/CUDA 实现约 183K 行代码,提供张量引擎、autograd、HSS→SER→ARC→NPE→FM 五阶段管线和 S0–S9 十层安全。支持 INT8/INT4/FP8/AWQ/GPTQ 量化、DDP/ZeRO 分布式训练及 LLaMA 2/3、Mistral、Qwen 2、DeepSeek V2 模型库,含 300+ 测试与 Python API。

  2. GitHub · 去对齐工具与仓库26

    LmDotnetTools:面向 .NET 的多厂商 LLM SDK

    AchieveAI 开源的 LmDotnet 是一套 .NET 大语言模型 SDK,通过统一接口支持 OpenAI、Anthropic 和 OpenRouter 等多家厂商,支持流式与同步调用、中间件管道、强类型模型及函数调用。其 OpenRouter 用量追踪功能可自动统计 token 与成本,缓存 TTL 默认 300 秒,经环境变量即可零配置启用,项目采用 MIT 许可证。

  3. GitHub · 去对齐工具与仓库64

    brazen 发布:统一各 LLM 提供商协议的 Rust 命令行适配器 bz

    brazen 仓库发布 bz 命令,一个无状态的 Rust 单二进制适配器,把 OpenAI chat/completions、OpenAI responses、Anthropic messages、Google generative-ai、Ollama 等协议归一化,管道输入请求、流式输出规范响应。支持 API key 与 OAuth/SSO(内置 openai-chatgpt 登录)、模型前缀路由、bz --serve 双协议反向代理、token 统计与 cache_key 提示缓存分支标识;通过 cargo install brazen 安装,也可下载预编译二进制。

    推荐理由:仓库以配置行而非代码分支接入新厂商,并给出跨五家协议的归一化事件流测试,值得做 Agent 底层适配时参考。

  4. GitHub · 灵魂体仓库64

    inferencegod 开源 autonomy-loop:双终端 Claude Code 对抗式构建-评审循环插件

    inferencegod 在 GitHub 发布 MIT 协议的 autonomy-loop 插件,让同一仓库上的 2-4 个 Claude Code 终端以 git baton 方式轮转 builder 和对抗式 reviewer,共享状态写入 LOOP-STATE.md。核心约束包括冻结不变量门禁、无编造规则、覆盖率棘轮、资金路径变更强制人工放行,并按 T0-T3 信任分级控制无人值守自动晋级;作者自述贡献在约束组合而非循环模式本身。

    推荐理由:这个 Claude Code 插件把对抗式评审、冻结不变量和防幻觉约束打包成一键安装,价值在于约束设计而非循环本身。

  5. GitHub · 灵魂体仓库49

    Ribbon Protocol:多 LLM 协作工程护栏开源项目模板

    GitHub 开源项目 ribbon-protocol 定义了一套多 LLM 协作协议:架构师定标准、编码者在约束内实现、可信验证器独立验证结果,架构师与审查者须使用不同厂商的不同模型。整个协议写在约 140 行的 AGENTS.md 中,仓库提供 ADR、plan/task 模板及 field-guide.md(PDF 为 2026 年 10 月工作版 1.0),可将 docs/ 复制到项目中初始化使用。

  6. GitHub · 灵魂体仓库37

    WhisperDocs 开源:基于自有文档的 Agentic RAG 问答系统

    WhisperDocs 是一个本地运行的 Agentic RAG 文档问答项目,基于 LangGraph 构建含 7 个节点的状态图,检索采用 pgvector 向量余弦加 BM25 并以 RRF 融合,可选 bge-reranker-base 重排。生成侧按模型 ID 自动路由:Gemini 2.5 Flash 处理分类、查询改写等热路径节点,AWS Bedrock Claude 负责 RAG 生成。项目通过 Docker Compose 部署,支持 WhatsApp(Twilio)、token 级 SSE 流式输出,并内置 50 条查询的评测集。

  7. GitHub · 灵魂体仓库19

    GitHub 灵魂体仓库 sepahead:基于 NCP 协议的四程序本地实验组合

    sepahead 仓库展示了一套以 NCP 协议为共享消息契约的本地四程序组合:Engram 运行 NEST 神经网络,CREBAIN 提供独立 3D 环境与传感器融合,Prisoma 记录实验与证据,Galadriel 做传感器篡改检测。各程序通过私有进程通道交换有界请求,其中 Engram 源码在私有 Paper2Brain 仓库,公开仓库仅为占位;本地 SDK 已发布 1.0.0,Haldir 则在 NCP wire 1.0 候选版外发布经签名验证的授权命令。

  8. GitHub · 灵魂体仓库27

    ai-trend-radar:AI 趋势雷达,自动汇总每周 AI 与本地 LLM 动态的 GitHub 仓库

    GitHub 仓库 ai-trend-radar 每周一和周四更新,用官方一手信息整理过去一周 AI 与本地 LLM 领域的新产品、模型、论文和硬件,收集到发布全程无人手参与。每个关键词配一段摘要文与一张图解,并提供周度总览图、静态 JSON API(api/v1/index.json)和 Atom feed,还可将筛选后的条目导出为 PDF / PowerPoint。代码以 MIT 许可开源,AI 草稿需通过 digest_gate 检查(最多重试 5 次)才会自动合并并发布到 GitHub Pages。

  9. GitHub · 灵魂体仓库62

    rosetta-gateway:单二进制局域网 LLM 网关开源

    cn-maul 开源了 rosetta-gateway,一个把多个 AI 服务商统一到单一接入点的局域网 LLM 网关,交付形态为单个二进制加一个 SQLite 文件。它支持 OpenAI Chat、OpenAI Responses、Anthropic Messages 三协议下游入口,客户端零改造接入 Cherry Studio、OpenWebUI、Claude Code、Codex CLI 等,并提供链式故障转移、多用户权限、token 配额与 RPM/TPM 限速、人民币余额闸门、逐请求用量记账与 Vue 3 Web 管理界面。

    推荐理由:README 把配额、故障转移、记账和回环默认绑定的安全考量写得很细,想自建局域网 LLM 网关的读者可以直接对照部署。

  10. Hugging Face Blog70

    Microsoft 与 Hugging Face 发布 ThinkingBox-Training:用数据库评分作 RL 奖励后训练 Agent

    Microsoft 与 Hugging Face 发布 ThinkingBox-Training,在 GitHub 开源了将数据库终态可执行检查转化为 RL 奖励的后训练流程。用离线策略相对难度筛选出 187 个训练任务,对 Qwen3.8-27B 做 50 步 GRPO 后,ThinkingBox-Bench 507 个任务中每次都成功的任务从 38(7.50%)升至 107(21.10%),pass@1 从 51.70% 升至 60.78%,pass@20 略降 7 个任务;单个可靠任务成本从 $24.36 降至 $8.00。

    推荐理由:把数据库终态检查直接用作 RL 奖励的完整训练配方,任务筛选方法和成本变化都给了数据,可迁移到有状态 Agent 训练。

  11. Reddit · r/LocalLLaMA30

    开源自托管商业模拟器 C-Sweet 可接入 RTX6000 运行 Qwen3.8-27B

    开发者发布开源、可自托管的商业模拟应用 C-Sweet,用户自带模型即可运行,主打 agent-first 业务管理。其核心思路是用小模型承担细分角色,Qwen3.8 27B 已能胜任其测试过的各类企业角色。每个 agent 均沙箱隔离、无外部访问权限,支持策略管控、agent 中间人代理和一键 kill switch。

  12. GitHub · 去对齐工具与仓库52

    开源图表工具 Yantra 发布:JSON 描述生成可交互架构图与离线 HTML

    开源工具 Yantra 将短 JSON 描述转换为可交互的架构图、时序图、流程图、状态机、ER 图、思维导图或带图表的单页答案,输出为单个可离线工作的 HTML 文件。布局、连线路由和标签放置全自动,内置校验器报告断链、重叠和标签碰撞并给出稳定错误码;支持 CLI、MCP 服务器、浏览器 playground 和 Python SDK,可导入 Mermaid、PlantUML、draw.io 和 Visio 文件,需 Node.js 20.19+,MIT 许可。

  13. GitHub · 去对齐工具与仓库59

    Fibteq 开源 Myrel:可自托管的协调者与线程 Agent 项目工作区

    Fibteq 开源了 Myrel,一个可自托管的 AI Agent 工作区,项目聊天里由协调者 Agent 开线程、线程 Agent 以实时清单推进任务并按需向协调者请示。线程 Agent 可跑在 Cloudflare Sandbox 的 OpenCode,或通过 myrel-runner 用本机的 Claude Code、Codex、Gemini CLI,CLI 登录不离开本机;支持 Fireworks、Anthropic、OpenAI 多模型自带密钥,整体跑在单个 Cloudflare Worker(Durable Objects、D1、R2、Containers)上,提供 Web、iOS、Android 与桌面客户端,AGPL-3.0 开源,项目处于早期,托管版在 myrel.fibteq.io。

    推荐理由:开源可自托管的 Agent 协作工作区,协调者只路由、线程智能体各自干活,架构与自托管细节都写清了。

  14. GitHub · 去对齐工具与仓库62

    GGUI 开源 MCP-UI 协议:让 AI 智能体用自然语言生成临时交互界面

    ggui-ai 在 GitHub 开源了 GGUI,一个由运行时协商的通用 MCP-UI 协议,智能体用自然语言描述需求即可生成临时交互界面,无需前端代码,用户操作通过 ggui_consume 等工具回流给智能体。协议处于 pre-1.0 草案阶段,32 个 @ggui-ai/* 包同步发布,v1.0 将冻结协议;支持 ggui serve 自托管并配对 Claude Desktop、Claude Code、Cursor、ChatGPT desktop 等 MCP 运行时,也可通过 cloudflared 隧道从 claude.ai 测试或使用 mcp.ggui.ai 托管端点。

    推荐理由:官方仓库同时给出自托管、cloudflared 隧道连 claude.ai 和托管端点四条路径,含端口与凭据等落地细节。

  15. GitHub · 去对齐工具与仓库62

    OMGBrews 开源 llmkit:基于 LiteLLM 的本地优先 LLM 调用层

    OMGBrews 在 GitHub 发布 llmkit,一个构建在 LiteLLM(配合 instructor 做结构化输出)之上的本地优先薄封装层,为应用提供跨 OpenRouter、Google AI Studio、Anthropic、OpenAI、DeepSeek、Cerebras、AWS Bedrock 和本地 Ollama 的统一调用接口。核心特性包括经校验的 Pydantic 结构化输出、按提供商的限流(默认并发上限 8,支持自适应 AIMD 退避与可选熔断器)、面向编码 Agent 的 verdict-first YAML 日志与 index.jsonl 索引、默认开启的瞬时错误重试,以及可选的响应缓存;安装名为 omg-llmkit,导入名为 llmkit,要求 Python ≥ 3.12。

    推荐理由:原文逐项说明了结构化输出校验、按提供商限流和面向 Agent 的日志设计,读者可以据此判断是否把它接进自己的调用层。

  16. GitHub · 去对齐工具与仓库53

    mnochernadi/router 发布:零依赖多账号 LLM API 路由器

    mnochernadi 在 GitHub 发布 router v1.0.0,一个零依赖的多账号 LLM API 路由器,支持 OpenAI、OpenRouter、Anthropic 和 Gemini 兼容 API,将流量轮询分发到多个 API key。收到 429/402/403 时将账号冷却 12 小时并在同一 provider 内透明故障转移,SSE 流式零缓冲直通,请求体不落盘只保留计数器;附带纯浏览器端渲染的 /admin 控制台、Xray 出口池轮换和 freebuff Ed25519 握手驱动,Docker 容器内存上限 128 MB,实测空闲 RSS 约 50 MB。项目以 MIT 许可开源,提供 install.sh 一键部署。

  17. GitHub · 去对齐工具与仓库45

    live-meeting-transcript-with-brain:本地 Whisper 转写 + LLM 分析的在线会议助手

    GitHub 开源项目 live-meeting-transcript-with-brain 是一款桌面会议助手,用 Whisper 在本地转写系统音频,音频不出本机、不落盘;当出现你的名字、关键词或面向全班的提问时告警,并按 Ctrl+Shift+Space(macOS 为 Cmd+Shift+Space)热键让 LLM 分析最近约 350 words 并给出建议回答。课程结束后向 Obsidian vault 写入摘要和完整转写,默认 LLM 端点为 deepseek-v4.1-flash,Whisper 默认模型为 large-v3-turbo-q5_0,支持 Teams、Zoom 等任意会议应用。

  18. GitHub · 去对齐工具与仓库49

    ai-pricelog:GitHub 上自动更新的生成式 AI 定价索引仓库

    GitHub 仓库 ai-pricelog 每小时抓取 30 个来源的定价页面和 OpenRouter API,追踪 1,344 个模型、3,245 个 canonical 模型,自 2023-03-01 起累计 3,245 条带日期的价格记录。每次价格变动以带日期的行写入 history 文件,由 CI 中的 Claude 审核后合并,其余等待人工确认。数据通过 dist 分支提供 index.json、flat-v2.json 等视图及含搜索、比价和 token 计算器的静态页面。

  19. GitHub · 灵魂体仓库15

    API Evangelist 发布 DeepInfra 公开 API 概况仓库:涵盖 100+ 开源模型的 Serverless 推理平台档案

    API Evangelist 维护的 deepinfra 仓库是对 DeepInfra 公开 API 的独立第三方档案,该平台为开源模型提供 serverless 推理,托管 100+ LLM(Llama、Qwen、DeepSeek、Mixtral)以及图像(Flux、Stable Diffusion)、视频、音频(Whisper、TTS、Voxtral)、嵌入/重排序和视觉/OCR 模型。API 提供 OpenAI 与 Anthropic 兼容端点,并包含微调、专用 GPU 租赁和私有部署。仓库不含任何软件,评分 Kin Score 和 Agent Readiness 为独立评估,非认证或安全审计。

  20. GitHub · 灵魂体仓库48

    NVIDIA 开源 NeMo Helix:面向生产级 Agent 的控制平面

    NVIDIA 开源了 NeMo Helix,一个用于改进和加固生产 Agent 的控制平面,可部署在本地或 Kubernetes,并通过 REST API、CLI 或 Python SDK 访问。它内置 guardrails(内容安全、越狱检测、PII 脱敏)、garak 红队测试、LLM-as-judge 等 RAG 评测,以及基于 Switchyard 的模型路由和 Data Designer 合成数据生成,且各能力以模块化插件提供默认实现、可替换。平台需 Python 3.12-3.14,支持 OpenRouter、OpenAI、Anthropic、Google Gemini、NVIDIA Build 或本地 Ollama 作为推理提供方,并自带轻量级 Web UI NeMo Studio(alpha)。

  21. GitHub · 灵魂体仓库58

    Skald 发布:读服务器访问日志的自托管网站统计工具,可见 AI 助手与爬虫流量

    Space-O Technologies 的 Rakesh Patel 发布 Skald(github.com/spcaeo/skald),一个自托管的网站统计工具,从 nginx、Apache 或 Caddy 的访问日志计数,能统计 JavaScript 统计工具看不到的 AI 助手和爬虫流量,并按训练、实时问答、引用点击三种目的区分 AI 请求。每个数字由独立审计重算,不一致时当天数据被搁置;无需 cookie,可选 beta 托管版,采用 Elastic License 2.0 源码可用许可,含 MCP 只读接口和来自同一日志的安全扫描分析。

    推荐理由:这是作者发布自家开源工具的完整说明,读者可以据此判断基于访问日志的统计与传统脚本统计在各场景下的取舍。

  22. GitHub · 灵魂体仓库30

    xemantic-kotlin-introspection:把 classpath 上的 Kotlin API 转成对 LLM 友好的签名

    xemantic 发布开源库 xemantic-kotlin-introspection 0.1.0,可解析 classpath 上任意 Kotlin 声明,渲染为不含函数体的 Kotlin 签名并附带类型扩展,还能按名称搜索声明。输出分页展示以适配 LLM 上下文窗口,resolve 和 search 默认 pageSize 为 10,Kotlin 内置类型通过 kotlin-reflect 和 .kotlin_builtins 元数据解析。项目提取自 Golem XIV,采用 GNU Affero General Public License v3.0。

  23. GitHub · 灵魂体仓库19

    thackerhelik/finetuningcourse:基于 TinyLlama-1.1B 的三阶段 LLM 后训练微调课程仓库

    GitHub 仓库 thackerhelik/finetuningcourse 提供端到端的三阶段 LLM 后训练流程(Domain Adaptation → SFT → DPO),将 TinyLlama-1.1B 适配到药理学领域,并通过 Ollama 本地部署。仓库包含 data、experiments/metformin、notebooks 目录及 export_to_ollama.py 导出脚本,目前尚无 star 和 fork。

  24. GitHub · 灵魂体仓库56

    开源自托管 AI Agent 平台 Chatter 发布,集成 Telegram 与桌面端控制

    NikitaCherepov 在 GitHub 开源了多平台 AI Agent 系统 Chatter(AGPL v3.0),Agent 跑在服务器上,通过 Telegram bot 与 Electron 桌面端连接同一账号,可一键分享给朋友或家人。系统包含 backend-api、desktop-app、Telegram bot、admin-panel、chatter-manager、webapp-notes 和可选 voice-service,各组件以 Docker Compose 编排;模型定价自动从 OpenRouter 拉取,内置 Pinecone 向量记忆、语音唤醒与 TTS、智能家居、邮件、网页浏览、多角色聊天和 Runbook 等功能,支持按用户设预算限额。

    推荐理由:原文完整给出了组件结构、安装命令与安全机制细节,读者可以直接评估这套自托管 AI Agent 平台是否值得自建。

  25. GitHub · 灵魂体仓库16

    API Evangelist 发布 Exa AI 的第三方 API 档案(非官方)

    API Evangelist 维护了一个关于 Exa AI 的独立第三方档案,后者是专为 LLM 和 agent 打造的 web 搜索 API 与 AI 研究平台。该档案覆盖 Search、Contents、Answer、Research、Agent、Monitors、Websets 等端点,延迟从 fast(180ms)到 deep(约10s),提供 Python/JavaScript SDK、MCP server,以及每月 1,000 次请求的免费额度。档案信息全部来自公开资料,Kin Score 与 Agent Readiness 评分为独立评估,公司可免费申请更正、重新评分或下架。

  26. GitHub · 灵魂体仓库26

    SrEnforcer 开源 conjurer-mcp:确定性 MCP 服务器与 VS Code 扩展,供 IDE 智能体访问 Conjurer 规范和 .cnj 项目文件

    SrEnforcer 在 GitHub 发布 conjurer-mcp,一个确定性 Model Context Protocol 服务器及配套 VS Code 扩展,为 IDE 内智能体提供对 Conjurer 规范和 .cnj 项目文件的精确访问。服务器不含语言模型,负责检索、解析、校验和规划,通过 stdio transport 连接 Claude Code 等 MCP 客户端;扩展为 .cnj 文件提供 hover 文档、CodeLens、折叠和校验。项目要求 Node.js 20+ 和 pnpm 10,采用 pnpm monorepo 结构,发布版本附带 conjurer-mcp-X.Y.Z.vsix 安装包。

  27. GitHub · 灵魂体仓库59

    本地个人 AI Agent 桌面应用 Bloks 3 发布,支持 Mac、Windows、Linux 和 iPhone

    Bloks 3 正式发布,这是一款运行在本机的个人 AI Agent 桌面应用,以聊天界面呈现,每个 Agent 底层是 Claude Code、Codex、Gemini CLI 等真实引擎会话或你持有密钥的任意 API。3.0 新增多工作区、Bloks Team 成员协作、按引擎和 Agent 的用量统计与月度限额、卡片化回答、多 Agent 房间协作、审批与规则引擎、可读可撤销的 Markdown 记忆、例程与 Watcher 等能力;数据全部以明文文件存于本机,无后端存储,iPhone 应用仅作为桌面端的远程窗口,配套 Apple Watch 审批。应用免费,源码以 FSL-1.1-MIT 许可公开于 https://github.com/hamedgitty/bloks ,Android 版即将推出。

    推荐理由:原文完整给出了 Bloks 3 的工作区、权限、花费限额与数据落盘结构,读者可以据此评估这套本地 Agent 方案是否值得自部署。

  28. GitHub · 灵魂体仓库33

    job-watch:自动筛选 IT 职位并用 GigaChat 写求职信的 Telegram 机器人开源

    开源项目 job-watch 是一个 Telegram 机器人,每 30 分钟从 Хабр Карьера、Geekjob、Работа России 开放 API 和 Telegram 频道等多个公开来源抓取 IT 职位,按用户的角色、级别、经验、城市和薪资过滤后推送匹配卡片,并通过用户自己的 GigaChat API 密钥根据职位和简历生成求职信。它支持多用户邀请制,GigaChat 密钥用 Fernet(AES-128 + HMAC)加密存储,附 46 个测试,基于 Python 3.12、aiogram 3 与 Docker Compose 部署,采用 MIT 许可证。

  29. GitHub · 灵魂体仓库35

    Rust 编写的终端编码智能体 Bonsai 开源发布

    开源的终端编码智能体 Bonsai 用 Rust 构建,可在交互式 TUI 或无头命令中检查、编辑、运行、调试、验证和审查软件。它支持 OpenAI、Anthropic、MiniMax、Moonshot/Kimi、OpenRouter 等多种模型端点,提供结构化文件编辑、shell 与 PTY 执行、Git、诊断、沙箱、自定义智能体和 MCP 服务器等能力,并支持 JSON 输出接入脚本与 CI。目前为 pre-1.0 版本,预编译包覆盖 macOS 13+ 和 Ubuntu 22.04+,采用 MIT 许可证。

  30. GitHub · 灵魂体仓库63

    NewsRing 开源:用配置文件打造你自己的个人 AI 新闻摘要 agent

    GitHub 项目 NewsRing 开源,用户用一个 TOML 配置文件描述兴趣和文风,每天早上自动读取 35 个内置信源,生成 5-10 条个人摘要、分享卡片和静态站点,并可选邮件发送。它不允许 agent 自由浏览,agent 只返回 story id,链接由代码回接;日常运行约三次模型调用、一分半钟、成本远低于一美分,支持多 API key 轮换和模型 fallback,可配合 Gemini 免费档、OpenAI、Anthropic、OpenRouter 或本地 Ollama 使用,MIT 协议。

    推荐理由:作者讲了 agent 不允许自由浏览、链接由代码回接的约束设计,以及对免费档 LLM 限流的应对做法,方法可直接迁移。

  31. Reddit · r/LocalLLaMA50

    LokalBot 推出 Linux 与 Windows alpha 版:本地转写、听写与自动补全

    开源工具 LokalBot 在 macOS 之外发布了 Linux 和 Windows alpha 版,支持会议转写、本地模型笔记、听写、跨应用自动补全和工作上下文的智能体访问。工具默认本地运行,也可接入自有推理设施或其他服务商;移植版用 Rust + GPUI 构建,作者称用智能体集群三天完成。Linux/Windows 默认模型栈为 Qwen3-ASR-0.6B(转写)、Qwen3.5 4B(笔记与聊天)、LFM2.5 1.2B(自动补全)、EmbeddingGemma 2(语义搜索)、pyannote + TitaNet(说话人分离),模型可在设置中更换。

  32. Reddit · r/LocalLLaMA24

    PolyStrata 体验极佳但仍有自定义模型加载问题

    Reddit 用户实测 PolyStrata 后给出 10/10 好评:在 24GB(8+16)内存池上运行 Q3 量化的 CyberTiel,速度达 Ornith1.5 9B 的 2 倍,每秒 50-90 tokens,且能完成 Ornith 无法处理的任务。缺点是 CyberTiel 未被官方支持,需将 GGUF 文件命名为 TielCoderQ3.gguf 才能加载,导致界面仍显示 TielCoder;手动编辑 models.json 和创建 run.sh 后可用,与 Pi Agent 同步良好,但 Pi 缺少 reasoning budget 参数。

  33. Reddit · r/LocalLLaMA20

    Xyntetik-Runner 追求速度是否走错了方向?FP32 精度与保真度之辩

    Xyntetik-Runner 开发者发帖求助:该项目坚持贴近原始模型实现的数值保真度和可复现推理,在保真度上多数模型优于 Llama,但 CUDA 上速度仍明显落后。1.5.0 版本加入了 tensor-core GEMM 路径、tiled attention、CUDA graphs、MoE 优化和量化内核改进,后续修正版将在几天内发布。开发者询问 FP32 高精度是否值得保留。

  34. Reddit · r/LocalLLaMA62

    llama.cpp PR #29864 重构 Intel XMX 矩阵引擎,B70 投机解码速度大幅提升

    /u/nickm_27 实测 ggml-org/llama.cpp 的 PR #29864 重构 Intel XMX 矩阵引擎后,B70 在 SYCL 下投机解码速度大幅提升,测试模型为 Muse Glimmer Q6_K (30B) 搭配 DFlash2。9 项任务总耗时从 46.86 秒降至 26.68 秒,各任务 tok/s 普遍从约 36-53 提升到约 53-88;作者说明因 token 验证成本显著降低而调大了 n-max,接受率从 0.7845 降到 0.363 属预期现象。

    推荐理由:作者实测了 llama.cpp 重构 Intel XMX 矩阵引擎后 B70 的投机解码速度,前后总耗时从 46.86 秒降到 26.68 秒,数据完整可复现。

  35. Reddit · r/LocalLLaMA50

    Muse Spark 816B 在 10× A40 上跑通:TensorSharp 与 llama.cpp 多 GPU 推理对比

    开源 .NET 推理引擎 TensorSharp 在 10× NVIDIA A40 上运行 Muse Spark 816B(42B 激活参数,Unsloth UD-IQ3_XXS 量化,约 316 GiB 权重),并与 llama.cpp 对比。张量并行下 TensorSharp 达 22.6 tok/s 解码、4 并发 45.7 tok/s,层切分下 4K prefill 达 1346.8 tok/s,比 llama.cpp 快 2.07×;层切分 prefill 吞吐比张量并行高 4.6×。质量对比中 Top-1 一致率约 98.8%,功能检查层切分 13/14、张量并行 14/14 通过。

  36. GitHub · 3D 生成新仓库18

    Lesson-Lab-backend 开源:AI 自动生成课程并按质量标准自我纠错的系统

    GitHub 新仓库 Lesson-Lab-backend 构建了一套 AI 课程生成系统,输入技术主题后自动生成面向印度 12 岁毕业生的入门课程,按 Accuracy、Beginner-friendly 等六项标准评估,失败时最多重试 2 次(共 3 次生成)。后端采用 Django、Django REST Framework、LangChain、Groq 和 SQLite,前端为 Next.js,系统还会将重复失败模式存入数据库以跨次改进生成质量。

  37. GitHub · 3D 生成新仓库19

    AssessMate:面向 CBSE 与州纲学生的 AI 评估与诊断学习平台开源

    GitHub 新开源项目 AssessMate 是面向 CBSE 与州纲(X、XII 年级)学生的 AI 评估、练习与诊断学习平台。它基于 NCERT 和州教材 PDF 构建 RAG 管线,使用 BAAI/bge-small-en-v1.5 嵌入与 ChromaDB Cloud 检索,并调用 Google Gemini 生成题目和批改打字与手写答案。平台提供分项诊断指标、教师 portals 的 6 位访问码组卷功能,以及考试中的 Mate AI 助手给予提示但不直接给答案。

  38. GitHub · 3D 生成新仓库56

    hwx61514 发布 codex-api-imagegen:在 Codex 中复用本机 API 配置生成和修改图片

    hwx61514 在 GitHub 开源了 codex-api-imagegen,一个让 Codex 通过本机已有 API 中转配置和密钥生成、修改图片的 skill,默认使用 gpt-6.1-sol 加 gpt-image-2,无需 OpenAI SDK,支持 Python 3.11+。项目要求中转支持 Responses API 的 image_generation 工具且上游账号有对应权限,不读取 ChatGPT OAuth token、不在聊天中索取 key,脚本只提交一次请求、不覆盖旧文件,并附带覆盖认证选择、断流、脱敏等场景的单元测试。