跳到正文
10月9日周五
  1. arXiv · cs.AI27

    Batch Before You Lift:Cluster-TNN 实现大规模图上的可扩展拓扑深度学习

    研究者提出 Cluster-TNN,一种领域无关的拓扑深度学习框架,通过预处理划分图、运行时动态采样节点簇并在 mini-batch 内局部执行 graph lifting,避免全图提升带来的计算瓶颈。在与全图执行的 21 组对比中,Cluster-TNN 在所有配置下都降低峰值 GPU 显存,平均降幅 83.2%,同时保持有竞争力的预测性能。这一方法据作者所知首次使多种高阶 Topological Neural Networks 能在 Reddit(233k 节点、57.3M 边)和 OGBN Products 等大数据集上训练。

  2. GitHub · 灵魂体仓库47

    Oriveo Community Edition 开源:BYOK 多模型 AI 聊天客户端,支持 15 家模型服务商

    Oriveo Community Edition 是一款开源(AGPL-3.0-or-later)BYOK 多模型 AI 聊天客户端,覆盖 iOS、Android 和网页端,macOS 原生客户端开发中。它原生对接 OpenAI、Anthropic、Google Gemini、DeepSeek 等 15 家模型服务商,并兼容 llama.cpp、Ollama、LM Studio、vLLM 等本地模型服务器,对话、笔记、技能和附件默认留在设备上,支持 MCP 工具、设备端成本统计及 16 种界面语言。

  3. GitHub · 灵魂体仓库18

    NTU MultiTagging LLM 分类引擎:面向 3D 生物打印文献的多标签分类与重排序

    南洋理工大学团队开源 NTU MultiTagging LLM 分类引擎,采用异步多模型 fan-out 架构(NVIDIA Nemotron 550B、Gemma 4 26B、Nemotron 30B 轮询),对生物打印与增材制造文献做零样本多标签分类,路由到 4 类知识库,可配置最高 50 并发并支持断点续跑。项目为 BioPrint-LKM 论文知识蒸馏管线第一阶段,内置 8,563 条 Q&A 对的双变体导出,需 OpenRouter API Key 运行。

  4. arXiv · cs.CL37

    VFold:对称感知的跨层 value cache 压缩方法

    arXiv 论文提出 VFold,一种对称感知的 value cache 合并策略,可在 LLM 解码时压缩 KV cache 内存,同时避免性能下降且无需修改模型架构。该方法可与高比率量化或 key cache 剪枝等现有压缩技术叠加,达到单一方法无法实现的压缩比,为内存受限下扩展上下文窗口提供了简单有效的方向。

  5. GitHub · 灵魂体仓库48

    MacLLM-Compass:Apple Silicon Mac 本地大模型选型指南

    GitHub 开源项目 MacModel Guide 是一款面向 Apple Silicon(M1 至 M6)统一内存架构的 Mac 本地大模型选型推荐指南,基于 Python/Flask 重构,支持最高 512GB 统一内存并推荐 Qwen 3.6 400B、Llama 4 400B 等大参数模型。项目内置 95 款合规候选模型数据库、6 个月内发布日期过滤、本地对话 Playground,剔除邮箱收集与第三方验证,数据完全离线不出本地。

  6. GitHub · 灵魂体仓库61

    evalup 发布:测量 LLM 聊天与 Agent 应用具体哪里出错的 Claude Code 插件

    its-magdy 在 GitHub 发布 evalup,一个 Claude Code 插件,可读取应用代码、生成测试用例并按路由、工具使用、答案检查三层打分,失败会指向具体的提示词或工具描述。评分由纯标准库 Python 脚本完成,数字可复现,CI 可在无 Claude 环境下用 gate.py 门禁;优化命令 /evalup:optimize 基于密封保留集做统计确认后保留改动。插件包含 7 个 skills、3 个 agents、21 个 CLI 脚本,860 个测试约 3 分钟,MIT 许可。

    推荐理由:作者自己开发并开源了这个 Claude Code 插件,读者可以从 README 了解分层评测与无 LLM 依赖的 CI 门禁做法。

  7. GitHub · 灵魂体仓库41

    Unisono 发布:一份 Score 统一管理多 Agent 的模型配置

    开发者 JI4JUN 在 GitHub 发布 Unisono(unis),一个面向开源编程 Agent 的声明式多 Agent LLM 配置编译器。用户维护单个 score.yaml 文件,工具将其编译写入 omp 和 pi 两个 Agent 的原生模型 Catalog,采用“接管而非合并”策略,未声明的 Provider 会被删除。写入前自动快照并支持 `unis rollback` 回滚,首次接管需 `--yes` 确认,收敛同步约 50 ms,需 Bun 1.4+,零运行时依赖。

  8. GitHub · 灵魂体仓库28

    Brewference:纯 Java 实现的 LLM 推理引擎(GGUF 加载)

    Brewference 是一个纯 Java 编写的 transformer 推理引擎,可加载并运行部分 GGUF 模型,不依赖原生代码或 JNI。项目已迁移到 Java 22+,仅支持 CPU 推理,实用模型规模约 7B 及以下,新增对 Qwen 3.5 4B 和 Bonsai 27B 等模型的支持。作者将其定位为学习资源和概念验证,并表示已失去兴趣,近期不再更新。

  9. GitHub · 灵魂体仓库42

    tellagent:面向 BTC/ETH 的本地市场矛盾检测器开源

    开源项目 tellagent 是一个本地运行的 BTC/ETH 市场矛盾检测器,基于 Coinbase 现货与 Deribit 衍生品公共 API 生成结构化市场快照。它先用本地规则 Observer(Jev)判断 leverage_led、spot_confirmed、deleveraging、uncertain 四种市场状态,仅在确定性 Gate 通过时才调用强模型生成含正反与缺失证据的研究报告。输出为研究建议而非交易信号,远程模型只能选择代码生成的证据,编造证据会直接报错。

  10. GitHub · 去对齐工具与仓库14

    enhansome 开源 Awesome-Multimodal-LLM:多模态大语言模型论文精选列表

    GitHub 上的 enhansome-Awesome-Multimodal-LLM 仓库收录了多模态机器学习尤其是多模态大语言模型(LLM)相关论文的精选列表。内容按教程、数据集、综述和核心领域分类,涵盖多模态理解、视觉中心理解、具身中心理解、领域专用模型与多模态评测,收录 Shikra、PandaGPT、mPLUG-Owl、InstructBLIP、BLIP-2、Visual ChatGPT、KOSMOS-2、Segment Anything、Video-LLaMA、RT-2 等论文及其代码、数据与项目页链接,并标注各仓库的 star 数与更新日期。

  11. arXiv · cs.AI17

    AtomWorld-Mirror:面向材料动力学的宏观步长世界模型

    研究者提出 AtomWorld-Mirror,一个面向原子系统关键演化骨架的时间感知宏观步长世界模型,将短微事件片段蒸馏为关键状态间物理可达的跃迁。该方法在 Cu-rich RPV 钢辐照老化、Cu-Zr 金属玻璃、Li$_3$N 基反钙钛矿固态电解质等五个原子系统上,推理速度较逐事件模拟提升 10^3 至 10^4 倍,同时保持结构有效性与时间语义。

  12. arXiv · cs.AI22

    DRL-DCO:基于进度感知深度强化学习的 DE-CMA-ES 动态协同优化与结构模型更新方法

    澳门大学、河海大学与北航研究团队提出 DRL-DCO 算法,用基于 DDPG 的 actor-critic 智能体统一调度 DE 与 CMA-ES 的演化搜索,动态分配探索与开发资源,并联合调节种群规模、精英保留和重启机制。在训练后,策略可在无监督推理模式下仅凭前向推理运行,无需 critic 评估或权重更新。该算法在高维单目标优化基准和 IASC-ASCE 结构健康监测基准上收敛精度与鲁棒性优于最先进的自适应与混合演化算法。

  13. arXiv · cs.AI52

    NanoProof 论文提出端到端可复现的 Lean 4 自动定理证明器

    Matěj Kripner 发布 NanoProof,据作者所知是首个训练数据、提取工具、训练管线和权重全部开源的因子化执行引导式 Lean 4 定理证明器。该方法在 MiniF2F-Test 上取得 50.8% pass@16,算力约为 HyperTree Proof Search 的 1/90、ABEL 的 1/7,比 AlphaProof 少四个数量级以上;论文同时发布了结构化证明树数据集和 Lean 4 程序化交互与数据提取工具。原文链接 https://arxiv.org/abs/2610.11605v1。

    推荐理由:论文公开了训练数据、提取工具、训练管线和权重,读者可以低成本复现这一类 Lean 4 定理证明器并对比算力开销。

  14. arXiv · cs.AI24

    合成血管预测表示中的干预锚点与科学验证

    该技术报告针对血管器械场景,审计了完备正交预测坐标无法将潜在方向绑定到指定干预的问题。64 个种子的六种三维配置显示预测差异最大 6.7e-15,而未传输编辑误差中位数为 1.513,坐标传输可消除该误差;256 个额外拟合(维度 3-24)中预测等价性保持在 4.0e-15 内。九类可运行故障共 576 次执行均违反至少一项契约,320 条有效对照记录全部通过;作者强调这是合成数值审计,而非临床验证。

  15. arXiv · cs.CL42

    Elastic Expert Routing:平滑稀疏 MoE 的 top-k 路由边界

    arXiv 论文提出 Elastic Expert Routing,通过在以 k 为中心的局部离散分布中随机采样激活专家数,将静态 top-k 路由的硬阈值软化为渐进概率分布,并保持推理算力预算不变。在监督微调中,该方法使 OLMoE-1B-7B 和 Qwen3-30B-A3B 的下游宏平均分别提升 +0.84 和 +2.02 分;从头预训练时平均比静态 top-k 基线高 1.6 分。

  16. GitHub · 灵魂体仓库53

    Project Intelligence 发布:面向 AI 编码代理的可移植确定性工程编排框架

    sahasbelbase 发布 project-intelligence,一个本地优先、可移植的 AI 项目编排框架,用 G0–G6 七道生命周期门、JSON Schema 合同、确定性状态机和 Git 感知三层记忆来治理 Claude Code、GitHub Copilot、OpenAI Codex 等编码代理。框架内置 BL-001 至 BL-007 反糊弄基线规则(禁止装饰性 emoji、生产假数据、空占位符等)、五档质量 Profile(70%–90% 测试覆盖率下限)、24 个技能与 18 个代理定义,以及 design/development/product 三个共 37 个角色的议会机制。

  17. GitHub · 去对齐工具与仓库54

    开源自托管记账应用 Ledgr 发布,内置 MCP 服务器支持 Claude 查询财务

    开发者 KenTaniguchi-R 在 GitHub 发布自托管个人财务应用 Ledgr,通过 Plaid 或 SimpleFIN 同步 12,000+ 银行交易并自动分类,提供预算、投资追踪、订阅账单检测和财务报表,基于 Docker Compose 与 PostgreSQL 运行,数据留在自己服务器。应用内置 MCP 服务器,可从 Claude Code、Claude Desktop、Cursor 等客户端经 OAuth 授权后用自然语言查询财务,并提供 16 个工具覆盖账户、交易、预算、持仓和报表;AI 聊天与分类支持 BYOK,可用 OpenAI、Anthropic、Google 或本地模型。

  18. GitHub · 去对齐工具与仓库56

    CerberusAI 开源只读 agentic SOC 项目,接入自选 LLM 自动分诊 SIEM 告警

    justinbarrow30 在 GitHub 开源了 CerberusAI,一个只读的 agentic SOC,接入用户的 SIEM 并可搭配任意已批准的 LLM,通过自学习的网络基线对告警给出 auto-close 或 escalate 判定。核心推理基于确定性的统计与拓扑图(如 z-score 和前所未有的边检查),配可选的 Isolation Forest 加 autoencoder 集成异常检测层,ensemble 在留出评测中达到 ROC-AUC 0.996、F1 0.973;已支持 Wazuh、Elastic Security、Security Onion,Sentinel 适配器已构建待实机验证,通过 MIT 协议发布,可用 python lab/demo_fixture.py 复现演示。

    推荐理由:原文完整给出了架构、只读安全设计、SIEM 适配和评测数据,读者可以直接克隆复现这个 agentic SOC 方案。

  19. GitHub · 去对齐工具与仓库52

    curso-factory 开源:5 个 LLM 编排的葡语课程生成流水线

    Alexandre Caramaschi 开源的 curso-factory 是一个基于 5 个 LLM 编排的课程生成流水线,从 YAML 课程定义依次执行 Perplexity 检索、GPT-4o/gpt-5.5 起草、Gemini 分析、Groq 分类和 Claude 审校,输出可部署的完整课程模块。系统内置多层质量门(葡语重音四重屏障、内容检查、链接、voice guard、可选 stylometry 与 AI disclosure)、FinOps 预算守卫与缓存,支持通过 config/clients/<id>/client.yaml 做多客户配置,仓库包含 13 个 CLI 子命令、671 个测试和 MIT 许可证。

  20. GitHub · 去对齐工具与仓库51

    Above Chance Is Not Enough:LLM judge 自我识别审计论文数据与代码开源

    Adrian Erlikhman、Michael Tarekegn 和 Philo Juang 在 arXiv 发表论文 Above Chance Is Not Enough,并开源了复现所需的全部数据与代码,审计 LLM judge 是否能识别自己写的文本。自我命名测试在 37 个案例中标记 15 个,其中 8 个具有区分力,3 个同时超过同伴基线。数据包括 2026 年 6-7 月 chat-app 语料 190 篇文本与 1900 条判断、OpenRouter API 语料 600 篇文本,以及 Qwen2.5-7B、Llama-3.1-8B、Mistral-7B-v0.3、Phi-4-mini 的开放权重面板;所有 API 响应均已存档,无需 API key 即可复算论文全部数字。

  21. GitHub · 去对齐工具与仓库34

    CatNews:面向开发者的 AI 新闻聚合工具在 GitHub 开源

    开发者 Isaiah 发布了开源项目 CatNews,直接监控各大 AI 实验室的 GitHub releases、Hugging Face 上传、官方博客和 sitemaps,几分钟内把新动态生成新闻,并聚合 Hacker News 讨论。站点用 Cloudflare Worker 每分钟运行一次,无框架、无构建、无依赖,提供 RSS 订阅和 catnews.space/news.json 原始数据,测速结果公开在 catnews.space/our-speed。

  22. GitHub · 去对齐工具与仓库26

    Netie-AI 开源 Cortex:面向仓储物流中小企业的 governed agentic runtime

    Netie-AI 发布开源智能体运行时 Cortex,定位为仓储/物流中小企业的中央大脑(MoE / architecture presets / orchestrate),支持本地安装并以自有 API key 调用 OpenAI、Anthropic、Mistral 等。系统接收自然语言任务后合成最小执行 DAG 并在用户算力上运行;内置 sqlglot SQL 校验、基于签名 session manifest 的读取控制、hash chain 审计日志和 allowlist 工具调用,但不提供进程级隔离,不受信代码以容器方式运行。

  23. GitHub · 去对齐工具与仓库58

    开源代码审查引擎 ocra(jma49/Open-CR-Agent)发布,用确定性代码约束 LLM 审查智能体

    jma49 发布开源代码审查引擎 ocra(Open-CR-Agent),文件选择、规则匹配、锚定与去重等由确定性代码决定,隔离的 LLM 智能体只做判断,所有 finding 需经事实核查与锚定后才发布。它支持本地改动、GitHub PR 和 GitLab MR,可跑在 CI 中并使用自己的模型密钥,智能体只读、无 shell 无网络,面向不可信 PR 设计;附带 SARIF 2.1.0 输出、每次调用的 token 与费用报告、每轮消费上限,以及基于 AACR-Bench(200 个真实 PR、1,505 条专家标注评论)的 ocra-eval。项目处于早期 0.x,质量指标基于小样本,两次相同运行的精确率相差 20 个百分点,提示词在样本足够前保持冻结。

    推荐理由:原文讲清了用确定性代码包住 LLM 做代码审查的完整架构,以及面向不可信 PR 的安全设计和实测局限。

  24. GitHub · 灵魂体仓库74

    fork-sandbox 开源沙箱智能体框架发布

    mgalgs 在 GitHub 发布 fork-sandbox,一个沙箱化的 Agent 编排框架,在 bubblewrap 隔离的克隆仓库中无头运行 Claude、Codex 或 pi 等 harness,结束后仅以 git 分支形式取回结果,不触碰本地 checkout。

    推荐理由:原文详细写清了沙箱隔离机制、三种网络模式和成本记录,读者可以据此评估如何在无人工审批下安全运行编码智能体。

  25. GitHub · 去对齐工具与仓库52

    NikOS v1.1.1 发布:一条命令把 Ubuntu 变成配置好的 AI 开发工作站

    Nikola Reljin 发布 NikOS v1.1.1(MIT 许可,Plymouth 启动画面为 GPL-3.0-or-later),一条 curl 命令可将全新 Xubuntu/Ubuntu 22.04、24.04、26.04 LTS 装机配置为 AI 开发工作站,含 Xfce 桌面 Nordic 主题、Ollama 本地模型栈、aider 与 Claude Code 等编码工具和 GitHub 集成。

  26. GitHub · 去对齐工具与仓库65

    Coding2API v0.3.0:把 CodeBuddy、TRAE SOLO 等六渠道封装为 OpenAI 兼容 API

    RobbsLuo 开源的 Coding2API(v0.3.0,MIT 协议)将 CodeBuddy、TRAE SOLO、OpenCode Zen、Kilo Gateway、Qoder 与华为云 CodeArts 六个上游渠道统一封装为 OpenAI 兼容 API,提供公共凭证池、统一调度与按人用量统计。支持 /v1/chat/completions 流式与非流式、/v1/responses(Codex CLI)、/v1/messages(Claude Code)与 DeepSeek 兼容余额接口;调度按健康度选号、免费渠道优先、36h 内到期额度优先消化,并具备会话粘性、三角色账号体系、审计日志与运维告警。项目为逆向接口实现,仅供学习研究,未做安全审计。

    推荐理由:README 详列六个上游渠道的调度、冷却与额度策略,自建多渠道编码模型网关时可对照其取舍。

  27. GitHub · 灵魂体仓库46

    erdincka/agent-observability:不存提示词内容的企业级 Agent 可观测性与治理实验项目

    GitHub 上的 agent-observability 实验室项目已于 2026-10-08 结束,验证了平台可在不记录提示词与响应内容的前提下生成审计级 Agent 追踪。项目基于 LangGraph、MCP、LiteLLM、OpenTelemetry 和 MLflow 在 Kubernetes 上构建多智能体工作流,三个阶段全部完成,涵盖端到端追踪、六个强制治理控制点和四个 Perses 仪表盘。假设在四个问题中三个完全成立,第四个存在两项诚实的限制。

  28. GitHub · 去对齐工具与仓库12

    enhancing-llms:用高级微调技术增强 LLM 的开源实现仓库

    GitHub 仓库 hebduf6256/enhancing-llms 开源了论文 "Enhancing Large Language Models with Advanced Fine-Tuning Techniques" 的实现与实验代码,探索超越传统方法的高级微调与领域自适应技术。该方法在 GLUE 和 SuperGLUE 上取得 SOTA 结果:GLUE 从 84.2% 提升至 92.5%(+8.3%),SuperGLUE 从 76.8% 提升至 89.3%(+12.5%)。仓库采用 MIT 许可证,提供训练、评估脚本及优化的高效训练管线。

  29. GitHub · 灵魂体仓库37

    beyond10x 发布 llm-gateway 0.6.0:单主人 LLM 网关与 Runpod/Modal 托管契约

    beyond10x 的 llm-gateway 0.6.0(2026-10-08 源码发布)是 llm 项目的服务端:单主人认证网关,含 /health、/ready、/v1/models 端点和 Runpod、Modal 适配器。它不转发协议,Runpod 适配器仅通过 connectors CLI 通信,尚未有二进制真正访问 pod;托管道程不开 socket、不分配资源,也没有任何付费调用测试。在能力矩阵补齐前,它不会替代 llmgw。

  30. GitHub · 灵魂体仓库14

    LabRAG:面向实验室的循证 AI 助手「实验室智能指挥中心」

    LabRAG 是一个开源的实验室 AI 助手项目,将 SOP、安全数据表、仪器手册、维护记录与实验日志统一为带精确引用的答案、引导式协议、设备排障和机构记忆。架构采用 React 前端 + FastAPI 网关(Auth/JWT、RBAC)+ Google ADK 2.0 编排,检索结合 BM25 与 FAISS 向量索引,存储支持 SQLite/PostgreSQL。项目还内置安全分类器、7 套自动化评测套件,坐标由 PyMuPDF 在解析时提取,语言模型不生成边界框;当前处于 Phase 7 骨架阶段。

  31. GitHub · 灵魂体仓库73

    llm-assay:面向 OpenAI 兼容端点的真实上下文深度基准测试工具

    alexeytz 发布了 llm-assay,一个针对 vLLM、SGLang 或 llama.cpp 等 OpenAI 兼容端点的基准工具,可测量不同上下文深度下的 prompt processing 与 decode 速度,支持置信区间、配对 A/B 显著性检验和 prefix-cache 陷阱检测。工具由 llama-benchy 分支重构而来,包含 compare 显著性比较、tune 端点自动检测和 probe 长上下文质量探针三个子命令;probe 通过生成合成事件日志并注入已知异常来检验模型长上下文理解,相关发现记录在 docs/fabrication-programme/fabrication-findings.md。

    推荐理由:原文详细说明了 prefix cache 陷阱、统计方法和长上下文质量探针的设计思路,对自建推理基准有直接参考价值。

  32. GitHub · 去对齐工具与仓库57

    Yi:单个 Rust 二进制的编码 Agent 开放仓库

    作者发布 Yi,一个用 Rust 写成单一二进制的编码 Agent,模型在持久 Python 内核中工作,子代理以函数调用方式委派,计划以代码形式声明为 todo 图。权限通过 wall 和 lease 逐层收窄,上下文按字节预算裁切并保留前缀一致以命中 prompt cache,会话以 JSONL 日志持久化,配置文件为 ~/.yi/config.,采用 MIT 许可证。

    推荐理由:README 以原语组合的方式讲清了子代理、计划、权限和上下文预算的实现思路,对想搭 Agent 工具链的开发者有可借鉴的架构参考。

  33. GitHub · 灵魂体仓库56

    secure-voice-agent 开源:带确定性安全防护层的电话 AI Agent

    coreymathie 开源 secure-voice-agent,一个可接听电话、收款并写入业务系统的语音 AI Agent,在模型与所有工具之间放置确定性防护层:默认拒绝的允许列表、社工风险评分、向档案号码发送一次性码的 step-up 验证、限速、PII 清洗、哈希链审计日志和幂等签名请求。技术栈为 Pipecat 1.x、Twilio Media Streams、OpenAI Realtime(或 Claude+Deepgram+ElevenLabs、Gemini Live)、AWS Lambda 与 Fly.io。

    推荐理由:原文把每个安全控制的代码位置、对应测试和失败模式都列了出来,读者可以直接复用这套在模型外做确定性防护的方法。

  34. GitHub · 灵魂体仓库65

    ekbandroid 发布 llm-api-client:支持多提供商的 LLM 对话与实验客户端

    作者开源了 llm-api-client,一个通过 OpenAI 兼容 API 与大语言模型对话的客户端,提供控制台和流式 Web 界面,支持 OpenAI、DeepSeek、OpenRouter、Ollama 和 LM Studio。工具内置多组可复用实验:compare.py 对比有无格式与长度限制的输出,reasoning.py 用直答、分步、模型自写提示词和专家组四种方式解题并统计正确率,temperature.py 在 0、0.7、1.2 三档温度下多次采样测准确率与多样性,benchmark.py 按每秒 token 数和费用对比模型与 thinking 配置,实测三种配置成本相差 4.4 倍。

    推荐理由:作者用实测数据对比上下文管理策略与温度设置的成本效果,方法可直接迁移到自己的对话应用。

  35. GitHub · 去对齐工具与仓库27

    virtual6023/coreai-model-zoo:在 Apple 硬件上本地运行 AI 模型的模型库

    coreai-model-zoo 是一个为 Apple 硬件优化的本地 AI 模型库,提供 Qwen 3.5、Gemma 4、Granite 等预转换模型,可离线运行。运行要求 macOS 14.0 以上、Apple Silicon(M1-M4)芯片、16GB 统一内存和 10GB 存储空间,依赖 Core ML 框架并通过自定义 Metal kernels 优先用 GPU 做模型计算。仓库同时提供模型转换、Metal kernels 定制和 Swift Runner 修改文档。

  36. GitHub · 去对齐工具与仓库48

    dorkagent/free-llm-models:每日实测免费大模型 API 可用性清单

    dorkagent 维护 free-llm-models 仓库,用真实 free-tier API key 每日实测免费大模型 API 的实际可用性,最近验证时间为 2026-10-08。当前 active 模型包括 groq qwen/qwen3.8-27b(延迟 258ms)、nvidia nemotron-3.5-lightning-30b-a3b(276ms)、ministral-8b-latest(335ms)、glm-4.7-flash(1020ms)、gpt-oss:120b(458ms);cohere command-r7b-12-2024 已 deprecated,openrouter 的 llama-3.3-70b-instruct:free 已失效。

  37. GitHub · 去对齐工具与仓库62

    machin-anvil:纯 MFL 语言从零实现的零依赖 LLM 推理引擎

    javimosch 发布 machin-anvil(由 machin-colibri 更名),一个用小众语言 machin(MFL)从零编写的 LLM 推理引擎,零依赖编译为单一二进制文件。在 Intel i5-13400T 上以 int8 运行 Llama-3.2-1B-Instruct 达约 21 tok/s,比参考 C 实现 llama2.c 的 runq 快 4 倍且逐 token 一致,mmap 冷加载 43 ms。

    推荐理由:用一种小众语言从零写成的零依赖推理引擎,给出与参考 C 实现逐 token 对比的实测数据,是理解 CPU 推理性能边界的一个具体样本。