跳到正文
10月15日周四
  1. GitHub · 去对齐工具与仓库18

    soenneker 发布 Context7 OpenAPI 的 Kiota 生成 .NET 客户端库

    soenneker/soenneker.context7.openapiclient 是一个基于 Kiota 生成的 .NET 客户端,用于访问 Context7 的 HTTP API,通过 dotnet add package 安装,并提供配套的 OpenApiClientUtil 支持依赖注入与 API-key 配置。生成的请求构建器对应 Context7 的 URL 层级,包括 V2.Libs.Search、V2.Context、V2.Libs.Metrics、V2.Add 与 V1.Refresh 等端点。客户端使用 Authorization: Bearer 认证,HttpClient、适配器和客户端应长期复用,src 目录下的文件为生成代码。

  2. GitHub · 去对齐工具与仓库45

    TAIPANBOX 开源 costcrew:由 AI 智能体组成的 FinOps 账单分析控制台

    GitHub 上的 costcrew 是一个 FinOps 控制台,由一组 AI 智能体分析云与模型账单,异常分诊、差异说明、rightsizing 建议和预测冻结均以草稿形式产出,须由人工盖章后才发布。它支持 18 个连接器(含 AWS、GCP、Azure 账单导出及 Anthropic、OpenAI、OpenRouter 用量),在共享 agent-event 总线上发出 23 种事件类型,注册于 agent-passport SPEC 6.2(schema v0.2)。该工具刻意不执行任何强制操作,纯 Go 单二进制实现,Web UI 零 JavaScript。

  3. GitHub · 灵魂体仓库38

    GitHub 开源本地个人财务应用 CabriniJr/FinTips:数据不出本机,由 AI 智能体辅助分析

    GitHub 上的 CabriniJr/FinTips 是一款本地优先的个人财务应用,账单与财务档案全部保存在本机,通过 MCP 协议接入的智能体(47 个原语 + 2 个资源)负责分析提问,数据不出机器、无账户无遥测。目前提供 android-v0.6.0-alpha.3 评估版 APK(debug 变体、无 INTERNET 权限),核心为 Python 引擎,账单以 YAML 存于本地作为事实来源,支持交易分类、固定成本确认、12 个月现金流预测与决策记录。

  4. GitHub · 灵魂体仓库61

    Expert Fleet 开源:仅用 Python 标准库构建的持续运行自学习 Agent 平台

    reda-baqechame 开源 Expert Fleet,一个仅依赖 Python 标准库、无数据库无框架的本地优先 Agent 平台,含 124 个模块、161 项注册验收测试和一个 HTML 控制面板,覆盖任务、能力学习与带引用问答三个系统族。其核心设计是「完成」必须由调用方冻结的验收命令验证、目标契约存于磁盘、六大权限网关强制审计,支持 OpenRouter、Anthropic、OpenAI、Gemini、xAI、DeepSeek、Ollama 等多种提供商并附 Windows/Linux/云三路安装脚本,采用 AGPL v3。

    推荐理由:该平台把判定权交给调用方冻结的验收测试与六大权限网关,而非模型自评,且明确标注了尚未实测的边界,工程取舍写得较扎实。

  5. GitHub · 灵魂体仓库22

    ovenlovin:开源家庭食谱盒与膳食规划器,支持按人过敏原检查和 Agent 接入

    GitHub 开源项目 ovenlovin 是面向家庭的食谱盒与膳食规划器,支持按人设置过敏原与偏好规则,在每道菜上给出 block / warn / prefer-avoid 的个人化提示,覆盖美国 Big 9 与欧盟 14 项过敏原。项目提供 REST /api/v1、MCP Streamable HTTP、OpenAPI 和 /llms.txt 供 Agent 接入,采用 Clerk 组织作为家庭账户、Neon Postgres + Drizzle 与 Vercel Blob 存储,MIT 许可证,并提供免注册公开演示。

  6. GitHub · 灵魂体仓库66

    pietrogconte 发布 llm-wiki-template:用 LLM Agent 维护持久化知识库模板

    pietrogconte 在 GitHub 发布 llm-wiki-template,一个由 Claude Code、Codex 等 LLM Agent 维护的 markdown 持久化知识库模板,替代每次提问都重新检索合成的 RAG 流程。Agent 在每份新来源进入时读取、提取并整合进既有 wiki,更新项目、概念与实体页面并指出矛盾;仓库含 CLAUDE.md/AGENTS.md schema、目录结构、仅用标准库的 lint 脚本(E1-E6 检查加 W1 警告)、可选 pre-commit hook 与 CI、Obsidian 预设,以及 example 和 example-en 两个含虚构完整 wiki 的示例分支。

    推荐理由:这个模板把知识编译成由 Agent 维护的 markdown wiki,替代每次提问都重建的 RAG,并附带 lint 与示例可直接套用。

  7. Reddit · r/LocalLLaMA58

    用户实测 Basalt 让 5060 Ti 16GB 跑出 75 tok/sec

    Reddit 用户 /u/ironicstatistic 发帖感谢 Basalt 作者,Basalt 是面向 Blackwell 硬件的 Strata 分支。作者用 5060 Ti 16GB 加 32GB 内存在 128k 上下文下跑出 75 tok/sec 生成和 1200 prefill(q2 量化模型),代价是 KV cache 需用 q4 且系统仅剩约 5GB 内存可用;还请 deepseek4 帮忙加了 build flag 来分配更多内存。作者称 Basalt 作者曾主动联系解答问题,项目地址为 https://github.com/jesdga95/basalt。

    推荐理由:作者给出了 16GB 显存加 32GB 内存的实测吞吐和 KV 量化取舍,低配 Blackwell 用户可据此预估自己的可行配置。

  8. Hugging Face · 新模型:uncensored36

    Qwen-Image-2.1-Uncensored 量化版发布,支持 ComfyUI 本地图像生成

    Dariusdup 在 Hugging Face 发布 Qwen/Qwen-Image-2.1 的 Uncensored 量化版本,提供 GGUF、Safetensors 和 MLX 格式,其中 Q4_K_M GGUF 为 4.60 GB 并被推荐为体积与质量的最佳平衡。该版本无内置安全检查或内容过滤,可直接生成成人及 NSFW 图像;配套 qwen3vl_8b 文本编码器与 VAE 文件,通过 ComfyUI 与 ComfyUI-GGUF 使用,文本编码器可卸载到系统内存以节省 9–17 GB 显存。

  9. Hugging Face · 新模型:abliterated63

    Xananthium 发布 REDCELL-26B-A4B 消融试验版 W6A8 量化权重

    Xananthium 在 Hugging Face 发布 REDCELL-26B-A4B-OSINT-Cyber-Abliterated-Pilot-W6A8-Vision,对 terrorswift 的 REDCELL(Gemma 4 26B-A4B 微调)做 abliterated 权重编辑并导出 W6A8 量化。16 条保留集拒绝标记从 16/16 降到 4/16,能力探针保持 19/20,工具调用、工具失败后改道和简单图像识别均通过;使用 Heretic 的保幅值正交消融加 rank-3 修正,编辑覆盖 30 个注意力输出投影、30 个稠密 MLP down 投影和 3,840 个专家 down 投影,路由器和视觉模块保持 BF16。

    推荐理由:作者给出了消融前后的拒绝率对照、能力探针和 KL 数值,还标注了未测项,读者可自行核对这个 W6A8 版本的实际取舍。

  10. Hugging Face · 新模型:uncensored61

    Qwen3.5-4B 蒸馏合并模型经 Heretic 去对齐后发布

    xtools-at 在 Hugging Face 发布 Qwen3.5-4B-MultiDistill-3xMerge 的去对齐版本,使用 Heretic v2.0.0.dev0 的 ARA 方法消融。实测拒绝率从原版 98/100 降至 3/100,KL 散度 0.0200,消融参数与复现步骤已在 reproduce 目录公开。该模型本身是三个推理蒸馏微调(Claude Opus 4.6 风格蒸馏、Empero Qwen3.8 教师蒸馏、DeepSeek-V4-Pro 数学 STEM 蒸馏)的线性加权合并,合并版尚无独立基准成绩。

    推荐理由:模型卡给出 ARA 消融参数与拒绝率前后对比,100 题中从 98 次拒答降到 3 次,可复现步骤也一并公开。

  11. GitHub · 3D 生成新仓库22

    Vaultly:开源生产级多租户 RAG 平台

    GitHub 新开源仓库 Vaultly 是一套生产级多租户 RAG 平台,内置检索与生成评测、访问控制、语义缓存和成本追踪。技术栈采用 FastAPI、SQLAlchemy 2.0 与 Pydantic v2,检索模块支持混合检索、RRF 与重排序,并配备 Kafka 后台 worker、docker-compose 编排及 CI 自动化测试。

  12. GitHub · 3D 生成新仓库21

    Gabriel-Kahen 开源 eshkol-transformer:不依赖 Python 运行时的 Transformer 预训练项目(Pre-alpha)

    Gabriel-Kahen 在 GitHub 发布 eshkol-transformer 仓库,目标是从随机初始化训练语言模型,不使用 Python 作为运行时训练框架,Python/PyTorch 仅作数值对齐的开发 oracle。项目处于 Pre-alpha,尚无稳定的训练公开 API;当前支持 Ubuntu 22.04 x86-64 与 Clang/LLVM 21.1.8,Eshkol 编译器/运行时锁定在 fork 版本 1.3.4-evolve,oracle 环境要求 Python 3.14.6。

  13. GitHub · 3D 生成新仓库20

    Eithing/pedagogie-sin:用 Claude 管理的 SIN/SNT 教学资料仓库

    GitHub 仓库 Eithing/pedagogie-sin 用于管理 Lycée César Baggio 的 SIN/SNT 课程资料,Markdown 源文件经 npm run build 自动生成学生版、教师版(含批改与评分标准)、幻灯片等 PDF,输出在 output/ 目录。项目规则写在 CLAUDE.md,进度与待定问题记录在 SUIVI.md,多台 PC 之间通过 git pull/push 同步,并可在 Claude 桌面版 Code 标签页中用 /tp、/td 等命令创建或更新文档。

  14. Reddit · r/LocalLLaMA43

    ROCprofGUI:ROCm 生态的现代化性能分析 GUI 工具发布

    开发者 ilintar 发布 ROCprofGUI(rocprof studio),一个面向 ROCm 生态、界面现代且可配合 AI 智能体使用的性能分析工具,可分析 rocprofv3 的 ROCm trace、RADV 的 Vulkan trace(需驱动补丁)及 Loom 内核的 HRX trace。工具内置 MCP server,支持 GUI 和 headless 两种模式,作者已在 llama.cpp 优化工作中使用一周多。

  15. GitHub · 灵魂体仓库47

    div197/BOB-Gemini-Free:支持 OpenAI、Anthropic 与 Gemini 多协议适配的免费 AI 网关引擎

    BOB Gemini Free 是 ABCsteps.com 推出的 Go 编写多协议 AI 网关引擎,一个本地网关同时暴露 OpenAI、Anthropic 和 Google Gemini 三种协议适配路由,默认 web 路由无需 BOB 计费账号,可选路由使用用户自己的 Gemini Developer API key。当前 macOS universal v0.2.0-preview.10 为受控 beta,经 owner 控制的 Keychain 签名分发;工具调用为模拟实现(prompt/Markdown 提取),token 计数为估算值,不支持原生 Google function calling。

  16. GitHub · 去对齐工具与仓库46

    PM Studio:面向产品经理的开源 AI 工作流实验室 pm-os

    开源项目 PM Studio(pm-os)帮助产品经理用 AI 把分散信息转化为上下文、决策和可追溯文档,按 initiative 组织工作区并执行 PRD 生成与验证等 workflow。支持 Ollama 本地、OpenAI、Anthropic 及 OpenAI 兼容 API,提供免密钥的 Demo 模式、本地 PDF/Markdown/TXT 信号提取、MCP 服务器与 GitHub Issues、Linear、Plane 的受控导出。项目基于 Python 3.10+,MIT 许可,界面支持葡语和英语。

  17. GitHub · 去对齐工具与仓库51

    yannickloth 开源 OpenCode 编码智能体插件集 llm-harness-plugins

    yannickloth 发布面向 OpenCode 编码智能体的插件集 llm-harness-plugins,每个插件是含 Java 后端与 TypeScript shim 的独立目录。插件涵盖会话生命周期追踪、基于文件的持久记忆 agentmem、知识图谱与 GraphRAG 语义层、SDLC 守护规则、premium 会话读取卸载到 DeepSeek worker、本地意图路由等,附严格的插件加载顺序表;预编译产物已提交,需 Java >= 25 才需自行构建,并提供 load canary 预检脚本以 fail-closed 方式检测插件静默加载失败。仓库地址 https://github.com/yannickloth/llm-harness-plugins。

  18. GitHub · 去对齐工具与仓库53

    AMD LLM Lab 开源:AMD GPU 上的 LLM 推理内存与性能预估平台

    VedantJadhav701 开源了 AMD LLM Lab,一个面向 AMD Instinct MI300X 和 Radeon GPU 的 LLM 推理优化研究平台,含模型推荐器、显存适配计算器、社区基准榜单和本地硬件探测。其显存计算覆盖 BF16 到 INT2 精度并计入 KV cache 与运行时开销,附带 57 条以上 MI300X(192 GB HBM3)实测数据,明确区分 MEASURED 与 ML 回归的 ESTIMATED 值,并提供 rocm_bench.py CLI 供用户提交实测结果。项目采用 FastAPI 后端加 Next.js 前端,MIT 许可,非 AMD 官方产品。

  19. GitHub · 去对齐工具与仓库36

    ai-platforma-demo:多部门共享 AI 平台的演示项目

    PiotrBednarski-EngineerOfHumanGoods 发布的 ai-platforma-demo 演示了一个多部门共用的 AI 助手平台:统一入口按部门配置文档、工具与模型策略,支持 mock / Claude / OpenAI / Ollama 作为后端,发送前自动脱敏并记录日志。线上版本运行真实 Claude,月预算 3 美元;项目由 Claude Code 构建并有专门 agent 检查安全、代码质量、UX 等,每个修复附带测试,含 AES-256-GCM 加密与 RODO 合规文档。

  20. GitHub · 3D 生成新仓库20

    API Evangelist 发布 Forethought 第三方 API 档案仓库

    API Evangelist 在 GitHub 上维护 Forethought 的第三方 API 档案,含 Kin Score 与 Agent Readiness 评分,均按公开评分规则独立计算,并非认证或安全审计。Forethought 是旧金山的生成式 AI 客服平台,由 SupportGPT 驱动多智能体产品套件(Solve、Triage、Discover、Assist、Agent QA),在 Enterprise 计划下提供 Solve API 与 Triage API 两个公开 REST API,另有 iOS/Android SDK 和开源 Agent 框架 AutoChain,现属 Zendesk。

  21. GitHub · 3D 生成新仓库30

    mindturbulence 开源 Kollektiv:本地优先的提示词工程与创意资产管理套件

    Kollektiv 是一款面向提示词工程师、视觉艺术家和 AI 研究者的本地优先应用,集提示词模板、多引擎润色与媒体管理于一体。其 AI 功能由 Google Gemini 和 Ollama 驱动,可为 Flux、Midjourney、SDXL、Veo、Sora、Suno 等图像、视频、音频模型生成专用公式,并通过 File System Access API、IndexedDB 和本地 JSON sidecar 实现 100% 数据本地化。项目基于 React 19、TypeScript 与 Vite 构建,需 Gemini API Key 才能启用 Neural 功能。

  22. GitHub · 3D 生成新仓库29

    jwilleke/ngdpbase:基于 Node.js 与 Markdown 的文件式 Wiki 应用在 GitHub 开源

    jwilleke 在 GitHub 开源 ngdpbase,一个受 JSPWiki 启发、基于 Node.js、Express、TypeScript 和 Markdown 的文件式 Wiki 应用。它支持页面创建编辑、多条件高级搜索、版本历史与 diff 对比、基于 JSON 的策略访问控制,并提供含 12 个专用工具的 MCP Server,可集成 Claude Desktop 和 Claude Code CLI。项目可通过直接安装、容器镜像或 Kubernetes 部署,配置系统含约 1150 项默认属性。

  23. GitHub · 3D 生成新仓库42

    atulkumar-ds 开源 Self-RAG-On-Indian-Constitution:基于 LangGraph 与 DeepSeek R1/V3 的印度宪法自纠错 RAG 系统

    atulkumar-ds 在 GitHub 开源 Self-RAG-On-Indian-Constitution,一个基于 LangGraph 与 DeepSeek R1/V3 的 Self-RAG 与 Corrective RAG 问答系统,覆盖印度宪法与 IPC。系统具备查询路由、上下文校验、grounding 检查与自动回退 web search 等自纠错能力。在 50 行 Ragas 合成测试集上,Faithfulness 0.96、Context Precision 0.95、Context Recall 0.90、Answer Relevancy 0.75,p50 延迟 2.11 s,全流程消耗约 1.17 million tokens,并通过 DVC 保证可复现。

  24. GitHub · 灵魂体仓库7

    Khayal07/khayal_portfolio:基于 Next.js 14 的 AI 工程师作品集网站

    Khayal Ismayilzada 在 GitHub 发布了一个可直接投产的单页 AI 工程师作品集网站,基于 Next.js 14(App Router)、TypeScript 和 Tailwind CSS 构建,完全静态渲染。支持英文/阿塞拜疆语一键切换、基于 CSS 变量的深浅色主题切换(含防 FOUC 脚本)、可分类筛选的项目展示及学历证书展示,所有内容集中在 data/portfolio.ts 中配置,可部署至 Vercel 等任意主机。

  25. GitHub · 去对齐工具与仓库56

    Hugging Face 开源 swarmlab:异构 LLM 智能体群协作实验测试床

    Hugging Face 开源了 swarmlab,一个用于研究异构 LLM 智能体群协作原语的科学测试床,通过控制通信拓扑、可见性策略和角色等变量来检验群体共识、准确率与极化。实验由 World、Participants、Medium、Metrics 四部分组成,支持混合 Anthropic、OpenAI、Hugging Face Inference Providers、自托管 vLLM 等模型,内置信念探针、中途干预、配对运行与日志重放,可改一行 YAML 换假设。

    推荐理由:原文给出了实验框架的完整构成和真实运行数据,读者可以据此评估多智能体协作研究是否值得迁移到这个测试床上。

  26. GitHub · 灵魂体仓库49

    jevcore:面向 DeepSeek Harness 与 MCP host 的 TypeSafe Jev 决策层插件

    GitHub 上的 jevcore 项目把 TypeSafe Jev——只回答 noul(yes/no)、choice、score 等类型化问题并返回校准概率、不写散文的决策模型——接入 DeepSeek Harness 和任意 MCP host,提供 jevcore、jevcore-dsh、jevcore-mcp 三个包。默认离线使用 mock provider,每次传输在启动日志中显式声明,禁用的 gate 不注册任何事件监听;需 Node ^22.19.0 || >=24.0.0(dsh 版)或 >=20,经 TypeSafe 或 OpenRouter 的 POST /v1/systemone 路径可切到 live,模型为 jev-latest。

  27. GitHub · 去对齐工具与仓库43

    AIModelDB:AI 模型注册与目录工具开源发布

    GitHub 上的 AIModelDB(AI Model DB)是一个 AI 模型注册与目录工具,可将 Hugging Face(10,000+ 开源模型)、Civitai、OpenModelDB、Artificial Analysis 等来源的模型聚合成统一数据库。它支持用 OpenAI、Anthropic、Google、DeepSeek 的 AI 自动验证和丰富模型元数据、内置更新通知与一键安装、按领域(LLM、ImageGen、Audio 等)和许可证筛选、API 密钥本地加密存储,且手动编辑在重新同步时保留。项目采用 MIT License 开源,基于 Electron + React 18 构建,提供 Windows、macOS、Linux 安装包。

10月14日周三
  1. Reddit · r/LocalLLaMA52

    llama.cpp 新 PR 引入 GDN chunked kernel,多款 GPU 上 Qwen 模型推理提速

    Reddit 用户转发 ggml-org/llama.cpp 的 Pull Request #29353(am17an 提交的 cuda/hip GDN chunked kernel),并附多组推理速度对比。RTX PRO 6000 Blackwell 上 Qwen3.5-35B-A3B-Q8_0 在 2048/4096 prompt tokens 下分别提升 20.6% 和 17.8%,RTX 5090 上同模型 Q4_K_S 提升 16.4%-17.9%,RTX 4090 提升 10.8%-11.1%,Qwen3.8-27B 在多卡上提升约 0.9%-6.4%,Spark GB10 上各模型提升约 3.4%-5.7%。

  2. GitHub · 3D 生成新仓库42

    wildminder 发布 ComfyUI-DyPE:免训练实现 FLUX、Qwen Image 等 DiT 模型 4K 超高分辨率生成

    wildminder 在 GitHub 开源 ComfyUI-DyPE 自定义节点包,通过 DyPE 动态位置编码外推等方法,让 FLUX、Qwen Image、Z-Image、Anima/Cosmos、Krea-2 等 Diffusion Transformer 免训练、免改工作流地生成 4096×4096 及以上分辨率图像。节点包还含 SEGA、SPA、HAP、PixelRush、FreeScale、HiFlow、I-Max 等节点,分别用于光谱锐化、修复重复/塌缩结构、稀疏注意力加速和级联放大,单节点接入 loader 后即可使用,性能开销可忽略。

  3. GitHub · 3D 生成新仓库27

    FLUX.1 [schnell] 生成管线仓库 kurtvalcorza/flux-schnell-generation-pipeline 发布

    GitHub 新仓库 kurtvalcorza/flux-schnell-generation-pipeline 提供 FLUX.1 [schnell](Apache-2.0、11.9B 参数、1-4 步文生图)的 DIMER 端到端管线。权重固定到不可变 Hugging Face revision 并按 manifest 校验,transformer 以 bitsandbytes NF4 4-bit 加载(约 6.6 GB,适配 16 GB GPU),文本编码器与 transformer 分时占用 GPU。

  4. GitHub · 3D 生成新仓库41

    Doxynix 开源:AST 优先的代码库理解工具

    Doxynix 在 GitHub 开源,采用 AST 优先的确定性方案理解代码库:用 Tree-Sitter WASM 解析器本地提取符号、导入与调用层级,计算入口点、循环依赖和领域边界并映射为交互式可视化画布,仅在选定的子图上调用 LLM 以降低 token 成本与幻觉。项目基于 Bun 与 Turborepo 的 monorepo,含 CLI 与 Web 平台,遵循 AGPL-3.0-only 协议,商用需另行授权。

  5. GitHub · 灵魂体仓库17

    DomienDarmontAntwerpen 的 Ironhack AI 工程训练营实验作业解答仓库

    开发者 Domien Darmont 在 GitHub 开源其 Ironhack AI 工程训练营(2026)每周实验的解答代码,内容覆盖 Python 基础、机器学习、Keras 深度学习、NLP、LoRA/QLoRA 微调、LangChain 多智能体系统及基于 CLIP 与 Chroma 的多模态 RAG 与 LangSmith 评估。实验题目来自 Ironhack 课程,解答为作者本人完成,代码仅可查看不可复制分发。

  6. GitHub · 灵魂体仓库45

    LingoFuse:无需 IDL 与桩代码的跨语言 RPC 框架

    LingoFuse 是一个跨语言、跨进程、跨机器的 RPC 框架,任何语言写的函数可被其他语言直接调用,无需写 IDL、生成桩代码或搭 HTTP 服务。项目提供 18 种语言的第一方绑定(Pascal、Python、C++、C#、Rust、Go、Java、Swift 等),核心动态库以 Pascal 构建,采用 MIT 许可证开源。压测显示 32 线程运行 10 秒累计 46,515 次调用、100.00% 成功率。

  7. GitHub · 去对齐工具与仓库63

    jitllm 发布:面向 LLM 推理的操作系统式引擎

    作者发布 jitllm,一个定位为 LLM 推理操作系统的单二进制引擎,运行时为 CPU 和 GPU 生成 JIT 内核,支持层在设备间迁移、超内存模型从磁盘分页,兼容 65 种 GGUF 架构和 30 种 Hugging Face 类。性能上最高达 llama.cpp prefill 的 4.62x、vLLM 0.18.1 首 token 速度的 5.8x,提供 OpenAI 与 Anthropic 兼容 API、桌面与终端应用,支持 macOS、Windows、Linux 和 Docker 部署。

    同一新闻,精选展示《jitllm 推理引擎发布:为硬件 JIT 生成内核并支持超内存分页》

  8. Reddit · r/LocalLLaMA63

    BitRun:面向 1-bit 三值 LLM 的零编译独立运行器,M4 Pro CPU 达 98-127 tokens/s

    /u/The_VibePreneur 发布 BitRun,一个无需编译即可运行 1-bit 三值 LLM 的独立运行器,在 Apple M4 Pro CPU 上跑出 98-127 tokens/s,Intel i5-12600K 上 40-45 tokens/s,全程 0% GPU 占用。作者为此修复了 Microsoft bitnet.cpp 的多处底层 C++ 内核 bug(batch stride 覆写、ARM NEON 块大小硬编码导致 @ @ @ 死循环、SiLU 与 squared ReLU 激活不匹配、多轮对话 BLAS 越界崩溃),并提交 PR #642 和 #644。

    推荐理由:作者修复了 bitnet.cpp 的多处底层内核 bug 并封装成零编译的一键运行器,实测数据可直接对照自己的 CPU 场景判断是否可用。