跳到正文
10月7日周三
  1. arXiv · cs.CL62

    arXiv 论文:三值语言模型导出时的 bf16 转换可抵消大部分低学习率代码改动

    arXiv 论文(arXiv:2610.07853)审计 BitNet b1.58、Falcon-E、BitCPM 等三值语言模型的导出管线,发现潜在权重先转 bf16 的流程会翻转部分三值码:已发布检查点中 Falcon-E 与 BitCPM 有 0.83-1.77% 的码不一致,BitNet 2B-4T 为 1.530%。在低学习率微调端点,该导出使 Falcon-E-1B-Base 的 greedy GSM8K strict accuracy 从 58.79% 跌至 0.78%,BitCPM-CANN-0.5B 从 36.13% 跌至 0.39%;直接写入训练量化器的码或微调 bf16 输入两种补救方案均在三个模型上达到 4 点非劣性标准。

    推荐理由:论文审计了三家实验室的导出管线,指出 bf16 转换会抵消低学习率微调的代码改动,并验证了两种补救方案。

  2. GitHub · 灵魂体仓库65

    aksheyd 发布 Rust/Python 量化库 quantize 并附 candle 基准对比

    aksheyd 在 GitHub 发布 quantize,一个可用作 Rust crate 或 Python 包的快速量化库,支持对称与非对称量化、逐块自适应位宽和 scale 拟合,码字 2 到 16 位。附带从第一性原理推导的 8 个示例章节,质量与 candle 的 Q4_0 等格式持平,在 aarch64 上反量化更快,WikiText-2 上 SmolLM-135M 4-bit 困惑度为 26.44,fp32 为 18.93。

    推荐理由:这是一个 Rust/Python 双可用的量化库,原文给出了与 candle 的质量与速度基准数据,方法可迁移。

  3. GitHub · 去对齐工具与仓库52

    Prometheus 开源本地推理平台:llama.cpp 加安全 API 网关

    Root1V 在 GitHub 开源 Prometheus 推理平台,用 llama.cpp 在本地硬件运行量化开源模型,并通过带认证、授权、限流和用量计量的安全网关向容器化应用提供推理服务。平台支持 OAuth2 client_credentials 流程与按角色的短时效 JWT(app 5 分钟、agent 10 分钟、cognitive 1 小时、admin 3 小时),网关 API 兼容 OpenAI Chat Completions 格式;v1.4.0(2026-09-10)加入 sd.cpp 图像生成、Hugging Face 模型下载、Playground、按客户端计费与熔断限流,v1.3.0 支持 llama.cpp/MLX/vLLM/SGLang 多后端。

  4. GitHub · 灵魂体仓库67

    Agave:纯 Zig 编写的无依赖 LLM 推理引擎

    maci0 发布了用 Zig 编写的 LLM 推理引擎 Agave,所有内核、量化器、tokenizer 和模型实现都在仓库内,不依赖任何外部 ML 库,仅需一个 Zig 编译器即可构建。支持 7 种模型架构、6 种后端、20+ 量化类型和分布式推理,Qwen3.5 0.8B Q8_0 在 M4 Pro Metal 上达约 125 tok/s。项目处于 0.x 阶段,AMD RX 7900 XTX 上 ROCm 和 Vulkan 后端存在输出错误的已知缺陷,llama.cpp 的模型覆盖面仍更广。

    推荐理由:作者用 Zig 从零实现全部内核并给出与 llama.cpp 的对比数据,同时坦承 ROCm 和 Vulkan 存在正确性缺陷,适合想读无依赖推理引擎代码的人。

  5. GitHub · 灵魂体仓库57

    BitTrellis 开源:为特定 GPU 自动搜索 Qwen3.8-27B 的最优逐层量化配方

    BitTrellis 仓库发布,它针对 Qwen3.8-27B 与 RTX 5090(32 GB)自动搜索逐层压缩配方,以 RP-KL 衡量与 BF16 原模型的偏移,并生成真实 checkpoint 在 SparkInfer 上实测质量、速度与显存。测量发现多数公开语料上的保真度收益无法在私有 holdout 上延续,V13 仅 9% 收益迁移、V3 仅 44%,均未达标;真正存活的是 Q4_K 的显存节省,V1 节省 1.8 GiB、V6 节省 1.2 GiB 且通过 holdout,代价是 4K prompt 读取速度最多下降 49%。矿工可通过提交 YAML manifest 或新量化器参与,合并后在 Gittensor 上按 frontier 增益获得报酬。

    推荐理由:原文用真实测量说明了公开语料上的保真度收益在私有 holdout 上大多不成立,这个验证思路对做量化压缩的人有参考价值。

  6. GitHub · 灵魂体仓库64

    Lemon Seed Engine(LSE)发布:内置内核编译器的 LLM 推理引擎,支持 AMD GPU 与 macOS

    Geramy 发布 Lemon Seed Engine(LSE,v0.5.4),一个带内核编译与优化引擎的 LLM 推理引擎,可将 GPU 内核经 HIP 或 Loom 编译并缓存复用,通过 HTTP 服务器、CLI 或 C API libLSE 在 AMD GPU 上运行文本模型,支持 Linux、macOS 和 iPadOS。在 R9700 配 Apple M5 Max 上跑 Qwen3.8-27B Q4,DFlash2 投机解码 50.5 tok/s,FlashPrefill 在 32K 预 fill 提速 51–55%,KV 缓存支持 fp32 到 bf8 五种存储格式。项目采用 MIT 许可证,相关项目包括 mac_linuxgpu 驱动和 amdgpu_mtopg 监控工具。

    推荐理由:README 附带 R9700 上的 TTFT、解码速度和 FlashPrefill 实测数据,想评估 AMD GPU 本地推理方案的读者可以拿来对比。

  7. Hugging Face · 新模型:uncensored28

    mradermacher/qwen3.5-9b-uncensored-GGUF 模型使用指南

    Hugging Face 上 mradermacher/qwen3.5-9b-uncensored-GGUF 模型页面给出多框架使用方法,涵盖 Transformers、llama.cpp、vLLM、SGLang、Ollama、Docker Model Runner、Lemonade 等工具,示例量化版本为 Q4_K_M。llama.cpp 可启动 OpenAI 兼容本地服务器并支持终端直接推理,vLLM 与 SGLang 均提供 OpenAI 兼容 API 调用方式。

  8. Hugging Face · 新模型:uncensored18

    mradermacher/qwen3.5-9b-uncensored-i1-GGUF 模型在 Hugging Face 发布

    mradermacher 在 Hugging Face 发布 qwen3.5-9b-uncensored 的 i1-GGUF 量化版本。该模型可通过 llama.cpp、Ollama、Docker Model Runner、LM Studio 等工具本地运行,示例采用 Q4_K_S 量化,支持启动 OpenAI 兼容本地服务器或终端直接推理,也可接入 Pi、Hermes、OpenClaw 等 Agent 工具。

  9. GitHub · 灵魂体仓库36

    YVEX(yailabs/yvex):带 Rust 算子外壳的原生模型编译器与有状态执行运行时

    YVEX 是一个原生模型编译器与有状态执行运行时,使用 Rust 算子外壳,将经过认证的开源权重模型源码编译为已准入的执行工作。其 C 计算核心支持 CPU 和 CUDA 执行,并已集成早期 Apple Silicon Metal 后端,每条路径的资质验证单独记录。已演示的执行路径包括 DeepSeek V4 Flash 的投机生成、Qwen3.8-27B 的 CUDA 文本执行、Qwen3.5-0.8B 的 Mac CPU 生成及 Mamba-Codestral 的 64 层 CPU artifact 执行等,但各路径边界明确受限。

  10. GitHub · 灵魂体仓库26

    llm-agent-research:LLM 量化、Agent Harness 与 Context Engineering 论文阅读清单

    GitHub 仓库 daehwichoi/llm-agent-research 整理了 LLM 量化、Agent Harness、Context Engineering 及最新 AI 研究的论文与实 Reading 清单,资料确认日期为 2026-10-07。清单覆盖 Reasoning、Agent、RL、World Model、Embodied AI、Synthetic Data、Evaluation 等主题,推荐阅读顺序为 ReAct → Toolformer → Reflexion → SWE-bench → SWE-agent → DeepSeek-R1。

  11. GitHub · 去对齐工具与仓库68

    在 macOS Recovery 模式跑 LLM 推理,为 64 GB Mac 多挤出约 2.3 GB GPU 内存

    作者 Dmitriy-Romanov 发布 recoveryos-llm 仓库,介绍在 macOS Recovery 最小系统里启动 LLM 服务器的方法:64 GB M1 Max 上 GPU 可用内存从正常系统的 55.4 GB 提升到 57.6 GB,多出约 2.3 GB。方法是用 sysctl iogpu.wired_limit_mb=59000 提高 wired limit,配合 MLX 系服务器(SUSHI)运行 176B MoE 量化模型 Qwen3.8-Flash-Next-Sushi-3bpw(约 49 GB 权重),并给出挂载磁盘、启动服务器、Wi-Fi 连接的完整命令。

    推荐理由:作者实测在 Recovery 模式下启动 LLM 服务器可多出约 2.3 GB GPU 内存,并给出具体命令和余量经验值,方法可直接复用。

  12. GitHub · 灵魂体仓库64

    Mach X:面向 Intel Arc GPU 的 C++/SYCL 本地 LLM 推理引擎发布

    Red-Weasel 发布 Mach X 推理引擎,一个面向 Intel Arc GPU 的 C++/SYCL 本地 LLM 推理引擎,在两张 Arc Pro B70 上构建调优,不基于 llama.cpp 分支、语言模型引擎不用 PyTorch,提供手写 SYCL 内核、OpenAI 兼容服务器、张量并行多卡执行。

    推荐理由:README 给出了各版本在 Arc Pro B70 上的实测数字和测量条件,读者可以据此评估这套自研推理引擎在 Intel Arc 上的实际表现。

  13. Reddit · r/LocalLLaMA12

    预算 $4000 求购本地 LLM 主机:跑 Qwen 3.8-Flash-Next 该选 R9700、DGX Spark 还是 Strix Halo?

    一位 Reddit r/LocalLLaMA 用户手握约 $4000(可放宽到 $4200)预算,想流畅运行 Qwen 3.8-Flash-Next,征求装机方案。候选包括 2x Radeon AI R9700(64GB VRAM)、涨价后的 DGX Spark、128GB 统一内存的 Strix Halo、6x Intel Arc B60(共 144GB VRAM)以及 Mac Mini/Studio;已有 NVMe、DDR4/DDR5 内存和 Intel 14700K、Ryzen 9700x 可复用。

  14. GitHub · 灵魂体仓库75

    the-benchmark 发布:本地 LLM 服务器基准工具并新增 Studio 本地 UI

    作者发布 the-benchmark,一个零依赖的本地 LLM 服务器基准工具(https://github.com/MrBrunoWolff/the-benchmark),支持任何 OpenAI 兼容的 /v1/chat/completions 端点,包括 LM Studio、Ollama、llama.cpp server 和 vLLM。工具测量 prefill、generation、concurrency 和 agentic 四个阶段,并新增可选的 Studio 本地 UI,可用 Docker 隔离环境运行经独立验证的编码与文件类 agent 任务。

    推荐理由:这是作者对自家本地 LLM 基准工具的完整说明,四组实测数据展示了为什么 tok/s 不能预测 agent 任务的实际完成时间。

  15. GitHub · 去对齐工具与仓库54

    brittlewis12 发布 qwen-llm:Apple Silicon 上的 Rust+Metal 本地 GGUF 推理工具包

    brittlewis12 在 GitHub 发布 qwen-llm 0.0.1,一个面向 Apple Silicon 本地 GGUF 模型的实验性 Rust 推理、服务与基准测试工具包,含自定义 Metal kernel。支持 Qwen3.5/3.6/3.8、DeepSeek V4、Muse Glimmer 30B、K2 Horizon 7B 等 GGUF;在 M4 Max 上 Muse Q8_0 的 32K late-chunk 实测节省 17.95% 墙钟时间,Flash-Next 的 HC 路径节省 6.56% GPU 时间,1024 行 packed router 节省 14.77% prefill GPU 时间。

  16. GitHub · 去对齐工具与仓库72

    PrismaQuant 开源:按真实端到端 KL 选择逐层量化格式的混合精度工具

    Robert Tand 开源 PrismaQuant,一个混合精度 LLM 量化工具,用 AURA 分配器(KL-Fisher 探针乘以生产渲染权重误差,解多选背包)为每个 Linear 选格式,发布前用 held-out 真实 KL 验证。输出 compressed-tensors(vLLM 原生)、GGUF(llama.cpp 与 vLLM)和 Tessera 三种容器,均无需 fork 推理引擎。实测:Qwen3.6-27B 5.5 bpp 工具调用 91/100 超 BF16 的 86/100;Ornith-1.0-35B 4.75 bpp 从 70 GB 降到 23 GB;Tencent Hy3 295B-A21B 量化到 2.80 bpp GGUF 后单张 DGX Spark 可跑。

  17. Reddit · r/LocalLLaMA71

    Qwen3.8-27B 量化方案:12GB VRAM + 8GB RAM 跑出约 18 tok/sec

    /u/bodhi371 用 ISTA-DASLab 的 Qwen3.8-27B-GSQ-RCO IQ3_S 量化(约 11GB),在 12GB VRAM + 8GB RAM 上以 llama.cpp 跑通 Qwen3.8-27B,64k 上下文下解码约 18 tok/sec、prefill 约 500-600 tok/sec。作者称这是其测过的最佳量化,GSQ-RCO 表现接近全精度;能塞下是因为混合架构只需 16/64 层 KV cache,q4_0 缓存下 64k 仅约 1.1GB。

    推荐理由:作者给出了在 12GB VRAM 上跑通 Qwen3.8-27B 的完整量化方案与参数,附可复现脚本和实测速度数据。

  18. GitHub · 灵魂体仓库53

    EigenTrace 开源项目:用嵌入向量几何持续测量五大前沿模型如何改写新闻

    作者发布 EigenTrace 仓库,这是一套全天候测量工具,抓取实时新闻后让 ChatGPT、Claude、DeepSeek、Gemini、Grok 五个前沿模型各自生成摘要,再用冻结嵌入模型 BAAI/bge-large-en-v1.5 上的确定性几何计算保留、偏移与遗漏,不做第二轮模型评判。代码 MIT 许可,项目自 2026-03-31 起每天导出数据至 https://eigentrace.ai,由单块消费级 GPU 24/7 运行,配本地 Mistral 模型负责旁白。作者说明结果未经同行评审,日常样本较小(近 30 天中位数 47 条故事),且所有数值依赖单一嵌入模型。

  19. GitHub · 灵魂体仓库72

    bankML 发布零依赖 Rust 推理运行时,1-bit 与三值模型对 llama.cpp 位精确且更快

    cryptoAGI 发布 bankML v0.3.6,一个零依赖 Rust 运行时,用于在普通 CPU 上运行 1-bit 和三值语言模型,对 llama.cpp b11192 逐 token 位精确。针对 llama.cpp 缺少 Q2_0 三值向量化内核的问题,其内核在 8.19B 权重全量验证下每矩阵快 9.4–10.0 倍;三值模型端到端 2.3–2.4 tokens/s 对 llama-server 的 0.30。支持 OpenAI 与 Ollama 兼容 API、sha256 校验与响应回执,8B 三值模型 2.31 GB 可在 6 GB 笔记本上运行,项目为 MIT OR Apache-2.0 许可。

  20. GitHub · 去对齐工具与仓库64

    speculative-statecraft 仓库实测:工作负载自训练的 EAGLE-1 草稿头在 vLLM 上对比投机解码收益

    GIO443 发布 speculative-statecraft 仓库,在 4-64 个 LLM 阵营每回合输出引导 JSON 决策的策略游戏负载上,用目标模型(Qwen2.5-1.5B-Instruct)自身输出训练 51.5M 参数的 EAGLE-1 草稿头,在 RTX 4070 Laptop 8 GB 加 vLLM 0.30.0 上与无投机和 n-gram 投机对比。

    推荐理由:原文给出按在飞上下文量判断投机解码何时划算的阈值,以及离线预测接受率的方法,可迁移到其他 vLLM 部署场景。

  21. GitHub · 去对齐工具与仓库53

    BOPIS 开源:用贝叶斯优化搜索 llama.cpp 配置以降低本地 LLM 推理能耗

    作者发布论文配套软件工件 BOPIS,用贝叶斯优化与 Pareto 选择在 llama.cpp 运行时配置空间中搜索每 prompt GPU 能耗最低的设置,同时保持推理速度与输出质量,并与未优化默认配置和随机搜索基线做三方验证。搜索范围覆盖 Qwen2.5-Instruct 0.5B/1.5B/3B/7B 与 F16、Q8_0、Q4_K_M 精度组合,支持 llama-server、Ollama 和模拟后端;测量核心仅用 Python 标准库,BERTScore 评分作为独立离线阶段。对无功耗传感的 GPU(如 MX330)提供基于资源占用的估算模式并标注 energy_scope,文档还记录了论文第三章的多处修正,包括 Expected Improvement 公式符号写反等问题。

  22. GitHub · 灵魂体仓库62

    Ghostlink 开源:跨机器零配置分布式 LLM 推理工具

    rwilliamspbg-ops 在 GitHub 发布 Ghostlink(v2.3.0,MIT 协议),基于 llama.cpp 的 ggml-rpc 将局域网内异构 CPU/GPU/NPU 机器组成零配置分布式推理集群,并提供 OpenAI 兼容的 /v1/chat/completions API。跨机器 VRAM 容量拆分已实测可加载单机放不下的 30B 级 MoE 模型,但项目自述网络拆分下的高吞吐和多节点可用速度仍未证明;预编译二进制目前仅支持 x86_64。

    推荐理由:项目给出了多节点 LAN 分布式推理的实测吞吐和可复现命令,读者可以据此评估这套零配置集群方案在自己硬件上的可行性。

  23. GitHub · 灵魂体仓库75

    J-M-Recipes 发布面向大开源模型的硬件钉定部署配方仓库

    James Meadlock 与 Milo 发布 J-M-Recipes/recipes 仓库,提供经过验证的大开源模型部署配方,承诺每项数字都附带方法、容器 digest、模型 revision 和原始输出。已验证配方包括单台 DGX Station GB300 上以 vLLM UVA expert offload 运行 DeepSeek-V4.1-Flash 1M 上下文(182.8 tok/s)、GLM-5.3-Flash NVFP4 加 DFlash2 投机解码(235.5 C1)、完整 GLM-5.3 NVFP4(58.2 tok/s)及 MiMo-V2.6-Pro(1.02T MoE),并记录失败实验的 ledger。

  24. GitHub · 去对齐工具与仓库58

    DawnofGenX 开源 quant-regress:量化后任务精度回退即让 CI 失败

    DawnofGenX 在 GitHub 开源 quant-regress,可在 CI 中对模型各精度档位跑任务评测,精度下降超过阈值即让构建失败。作者指出困惑度、KL 散度等 token 级代理指标常显示量化模型正常,而任务精度未必;在一个 cross-encoder 验证器上,dynamic INT8 量化后 fp32 基线精度 100.0%(20/20)跌至 0.0%(0/20)。支持 GitHub Action 与命令行用法,退出码约定为 0 正常、1 精度回退、2 配置错误。v1 仅支持 fp32 与 dynamic int8、仅限 CPU,不支持 AWQ/GPTQ/GGUF 等 GPU 量化方案,仓库地址 https://github.com/DawnofGenX/quant-regress。

    推荐理由:作者用交叉编码器验证器上 INT8 精度从 100% 跌到 0% 的实测案例,说明困惑度等 token 级代理指标为何测不出量化损失。

  25. Reddit · r/LocalLLaMA74

    Qwen3.8 27B 如何在 16GB 显存上跑出 131k 上下文:实测经验与指南

    /u/randomgenericbot 在 r/LocalLLaMA 分享在 16GB 显存(RTX 5060 Ti + 单通道 DDR5)上运行 Qwen3.8 27B 的经验:使用 ISTA-DASLab 的 GSQ-RCO IQ3_S 量化(https://huggingface.co/ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF),与朋友在 H200 上跑的 Q8 对比几乎无法区分。

    推荐理由:作者实测了 Qwen3.8 27B 在 16GB 显存下的量化选型与 KV 流式方案,并给出各上下文档位的实测速度数据。

  26. GitHub · 灵魂体仓库37

    NppAI:基于自研 C++ 推理引擎的 Notepad++ 本地 AI 编程助手

    NppAI 是一个面向 Notepad++ 的实验性 AI 编程助手项目,围绕自研 C++ 推理引擎与 Python/PyTorch 训练管线构建,专注本地推理而非封装外部托管 AI API。项目支持自定义 .nppai 二进制模型格式、本地 RAG、OpenMP/AVX2 CPU 优化、INT8 权重量化及 DirectX 11 计算路径(含 CPU 回退),并提供 FastAPI 后端用于收集修正数据与集中式再训练。项目仍处于实验性活跃开发阶段,模型质量与性能尚在验证中,release 提供 x64、x86 和 ARM64 安装包。

  27. GitHub · 灵魂体仓库70

    Dercen 开源 ptq-bench:LLM 训练后量化困惑度基准工具

    Dercen 在 GitHub 开源 ptq-bench,一个衡量 LLM 权重量化后困惑度损失的基准工具,对比 RTN、GPTQ、AWQ-lite、HQQ 在不同位宽下的表现。仓库提供 ./ptq 菜单式向导、浏览器界面和 Google Colab 演示,无需 GPU 也能运行最小模型;官网 dercen.github.io/LLM-Precision 随每次 push 自动重建。已完成 436 行的常驻评测矩阵(五模型×五方法×四位宽×三数据集),其中 61 行与已发表数字对照,fp16 偏差在 0.04% 以内,GPTQ 平均偏差 1.2% 以内;流式评测让 13.3 GB 的 opt-6.7b fp16 权重可在 8 GB GPU 上以 1.95 GB 峰值显存完成评测,结果与常驻评测一致。

  28. GitHub · 去对齐工具与仓库43

    NVIDIA Model Optimizer:模型量化、剪枝与蒸馏优化库

    NVIDIA Model Optimizer(ModelOpt)是集量化、剪枝、NAS、蒸馏、投机解码与稀疏化于一体的模型优化库,支持 Hugging Face、PyTorch 和 ONNX 输入,可导出至 SGLang、TensorRT-LLM、vLLM 等推理框架。近期 Qwen3.6-35B-A3B 的 NVFP4 W4A4 量化实现最高 1.30x vLLM 吞吐提升和 3.1x 更小的 checkpoint,Nemotron 3 Ultra(550B)量化后推理吞吐较 GLM-5.1 754B FP4 高达 5.9 倍。该库已开源,支持 FP8 与 NVFP4。

  29. GitHub · 灵魂体仓库67

    ifReflex.cpp 发布:基于 llama.cpp 的原生 C++ 结构化决策推理引擎

    DreamBlooms 在 GitHub 发布 ifReflex.cpp,一个基于 llama.cpp 的原生 C++ 推理引擎,把结构化决策做成纯 prefill 读取,对每个类型化问题在单次前向中从 next-token logits 读出完整选项概率分布,不生成散文、零生成 token、CPU 即可运行。一个二进制覆盖 reflex、SemIf、RWKV-Jev 和任意 instruct GGUF,支持 Qwen3.5 0.8B/2B/4B、Qwen3.6 35B A3B、Qwen3.8 27B 等 GGUF;还支持 DiffusionGemma 和 LLaDA-MoE 两种块扩散架构的一步结构化读取(LLaDA-MoE 为 7B 模型、1.4B 激活、约 8 GB 内存)。

    推荐理由:用单次前向读取 logits 的方式做结构化决策,零生成 token 且无 GPU 可跑,部署思路可复用。

  30. GitHub · 灵魂体仓库75

    RTX 2080 本地 AI 实测仓库:单张 8 GB 老卡跑通 25 个模型并给出排名

    riccardogiorato 的 GitHub 仓库记录了在一张 2018 年 8 GB 显存的 RTX 2080 上实测的 25 个模型,按 AG-Bench v2.1(11 个 canary 校验任务)给出 Top 10 排名,每个模型附完整 artifact、运行时 digest、启动配置与可复现命令,失败也一并记录。关键发现包括:约 2 bits-per-weight 以下推理链断裂(IQ1_S 空转、Flash-Next-125B 直达 EOS),Bonsai 仅靠把上下文从 8K 提到 64K 分数就从 5/11 涨到 8/11;UBBoost 主张被复现,A3B 用 -ub 4096 预填充提速 24%。仓库含 recipes、raw JSONL 证据与基准套件。

    推荐理由:在同一张 8 GB 老卡上跑通 25 个模型并给出可复现配置与量化下限结论,想选本地模型的人可以直接对照结论。

  31. GitHub · 去对齐工具与仓库28

    liyang53719 开源 hetero_cnn_llm_aha:异构 CNN/LLM 加速器仓库

    GitHub 仓库 liyang53719/hetero_cnn_llm_aha 展示一个异构 CNN/LLM 加速器,集成 Gemmini INT8/CNN Matrix、Revision8B-B 512-lane BF16/FP32 Matrix、固定功能 Attention/Norm/SFU、Stanford AHA 可编程 sidecar 及 Sequence Memory/iDMA 复合单元。main@11483e8 将 958 节点图作为单一 split,绑定 338 个 GGUF payload,28 层运行零调度器回退;后端目前为 GGML 后端背后的主机软件仿真,下一步是逐层 21-command 真实 RTL/设备传输 canary,目标覆盖全部 588 条命令。

  32. GitHub · 去对齐工具与仓库68

    1bit engine 开源发布,作为运行在 Lemonade 内的推理引擎

    1bit-MONSTER 发布 1bit engine,一个运行在 Lemonade 之内的推理引擎,通过 1bit serve 提供 OpenAI 兼容 API,首个版本于 2026 年 10 月 4 日周日发布,采用 Apache-2.0 许可证。引擎支持多条后端路线:AMD 的 ggml-hrx 加 Loom 内核跑在 Radeon iGPU 的 XDNA 2 NPU 上、llama.cpp 的 CPU 路线、Apple Silicon 上的 MLX(经 lemon-mlx-engine)以及 Lemonade 的 ONNX Runtime GenAI 模型;NPU 与 HRX 均通过 Strix Halo 端到端测试。

    推荐理由:原文给出各后端在 Strix Halo 上的实测数据,包括 ZAYA1-8B 约 90 tok/s 解码和模型注册表 94.71% 的映射覆盖率。

  33. GitHub · 去对齐工具与仓库67

    Cass67 开源 local_llm:面向 AMD 与 Nvidia GPU 工作站的自托管 LLM 管理系统

    Cass67 在 GitHub 发布 local_llm,一套面向 AMD(ROCm/Vulkan)与 Nvidia(CUDA)GPU 工作站的自托管 LLM 管理系统。模型在隔离 Docker 容器中运行并完整访问 GPU,Svelte Web UI 覆盖 HuggingFace GGUF 搜索安装、模型切换、配置编辑、按集群 VRAM 拟合评分、基准测试与聊天。

    推荐理由:作者给出了多 GPU 张量并行的实测数据与投机解码配置对比,读者可以据此评估这套自托管方案在自己硬件上的收益。

  34. GitHub · 灵魂体仓库23

    pantheongpu/pantheonworkloads:可复现开源 AI 工作负载与 GPU 基准仓库

    pantheongpu/pantheonworkloads 是一个开源仓库,提供固定模型版本、可复现的 LLM 推理等工作负载,可在真实 GPU 和 pantheonsim 模拟的 NVIDIA、AMD GPU 上运行。仓库将功能性验证与基准测试分开:功能性结果只记录相对参考输出的 pass/fail,tokens/s 等基准数字仅来自真实 GPU,模拟目标不允许提交基准数据。项目目前处于早期阶段,包含 18 个 arch-* 架构和 251 个 lib-* GPU 库算子覆盖工作负载,bench/ 目录仍为空。