AI 日报 · 2026 年 10 月 13 日 · 星期二
麦式AI情报站
Kestrel 开源：让 Intel Mac 加 AMD 显卡本地跑大语言模型
Northlatch Labs 开源 Kestrel，一个面向 Intel Mac 加 AMD 独显（含 Hackintosh）的本地大语言模型应用，内置 AMD 补丁版 llama.cpp 和 SwiftUI 界面。RX 6700 XT 上 Qwen3-8B 生成从 0.6-2.6 t/s 提升到约 61 t/s，支持多会话、Agent 工具与 MCP、OpenAI 兼容 API、图像生成（beta）和多 GPU 拆分；仓库地址 https://github.com/0xda7/kestrel，许可 GPL-3.0。
GitHub · 灵魂体仓库原文 无对齐模型发布/更新
Huihui-Qwen3.8-Flash-Next-abliterated 的 EXL3 3.05bpw 整数量化包发布
gdeyoung 发布了 huihui-ai/Huihui-Qwen3.8-Flash-Next-abliterated 的 EXL3 3.05bpw 整数量化包，LM 层已消融，n-gram 嵌入表、MTP 头和视觉塔与基座逐字节一致。包内 75,277 个张量为 3bpw、472 个为 5bpw、2 个为 4bpw，大小 84 GB，可在单块 GB10（128GB 统一内存）上以 262,144 token 上下文运行，实测拒绝筛查 20/20 无拒绝、thinking-off 解码约 65 tok/s、226k token 海针测试可召回。模型继承 Qwen Community License 1.0，安全过滤显著减弱，输出责任由使用者承担。
工程与部署
GitHub · 灵魂体仓库Crustify 开源：用双Agent架构将 C/C++ 代码增量迁移到 Rust
Crustify 发布于 GitHub，是一个将生产级 C/C++ 代码增量迁移到安全 Rust 的 Agent harness，支持移植实现、生成 FFI 安全包装和查找未定义行为。其采用 orchestrator 加 translator 双Agent架构，配套 wavefront 依赖分析、ffibox 安全 FFI 指针库和 crustify-audit 安全审计器，支持 Claude Code 和 OpenAI Codex 作为后端。
GitHub · 去对齐工具与仓库FumetoReaderPlus 开源：Android 漫画阅读器可端侧识别并翻译对话框
fumetodev 在 GitHub 开源 FumetoReaderPlus，一款 Android 漫画翻译阅读器，GPL-3.0 协议，免费无广告无账号。它检测语音气泡并用 PP-OCR 加针对漫画微调的 Hy-MT2 1.8B 模型（ONNX Runtime + llama.cpp）在设备本地完成识别与翻译，旗舰机约每页 6–16 秒，也可接 OpenRouter 或本地 OpenAI 兼容端点；译文由确定性排版引擎回填气泡内，支持连体气泡切分、编辑持久化、整卷批量翻译、翻译后 CBZ 导出，支持 CBZ/CBR/PDF/EPUB 及 Komga/Kavita 服务器，可通过 Obtainium 跟踪更新。
GitHub · 去对齐工具与仓库gpu-inference-platform：可复现的 Kubernetes GPU 推理参考架构与成本基准
asterix004 发布 gpu-inference-platform，一套在 Kubernetes GPU 上服务开源 LLM 的可复现参考架构，含 GPU 级监控和每 token 成本基准，同一套 Helm charts 可通过仅改 Terraform 模块在 Nebius 与 GKE 运行。首个基准于 2026-10-12 在 Nebius（1 x L40S）完成，Qwen2.5-1.5B-Instruct 配 vLLM v0.31.0，并发 64 时输出吞吐 6,228 tok/s、p95 TTFT 586 ms、每百万输出 token 成本 $0.069，较单并发降 33 倍；吞吐在并发 64 时仍在上升，GKE 数据待补。
strix-llama.cpp 新分支 rdna35-perf：prompt processing 比 Vulkan 快 21–54%，128k 下最高达原版 ROCm 的 2.74 倍
/u/asfbrz96 在 Strix Halo（Radeon 8060S、128 GB）上为 llama.cpp fork strix-llama.cpp 开出 rdna35-perf 分支（10 commits，仅 ROCm/HIP）。prompt processing 比 Vulkan 快 21–54%、比原版 ROCm 快 8–174%，领先幅度随上下文深度扩大；生成速度与 Vulkan 打平或落后 2–3%。作者用 KL 散度和 32k 困惑度验证输出质量不变，主要改动包括 RDNA3.5 flash attention kernel、量化 GEMM 调优、MoE 与 Gated DeltaNet 的 decode 融合。
Qwen3.8-27B 实现 bit-exact 投机解码：单卡 RTX PRO 6000 达 106 t/s
/u/stargate425 在 SGLang 上复现了 Qwen3.8-27B 的 bit-exact 投机解码，单张 RTX PRO 6000 达 106.6 t/s，24/24 提示词的 token id 与 logprob 均与无投机解码完全一致。关键包括两处 verify 修改、DeepGEMM sm120 修复（PR #42145 及上游 PR #93），短提示词下仅比 vLLM 的非精确解码慢 3%。作者附上完整启动命令、模型版本号和三个补丁的 gist 链接。
GitHub · 3D 生成新仓库Tether 开源 QVAC 本地 AI SDK 与模型服务工具
Tether 在 GitHub 发布 QVAC，一套本地优先 AI 开发工具，支持在 Linux、macOS、Windows、Android 和 iOS 上运行 LLM、语音、视觉和图像/视频生成等负载。提供 JavaScript/TypeScript 与 Python SDK，内置 HTTP 服务器以 OpenAI 兼容 API 供 OpenCode、OpenClaw 等工具调用，快速示例使用 LLAMA_3_2_1B_INST_Q4_0 模型；能力表覆盖 RAG、LoRA 微调、Whisper 转写、TTS、OCR、VLA 等，并支持 P2P 模型分发和 NAT 穿透中继。
GitHub · 3D 生成新仓库Godot 4.4 本地 LLM 扩展 SaLMoN 开源，基于 llama.cpp 支持聊天、语义决策与嵌入
Hunter174 发布面向 Godot 4.4 的 GDExtension SaLMoN，通过 llama.cpp 本地运行 GGUF 模型，提供聊天、SemIf 风格语义决策和嵌入向量三类能力，运行时无需 Python、云推理、API 密钥或网络。目前为开发预览版，需从源码构建；Windows 上 Godot 4.4.1 全新导入已通过实测，Godot 4.5+ 全新 headless 导入因上游回归暂不支持（issue #11）。异步加载与推理每节点最多 32 个未完成请求、8 个已加载模型；AVX2 测试机上 native 调优把 Qwen3-0.6B 语义演示从约 16 秒降到 2 秒以内。