新闻、仓库与研究，按时间排列。
TimeCraker 在 GitHub 发布 coding-plan-bench 测速台，测量 TTFT/TPS/Total 并在同条件组内排名，支持 Anthropic 兼容与 OpenAI 兼容双协议。内置智谱 glm-5.3 / glm-5.3-flash / glm-5.3-flashx 同 key 三档直对比，外加方舟、千帆、DeepSeek、Kimi 渠道；提供浏览器直连、受信代理、Windows 本地版三种连接方式，Key 不入应用存储。2026-10-05 实测 32/32 成功，GLM-5.3 端到端中位 19.9s / 89 TPS，GLM-5.3-Flash 34.7s / 64 TPS。
研究者提出 CHASE（Channel-Aligned Structure Exploitation），利用几何与谱对齐（GSA）刻画的结构开展模型修改、重构与压缩，共覆盖六项应用。其中 CORA、COEC、CORAM 分别用于参数高效微调、结构化剪枝补偿和模型合并，新方法 CAGA 通过多头注意力共享 KV 表示改进 MHA-to-GQA 转换，SAKV 与 CAPS 分别在 KV-cache 压缩和结构化剪枝上优于代表性基线。结果表明 GSA 识别的结构可直接用于多种模型操作的方法设计。
gemma4-on-FPGA 在 GitHub Releases 发布，是一个用于在 Xilinx Kria KV260 板上运行 Gemma 推理的固定文件包。包内含 FPGA bitstream、分片 binary、tokenizer、hash 与 Verilog/SystemVerilog 源码及部署清单，FPGA 负责计算、ARM 侧负责控制，适合摄像头输入到本地推理的边缘部署场景。用户只需在 Windows 下载解压并按 RELEASE_CHECKLIST.md 与 MODEL_PROVENANCE.md 步骤拷贝文件、启动板卡即可。
GitHub 上的 turboquant-gpu 是一款通过压缩显存中的 KV cache 来加速文本生成 AI 程序的 Windows 工具，宣称速度较标准设置提升 5 倍以上。它要求至少 8GB 显存的 NVIDIA 独立显卡、16GB 内存和 Windows 10/11，通过 .exe 安装包下载安装，数据完全在本地处理。该工具会显示压缩比曲线，并提示若 Windows 报受保护文件需选“仍要运行”。
Hugging Face 用户 sanasol2008 发布 Qwen3.8-Flash-Next-Abliterated-Sushi-2bpw，这是基于 orcarouter/Qwen3.8-Flash-Next-Uncensored 的 BF16 权重直接转换的实验性 Sushi 格式 2bpw 量化包，本身未做额外 abliteration 或微调。完整下载约 64.87 GiB（含 29.8 GiB n-gram sidecar），在 Apple M3 Max / 48 GiB 上用 Sushi 1.1.1 测试，warm decode 约 26.48 tok/s，配置上限 256k 上下文，并保留了视觉权重与 MTP 权重（MTP 推理未验证）。
iopsystems 在 GitHub 发布了 llm-perf，一个用于 OpenAI 兼容 LLM 推理服务器（如 llama-server、vLLM、TGI）的高性能基准测试工具。它支持 SSE 流式 TTFT 测量、并发与固定 QPS 负载模式、uniform 和 Poisson 到达分布，输出 TTFT、TPOT、ITL 及端到端延迟的 mean/P50/P90/P95/P99 分位数，并可按输入上下文大小（small 到 xxlarge）分层统计。
推荐理由：这个开源压测工具覆盖 TTFT、TPOT、ITL 分位数和按上下文长度分层统计，还能把 Azure 编码智能体会话数据重放到 llama-server 或 vLLM 上。
GitHub 仓库 jinsan02/qwen-llmops 发布 SafeWave-AI M5 模块，基于 Qwen2.5-1.5B 构建独居老人安全监测的紧急判断 SLM 管线，整合 M1~M4 专家模型输出与每分钟 vital 时序（≤60行）判断风险，并按 GGUF Q5_K_M 量化（1.29 GB）面向 RPi5(arm64) 部署。Track B 合成测试 strict 317/328 = 0.966、grounded 323/328 = 0.985，规则门限 0.6 以下不调用模型。全部评估数据为 100% 合成生成，所有指标均来自开发 PC(x86)，RPi5 实机实测未进行，且声明该项目是 LLMOps 工程研究而非医疗器械。
gLLM 是一个面向分布式 LLM serving 的开源推理引擎，2025 年 4 月开源，相关论文发表于 SC'25，DynaPipe 被 NeurIPS'25 接收。它支持 dense、MoE、多模态和混合注意力架构，集成 continuous batching、paged attention、chunked prefill、prefix caching、cuda graph、token throttling，以及流水线、张量和专家并行。2026/08/31 已支持 DeepSeek V4（mHC 超连接、KV 压缩、lightning indexer、MXFP4 专家），此前还支持了 Qwen3.8、DeepSeek V3.2、Kimi K2.5/K2.6/K2.7-Code 等。
一位 r/LocalLLaMA 用户把“本地跑 LLM”扩展成了名为 Aether 的多机系统：主力机为 Ryzen 9 5900XT + RTX 3090 24GB + 64GB 内存，另有 Beta 节点和 M3/M4 Apple 卫星节点，按任务分配硬件。系统上层是自建的 PRS 推理编排层和 MOC 迷你内核，负责记忆、上下文选择、真相溯源与失败防护。本地视频管线 VideoForge 基于 ComfyUI + WAN/VACE，并尝试用 Runway、ElevenLabs、PixVerse 作为教师基准实现本地复现。
Qwopus3.8-27B-Flash-V2 是基于 Qwen3.8-27B 的 Qwopus3.8-27B-Flash 的更新后训练版本，采用新的奖励函数与强化学习方法，目标是减少无效推理、降低 Agent 长任务的推理成本。V2 还针对上一版报告的 Python 缩进问题进行改进，在 temperature-0.3 的 Python 格式检查中未再观察到格式失败，该机制仍是工作假设。
/u/Prudent_Appearance71 在 2 张 64GB CMP 170HX 上用 EXL3 3.05bpw 让 GLM-5.3-Flash 目标权重完全驻留 HBM，配合 6bpw DFlash2 草稿模型和环形缓存跑通 384K 上下文，解码约 90 tok/s，配置和脚本已开源在 https://github.com/Flun/glm53-flash-cmp170hx-exl3。
推荐理由：作者在同一台机器上实测两套本地部署方案，把原始推理速度和真实智能体任务完成时间分开对比，思路对搭建类似配置有参考。
famclaw/famclaw 是一个用 Go 编写的本地优先家庭 AI 网关，可在 Raspberry Pi、Mac 或 Linux 上运行，占用约 20MB 内存，通过 Telegram、Discord 和 Web UI 连接 Ollama、OpenAI、Anthropic、OpenRouter 等任何 OpenAI 兼容端点。所有消息先经 OPA Rego 策略引擎按年龄组（under_8 到 parent）分级为放行、请求家长批准或拦截；v0.11.2 新增照片驱动操作、llama.cpp 兼容修复和语音消息转写，技能安装经 HoneyBadger 扫描，当前版本 v0.11.2，AGPL-3.0 协议。
3MPER0RR 在 Hugging Face 发布 Qwen3-06B 的 abliterated 版量化模型，采用 Q8_0 GGUF 格式。该模型可在 Transformers、llama.cpp、vLLM、SGLang、Ollama、LM Studio、Docker Model Runner 等多种工具中加载，llama.cpp 与 vLLM、SGLang 均支持启动 OpenAI 兼容 API 服务。
Hugging Face 新增 dotyerts 发布的 MiMo-V2.6-Flash-RL-UNCENSORED-oQ8e-mtp 量化模型。该模型使用 oQ（oMLX v0.7.0）混合精度量化，为 8 bit、group size 64，格式为 MLX safetensors。
nmorgowicz-org 在 GitHub 发布 Local LLM Foundry 2.0，定位为 llama.cpp 与 GGUF 推理的统一管理面板，支持模型发现、GPU/系统实时遥测、聊天工作区和硬件感知配置向导，覆盖 macOS、Linux 和 Windows。该版本将 Rapid-MLX 列为 Apple Silicon 的一等推理后端，运行时由应用托管安装与回滚；项目是 Llama Monitor 的兼容性更名，2.x 内保留原有 API 路由与浏览器存储，许可证为 MIT。
推荐理由：README完整描述了llama.cpp与Rapid-MLX双后端的管理方式、遥测面板和硬件向导，读者可据此评估是否替换现有本地推理工具链。
John2202 在 Hugging Face 发布 Qwen3-1.7B-abliterated 的 Q4_K_M GGUF 量化版本，由 mlabonne/Qwen3-1.7B-abliterated 通过 llama.cpp 转换而来。用户可通过 llama-cli 或 llama-server 命令直接加载使用，服务器模式默认 -c 2048 上下文。模型也可在 llama.cpp 仓库中按源码编译方式（支持 LLAMA_CUDA 等 GPU 加速编译选项）直接调用。
cavi-ai 在 GitHub 发布 mlx-workbench，一个面向 Apple Silicon 的浏览器前端，通过子进程调用 mlx-agent 完成 GGUF 扫描、HF 缓存转换、量化、服务与 LoRA 训练，UI 服务器仅依赖标准库并只绑定 loopback。配套的原生 SwiftUI 应用 mlx-mac 增加转换质量门（canary 探测）、实测 tok/s 与 TTFT 对比、模型溯源时间线、内存适配建议和 GGUF 隔离回收等功能。转换全程采用 preview/confirm 机制，HTTP API 带 per-process session token，MIT 许可。
推荐理由：README给出了完整的安装流程、功能清单和安全边界，读者可以据此评估这个 Apple Silicon 本地 MLX 模型管理工具是否够用。
Reddit r/LocalLLaMA 用户 u/jjusko20 发布了一种类似 IST Austria RCO 的动态量化方法 v1：在字节预算内按 tensor 选择精度，并用 KL 散度迭代优化。在 Qwen 3.5 2B 上，RCO-lite 用 imatrix 达到 Mean KLD 0.045162（+89mb），比 llama.cpp IQ3_M 的 0.098381 低近一半；即使在 947mb（-52mb）时 KLD 0.090624 仍优于 IQ3_M。该方法对 VRAM 需求低、成本低，作者预计尚难超越 GSQ-RCO 或 Unsloth dynamic V3，但 Q3/Q2 量化区间可能受益最大。
作者在 Minisforum Venus 迷你主机加 Intel Arc Pro B70 32GB eGPU 上，用 llama.cpp SYCL/XMX 加 llama-swap 搭建单端口 OpenAI 兼容端点，供 opencode 和 pi 调用。仓库列出 14 个量化模型的 VRAM 占用与吞吐实测，10 月 7 日新增 Swift 1.5 Qwen3.8-27B，2048-token 微批提升 8K prompt 摄入约 10%，新概率 MTP 模式在 f16 生成上提升 9.5%、q8 上提升 4.7%；另附 LocalAI 对照、Qwen/Agents 调优前后配对测量及故障排查说明。
推荐理由：原文给出 Intel Arc Pro B70 上 llama.cpp SYCL 部署的完整配参、VRAM 实测与多模型调优数据，可复现到同类 eGPU 本地推理环境。
araz4111 发布了 dealignai/GLM-5.3-UNCENSORED-FP8 的 EXL3 量化版本，平均码率 3.04 bpw，总大小 273 GiB，基于 zai-org/GLM-5.3 的权重编辑无对齐变体，架构为 GlmMoeDsaForCausalLM，753B 参数、256 路由专家（8 激活）加 1 共享专家，包含 MTP 层可作投机草稿。作者提供了 wikitext-2 上的 KL 散度与困惑度保真度数据，以及 tau2-bench 智能体评测，与 Z.ai FP8 原版差异不具统计显著性；并提示 TabbyAPI 的 glm4_5 解析器会把字符串参数 JSON 解码为整数，导致零售场景约 70% 工具调用失败，使用前需修复。
Massed Compute 开源了 gpu-benchmark 仓库，收录多款 LLM 及图像/视频模型在 RTX PRO 6000 Blackwell、H100、H200 NVL、L40S 等 GPU 上的推理速度评测数据，涵盖 Llama 3 系列、DeepSeek V4.1 Flash、Qwen3.8 27B、GLM 5.3 Flash 等模型。2026 年新增测试改用 vLLM 和 SGLang 引擎，固定输入 128 / 输出 128 tokens，并在 concurrency 1 / 8 / 32 下运行，Wave 5 的复现脚本位于 scripts/wave5/。
kmnstudio101 发布 Muse-Glimmer-30B-Heretic-Abliterated-BF16 v2，使用 Heretic 工具经 500 次 Optuna 试验完成消融，拒绝率从 v1 的 29% 降至 6.5%，KL 散度为 0.076。消融流程包括跨 52 层计算拒绝方向、LoRA 适配器投影去除拒绝方向并合并回基础权重。BF16 版本约需 55 GB 显存，另有 Q4_K_M 约 16 GB、Q6_K 约 22 GB、Q8_0 约 28 GB 的 GGUF 量化版本，许可证为 Apache 2.0，基础模型为 Meta Muse Glimmer 30B。
推荐理由：原文给出 v1 到 v2 的拒绝率与 KL 散度对比数据和完整消融流程，读者可据此评估这个去对齐版本的效果与质量代价。
kmnstudio101 发布 meta-models/Muse-Glimmer-30B 的去消融版本，用 KL 约束（λ_KL=1.0）的 BoN 引导 LoRA SFT 将安全拒绝率从 100 降到 13/100，LoRA 仅占参数量 0.10%，随后折叠进基础权重。提供 bf16 两个 safetensors 分片（56 GB）及 Q8_0（28 GB）和 Q4_K_M（16 GB）GGUF 量化，各量化变体的 KL 均值分别为 0.1018 与 0.1444；基准评测按作者要求跳过，能力保留未重测。
推荐理由：作者公布了完整的KL指标、拒绝率与训练配置，并说明能力未重测，读者可以据此自行评估损失程度。
作者开源了 local-ai-platform 仓库（MIT 协议），在 Windows 11 笔记本的 WSL2 里用 k3s 运行一套自托管 MCP Agent 平台，使用 Ollama 跑 3B 模型，全程无 GPU、零云支出。技术栈含 LiteLLM、LangGraph、Qdrant、MLflow、Dagster、BentoML、n8n、ArgoCD 等，提供 10 个端到端工作流、Authelia 单点登录、热管理与 8 周构建计划；实测核心态占用约 3.4 GB 内存，RAG 问答 3–11 秒，垃圾短信分类模型测试 F1 0.976，并记录了 RAG 先检索后回答等关键决策与遗留风险。
推荐理由：作者完整公开了在无 GPU 笔记本上跑通含 RAG、MLOps 和 GitOps 的本地 Agent 平台的配置与实测数据，方法可直接迁移。
faisalmumtaz89 在 GitHub 发布 Rust 编写的 Lumen 推理引擎，单个二进制文件即可下载模型并 GPU 常驻推理，不依赖 PyTorch、ONNX 或 Python，使用原生 CUDA C 与 Metal 内核和自研 .lbc 模型格式。当前支持 Qwen3.5 与 Qwen3.8 的 dense 9B、dense 27B 和 MoE-35B-A3B，以及 Qwen-Image-2.1 文生图，提供 OpenAI 和 Anthropic 兼容的 SSE 流式接口；Qwen3.5-MoE 在 A100 上 Q8_0 解码速度 79.2 tok/s，约为 llama.cpp 的 0.567 倍。项目以 MIT 或 Apache-2.0 双许可开源，API 和格式尚未稳定。
该仓库提供在AMD RX 9070 XT（16 GB）上以ExLlamaV3加TabbyAPI运行Qwen3.8-27B EXL3 3.0 bpw的完整脚本，作为OpenAI兼容本地服务器，支持128k上下文、工具调用和图像输入。配合RDNA4补丁和3.0 bpw DFlash2草稿模型做投机解码，短上下文代码生成约130 tok/s，128k下约100 tok/s，对话约55-65 tok/s，WMMA GEMV使草稿验证开销从1.55x降到约1.16x，DeltaNet replay节省约1 GB显存。项目独立，代码由Claude Opus 5.5编写并经GPT-6.1 Sol审阅。
推荐理由：README给出了RDNA4上跑Qwen3.8-27B的完整补丁、基准数字和一键脚本，方法可直接复用到同款AMD显卡。
作者发布了本地 llama.cpp 模型基准测试套件，测试环境为 Tesla V100 32GB 加 RTX 3060 12GB 双 GPU，llama.cpp v9836（upstream-dflash 分支），统一 8K 上下文并开启 flash attention。结果显示 V100 上 MTP 推测解码带来明显收益，Qwopus3.6-27B-Coder-Compat 在 MTP n=3 下达 40.3 tok/s，比无推测快 29%；而 35B MoE 模型在 RTX 3060 上 MTP 反而拖慢速度（25.5 降至 16.9 tok/s），建议该卡用 no-spec 并开启 --cpu-moe。
推荐理由：作者在双 GPU 本地系统实测了 MTP 推测解码的适用边界，27B 密集模型受益而 35B MoE 反而变慢，结论可直接迁移到类似硬件选型。
Hugging Face 用户发布社区合并检查点 qwen3.5-9b_abliterated_0x100refusal_vision_int8_convrot，将 lukey03/Qwen3.5-9B-abliterated 的语言权重与 huihui-ai 的 337 个视觉张量合并，共 1,264 个张量、约 9.83 GB，面向支持 INT8 ConvRot 量化的 ComfyUI。250 个语言矩阵相对 L2 量化误差平均 0.9713%。"0% Refusal" 仅为上游命名，并非实测拒绝率；该项目为 Apache-2.0 许可的实验性合并，非官方发布。
/u/flynth92 发布 llama.cpp 性能分支 llama.cpp-multigpu，在六张 3090 纯 PCIe（无 NVLink、无 P2P）上跑 Qwen3.8-Flash-Next，250k 上下文 prefill 从 263 提到 2111 t/s（8 倍），六张 4090 上为 10 倍；单会话 250k decode 提速 2.3-3.3 倍，五会话各 250k 时从 2.3 提到 27.3 t/s。补丁基于上游 df03399b8，提供 CUDA 12.9/13.4 tarball 和 ghcr 镜像，通过环境变量开启；附 n-gram 推测解码，代码改写场景再提速 2-2.5 倍。作者说明仅在 CUDA、该单一模型上测试，代码经 LLM 编写并以实测验证，未向上游提 PR。
推荐理由：作者给出同机同模型的上下游对比数据和适用边界，读者可判断自己的 PCIe 多卡长上下文场景是否值得换用这个分支。
Reddit 用户在 128 GB M5 Max Mac 上以 Q2 运行 341 GB 的 DeepSeek V4.1 Flash，将 ds4.c 从 85k 行裁剪到 34k 行、只保留 DeepSeek 和 Metal 后端，配合 kernel 融合与双 SSD 流式读取，解码从 12.1 提升到 24.4 tok/s，8K 上下文后首个 token 时间从 1.38 s 降到 0.18 s。所有改动要求输出 token 与上游逐位一致，仓库为 github.com/Chida82/sf-ds4-1flash，通用流程在另一个仓库 StarForge。
推荐理由：作者给出完整的实测方法和逐项数据，还把裁剪和优化流程整理成可复用的仓库，思路可直接迁移。
GitHub 开源项目 NanoMind 发布 v3.0.0，用 30 天、605 次 commits 从零实现了一个覆盖现代大语言模型完整技术栈的 PyTorch 库。它包含 21 个子包，涵盖 BPE 分词、Transformer、Flash Attention、MoE、RLHF、DPO、知识蒸馏、INT8 量化与 REST API 服务，且无强制外部依赖。项目采用 MIT 许可证开源。
NVIDIA 在 Hugging Face 发布 Nemotron 3.5 Bolt 74B-A9B-24GB，一款为本地日常智能体任务设计的视觉语言模型，总参数 74B（9B 激活），采用 Mamba-2-Transformer 混合 LatentMoE 架构，通过原生 IQ2 2-bit 量化与量化感知蒸馏压进 24GB 显存，支持最高 256K 上下文，可在 vLLM 上部署，基于 OpenMDW-1.1 许可商用。
推荐理由：模型卡完整给出架构、训练流程和与同量级模型的基准对比，读者可以自己判断 2-bit 量化的取舍。
用户 shawnw3i 在 Hugging Face 发布 Qwopus3.8-27B-Flash-V2-abliterated-exl3-6bpw 模型，采用 Safetensors 格式，模型大小为 11B params，张量类型为 BF16 · F16 · I16。该模型没有模型卡，也未部署任何 Inference Provider。
Liquid AI 在 Hugging Face 发布开源决策模型 d1-3B 与实验性 d1-omni-600M，模型不做 token 生成而在单次前向传播中给出答案。d1-3B 在 Decision Index 0.2.1 得分 48.57，为 10B 以下最佳，基于 LFM2.5-VL-3B 训练，支持文本与图像输入，在 Jetson AGX Thor 上单问题推理仅需 16 ms，RTX 4090 上 8 ms；在七个公开数据集上均分 82.9，高于 Decider 4B。d1-omni-600M 基于 LFM2.5-Encoder-350M 并加入视觉与音频编码器，均分 78.4 超过参数量四倍于它的 Decider 2B（77.1），目前为早期研究版本。
推荐理由：决策模型不做生成而是单次前向输出答案，原文给出的边缘设备毫秒级延迟数据展示了这一路线的实际可行性。
OS-Software 发布了 llm-jp/llm-jp-4.1-33b-thinking 的去对齐 GGUF 版本，使用 Heretic 的自定义 fork 消融参数制作。在 Q4_K_M 量化下，拒绝率从原模型的 88/100 降到 0/100，KL 散度 0.0118，MMLU 74.05% 与 HumanEval pass@1 93.29% 相比原模型分别下降 0.32 和 1.22 个百分点。作者标注该模型仅用于安全研究与红队测试等用途，输出需独立验证。
推荐理由：原文给出了 Heretic 消融参数和拒绝率、KL、基准的前后对比，读者可以据此判断这个去对齐版本的能力损失程度。
Flant 的 Александр Подмосковный 发布 hardfest-gpu-workshop 实战教程，从手动运行 Gemma 开始，测算 KV cache 内存、启用 prefix cache 与 CPU offload、chunked prefill 和 speculative decoding（MTP），再通过 AI Inference 平台复现同一配置作对比。
推荐理由：作者以自己的实验台手把手推导 KV cache 计算并逐项验证各优化机制，方法论清晰，可迁移到自己的推理部署调优。
作者在 RTX 5060 Ti + 3090 + 2x 3060 的混装四卡机上，用 Strata 引擎跑 Qwen3.8 Flash-Next（125B MoE，IQ3_XXS，262k 上下文），发现升级到 0.1.40.1 后约 10.7 GiB 显存空闲。排查显示常驻专家缓存从 0.1.39 的 23,168 降到 17,515（GSQ-RCO，-24%），被弃的是路由流量不足 2% 的冷专家，缓存命中率仅从 99.7% 降到 98.1%，生成速度反而从约 87 tok/s 升至 104 tok/s，空闲显存实为有效余量而非 Bug。
推荐理由：作者用 nvidia-smi 和缓存命中率数据说明闲置显存是被主动放弃的冷专家，可迁移为排查同类 MoE 推理问题的思路。
bitemyapp 开源 inferrous 项目，用 Rust 编写 LLM 推理引擎，所有 GPU kernel 经 cuda-oxide 编译，不含 CUDA C++ 及厂商 BLAS 或 attention 库。首个引擎 inferrous-qwen3 在 RTX PRO 6000 Blackwell 上以 W8A8 INT8 运行 Qwen3-8B，解码速度 182.3/178.2/170.5 tokens/s（5/129/512-token 提示词），快于 vLLM+Humming INT8（144.4/143.3/142.9）。目前为研究级代码，单请求、greedy 解码、最长 4096 token 上下文，下一目标为 Qwen3.6-35B-A3B FP8。
VibeBlade 是一款可在个人电脑上本地运行大语言模型的工具，数据完全保留在本机，无需订阅或联网即可对话。它支持 Windows 10/11（64 位），建议 16GB 内存和 10GB 可用空间，通过 CPU 推理、量化、内存管理和专家卸载技术在普通硬件上运行模型。用户可在内置模型库中下载并随时切换模型，设置界面可调整线程占用和内存上限。
基于 Qwen3.5-4B 的社区对话/角色扮演微调模型在 Hugging Face 发布，提供 ~3.5 GB 的 Q6_K GGUF 量化文件，支持 llama.cpp、LM Studio 和 Ollama。模型用 Unsloth QLoRA（rank 16、alpha 32）在 AMD RX 6700 XT 上训练，数据集约 11,400 行对话，最终 train loss 约 0.92，上下文最长 2048 token。另有 ~672 MB 的 F16 视觉投影文件，仅图像输入时需要。