新闻、仓库与研究，按时间排列。
一位 Reddit 用户测试发现，Strata 的部分速度来自 MTP head。他为 ISTA-DASLab 的 GGUF 制作了对应的 MTP head，并给自己的量化版本也做了一个，llama 因此获得明显速度提升；Qwen3.8-Flash-Next-GSQ-RCO-GGUF 搭配 MTP header 后 llama 也有改进，但 Strata 仍远快于 llama。runner 仍需架构改进，作者已公开这些 MTP head 供他人使用。
drone540 发布了 llama-swap-unified-native，一个在 Ubuntu 等 Debian 系 Linux 上从源码构建自托管 AI 栈的安装脚本，以 llama-swap 作为模型路由与管理器。可选组件包括 llama.cpp、ik_llama.cpp、stable-diffusion.cpp、whisper.cpp、Kokoro-FastAPI、CrispASR、acestep.cpp 和 audio.cpp，每个组件可交互选择 CUDA、Vulkan、HIP/ROCm、Metal、SYCL 或 CPU 后端，配置保存在 /opt/ai-stack/stack.conf 并支持 --reconfigure 重配、--release 下载预编译二进制及 --uninstall 卸载。
推荐理由：这是一个可直接复用的 Ubuntu 自建 AI 栈安装脚本，交互式选择组件与计算后端，适合想在本地一键部署多模型服务的读者。
Reddit r/LocalLLaMA 用户讨论多 GPU 上运行 NVFP4 量化的工具选择：作者目前只能跑通 unsloth，认为 vLLM 加载太慢，TensorRT-LLM 问题太多。对 Qwen 3.8 的 NVFP4 版初步测试中，代码表现一般，但视觉和 tool calling 印象深刻，复杂场景略优于 Q6 gguf。在 2x5060ti 上以 197k ctx 运行速度出色，模型加载仅需 4-6 秒。
infosave2007 发布 CMF（Cortiq Model Format），一个可审计的模型容器格式，单个文件可装下权重、tokenizer、聊天元数据、任务掩码和技能覆盖层，无需大型框架即可推理。CMF v2 为当前磁盘格式，cortiq verify 校验包络、分区边界和哈希，支持 GGUF 导入、Metal/Vulkan GPU 推理、OpenAI 兼容的 cortiq serve 本地 API，以及 Qwen-Image-Edit-2509、HunYuan Hy-MT2（含 1.25-bit STQ1_0 导入）和 Whisper large-v3-turbo 的转换与运行；0.7.1 将 30B MoE 在 24 GB Mac 上的 Metal 窗口化吞吐从 17.9 提升到 32 tok/s。
该项目基于 Qwen/Qwen2.5-1.5B-Instruct，用 QLoRA 4-bit 量化微调，将网络安全日志转为含 attack_type、severity 等字段的结构化 JSON。数据集源自 Kaggle 镜像的 UNSW-NB15（2,540,047 行），筛选出 v1 共 2,850 条。最终盲测集上，QLoRA v2 攻击类型准确率从 v1 的 50.0% 提升至 76.7%，severity 准确率 100.0%，affected_asset 准确率 73.3%，且在 20 例小型回归基准上未见能力退化。
Epistates在GitHub发布PMetal，一个用Rust编写的Apple Silicon机器学习SDK、框架和应用套件，覆盖Metal GPU内核、ANE集成、训练API、终端TUI和Tauri+Svelte桌面GUI。支持LoRA/QLoRA、DPO/KTO/GRPO等偏好与推理训练、知识蒸馏、模型合并、GGUF量化、OpenAI兼容服务，并支持通过Thunderbolt组网的多Mac分布式训练，M1至M5全系完全支持，MIT或Apache-2.0许可。
推荐理由：仓库README覆盖从Metal内核到TUI、CLI和多Mac集群训练的完整链路，想研究Apple Silicon本地训练推理工具结构的读者可以按需查阅。
pyrlyn 在 GitHub 开源本地优先 AI CLI runa，支持下载前用 runa fit 预估 GGUF 模型在本机的内存占用和速度，可通过 ggml / llama.cpp 本地运行或调用 OpenAI 与 Anthropic。单二进制提供 OpenAI 兼容的 runa serve、交互式 runa chat、音频视频处理（含 whisper.cpp ASR）、MCP 工具循环和自适应内存管理，提供 macOS arm64、Linux x86_64、Windows x86_64 安装包及 Metal / Vulkan / CUDA 构建，无遥测，采用 GPLv3 等多许可。项目处于活跃开发中，正在招募测试志愿者。
推荐理由：本地优先 AI CLI runa 开源，下载前可预估 GGUF 在本机的内存和速度，同一套控制打通本地与云端。
Castmates 应用开发者分享在 iPhone 上全本地运行 3B 角色扮演微调模型（Impish Llama 3B，基于 Llama 3.2 3B 加 rank 16 LoRA，Q4_K_M 量化约 2.0 GB）的实测笔记，用 llama.cpp Metal 全层 offload，无需服务器可离线使用。关键结论：历史裁剪预算调至约 0.68 x n_ctx 后长对话事实召回从 25% 升到 75%，逐字历史明显优于有损摘要；BM25 检索会重注入过期事实，过滤窗口内仍含新版本的命中后下降 18.8pp；A18 芯片早期实测约 6 tok/s，4 GB 手机为最低门槛且限 4096 上下文。
推荐理由：作者用固定种子的对照实验给出小模型保持角色的可复用结论，历史裁剪比例和检索过滤做法可直接迁移。
davetha 在 Hugging Face 发布了 huihui-ai/Huihui-Qwen3.8-27B-abliterated（基于 Qwen/Qwen3.8-27B 的去拒绝版本）的 4-bit AutoRound 量化构建，采用 INT4 主体加 baked lm_head/MTP 和 INT8 embedding，面向单张 Intel Arc Pro B70（32 GB）在 vLLM XPU 下运行。
推荐理由：作者给出了量化方法、perplexity 对比和 B70 上的实测速度数据，读者可以评估这个 4-bit 去对齐版本的质量与可用性。
Hugging Face 上发布了 OrcaRouter 的 abliterated Qwen3.8-27B 模型的 MTP-capable IQ5_KS GGUF 量化版，适用于 ik_llama.cpp。该版本使用 Ubergarm 的张量配方与 importance matrix 制作，保留内嵌 MTP head（权重为 Q8_0，norm 为 F32），文件大小 18.964 GiB。由于源模型经过 abliterated 处理，其拒绝行为与原版 Qwen 模型不同，需自行添加安全防护。
GitHub 开源项目 palatalised-chancellorsville108/turboquant-pytorch 提供了 TurboQuant 的 PyTorch 实现，用于加速 LLM 的 KV cache 压缩，实现高效、高质量的向量量化。该项目目前有 1 个 star、0 个 fork，暂无 release。
Reddit 用户用 8 张二手 Radeon Pro V620（共 256 GB VRAM，约 $2800）组成本地推理机，在 llama.cpp prefill 仅 350-450 t/s 且 vLLM 不支持后，让 Claude 迭代出适配 RDNA2 的 vLLM 定制分支，Qwen3.8-Flash-Next 解码达 60-100 t/s、prefill 3000+ t/s。部署采用 PP=4、W4A16 路由专家加 BF16 其余权重、MTP 3 token drafting，关闭 MTP 时解码为 40-50 t/s，下一步验证 DeepSeek 和 GLM-5.3-Flash。
一位 Reddit r/LocalLLaMA 用户在 8GB VRAM（RTX 4060）+ 32GB DDR5 平台上测试 llama.cpp PR#29887（为主机内存中的 MoE 专家增加 GPU 缓存），使用 Qwen3.6-35B-A3B-IQ4_XS 模型，分别尝试 `-cmoe` 与 `--moe-cache-mib` 1536/2048/4096/8192 等参数组合。实测开启 `-cmoe` 后生成速度仅约 12-23 t/s，而不开启该功能时可达约 24 t/s、prompt eval 约 65 t/s，未达预期。作者求助原因并邀请其他低显存用户分享各自 t/s 数据。
作者发布纯 Rust 编写的大语言模型推理引擎 LLM170，采用 CUDA + W4A16（int4 对称 g128 分组量化配 f16 激活），专为 NVIDIA CMP 170HX 64GB（GA100 级 HBM2e，sm_80）设计。
huihui-ai 基于 Qwen/Qwen3.8-27B 发布经 abliteration 处理的去审查 GGUF 版本 Huihui-Qwen3.8-27B-abliterated-GGUF，MTP 与视觉部分未修改。多个系列（UD、GSQ-RCO、UD-DW、Ternary、Swift）仅对第 22-52 层（0 起始索引）做 abliteration，其余层保留原样；Q2_K_L-Q6_K_L 等版本将需 abliteration 的权重转为 Q8_0 以提升回复质量。该模型安全过滤大幅降低，仅建议用于研究与测试，可在最新版 ollama 和 llama.cpp 中运行。
huihui-ai 基于 Qwen/Qwen3.8-Flash-Next 发布去审查版 Huihui-Qwen3.8-Flash-Next-abliterated-GGUF，用 abliteration 技术移除模型拒绝行为。新增 Unsloth 与 Swift 系列 GGUF，支持最新版 Strata 和 llama.cpp，Strata 提供 SHA256 校验，llama.cpp 可运行 UD-Q4_K_XL 量化版本并设置 -c 262144 上下文。模型安全过滤被大幅削弱，建议仅用于研究和受控环境，使用者需自行承担法律与伦理责任。
NVIDIA 在 Hugging Face 发布 Qwen3.8-Flash-Next-FP4-Local，是用 Model Optimizer 量化感知蒸馏（QAD 1.0，nvidia-modelopt v0.47.0）制作的 Qwen3.8-Flash-Next FP4 量化版，checkpoint 约 96 GiB。模型总参数 125B、激活 6B，另有 51B n-gram embedding 和 4B MTP，原生上下文 262K 可扩展至 1M tokens；精度上 GPQA Diamond 从 BF16 的 92.2% 降至 91.5%，ToolEvalBench 从 89.4% 降至 88.7%。
推荐理由：官方模型卡给出了 FP4 量化方法、精度损失对照和两套本地硬件的部署方案，量化细节可参考。
mkorbi 在 GitHub 发布了 ai-fit，一个自托管 LLM 容量规划器，可选加速器、节点内互联与模型负载，估算可服务用户数、每用户上下文、tokens per second、TTFT、每百万 token 成本与功耗，也支持反向按用户数反推最小硬件配置。项目含像素风模拟器、vLLM/SGLang/TensorRT-LLM 引擎支持矩阵，模型条目用 Hugging Face config. 校验，并用 gpt-oss-120b 单卡 H100、Llama 3.3 70B 在 8× H100 约 1.3M KV tokens 等已发表数据做校准锚点，作者提醒输出只作量级估算。
推荐理由：自托管 LLM 容量规划器给出显存、并发与吞吐的估算模型和校准锚点，读者可据此在购入硬件前对不同加速器做量级评估。
用户 Iqk 在 Hugging Face 发布基于 unsloth/Qwen2.5-Coder-7B-Instruct-bnb-4bit 微调的模型 NOVA-Ai-Uncensored，采用 apache-2.0 许可证。该模型通过 Unsloth 训练，训练速度提升 2x，可通过 Transformers 库加载使用，并已上传至 Google Colab、Kaggle 等平台。
一位 Reddit 用户将 openai 的 gpt-oss-120b（4bit 量化、约 60GB）拆分到 6 台设备上组成的集群运行，包括 RTX 3060 mini PC、Mac mini、M3 MacBook 等，加载耗时约 11 分钟，5 台设备成功分到模型分片。次日手机掉线后集群自动把分片迁移到旧笔记本，零停机继续运行，展现了自愈能力。
sOuL2000s 在 GitHub 发布 AI Pendrive，一个基于 llamafile 0.10.5 的 Windows 本地 LLM 便携包，双击 start_4gb_gpu.bat、start_6gb_gpu.bat、start_8gb_gpu.bat 或 start_no_gpu.bat 即可在 127.0.0.1:8080 启动本地服务器和浏览器 UI。模型使用 HauhauCS 的 Qwen3.5 2B/4B/9B Uncensored GGUF 权重，需手动下载，不自动检测硬件；默认上下文 256K tokens、KV cache q4_0 量化，并默认启用内置 agent 工具（读写文件、shell 命令等），status.bat 提供每五秒刷新的终端仪表盘。
推荐理由：原文详细给出了各硬件档位的启动脚本、上下文与 KV cache 配置，读者可以照着在 U 盘或移动 SSD 上复现这套本地部署。
apollo-mg 公开 Project-Apollo，一个本地 LLM 推理 home lab，硬件为 RX 9070 XT 加六张 Tesla P100，实验预注册、结果带 receipt 存于 data/receipts/，覆盖确定性、KV-cache 保真、投机解码、量化格式、MoE offload 等主题。
LocalAI 团队发布从零编写的 C++20 推理引擎 vllm.cpp，无 Python 与 PyTorch 依赖，二进制仅 66 MiB，对比 vLLM 9.1 GiB 安装约省 140 倍。在 GB10 上 Qwen3.6-27B NVFP4 输出与 vLLM token 级一致，c1 吞吐 86.05 vs 82.32 tok/s，峰值内存 24.88 GiB vs 28.18 GiB；支持 CUDA/CPU/Metal/Vulkan、44 种架构、GGUF 压缩块直接计算和 MTP、DFlash 等投机解码。项目处于重度开发期，多数架构速度验证仍标记为 speed-pending，llama.cpp 对照数据基于已被取代的 fork，待重测。
推荐理由：LocalAI 团队的 C++20 推理引擎，README 给出了与 vLLM、llama.cpp、MLX-LM 的逐项对照数据和明确的 speed-pending 标注，可了解无 Python 推理栈的真实水平。
srvsngh99 发布 Krill，一个 Mac 原生 LLM 运行时兼 coding agent，单一 Swift + MLX 二进制支持文本、视觉和语音，无需 Python。内置 agent 循环（工具、文件编辑、web fetch、权限）、OpenAI/Ollama/Anthropic 兼容 API 和浏览器手机 UI；对 Ollama 的对比称连续批处理约 2 倍吞吐、Gemma-4-E2B 上 TTFT 约 5 倍、峰值内存约 3 GB 对 8.8 GB。支持 krill pull 一键下载 46 个聊天与多模态模型，可接入 OpenCode 免费模型和 Codex 订阅，项目为 MIT 许可的早期版本。
推荐理由：把推理引擎和 coding agent 合进一个 Swift + MLX 二进制，与 Ollama 的对比数据和架构说明写得具体，可作本地 Agent 部署参考。
tgo-app-dev 发布 VPIPE，一个面向 Apple Silicon Mac 的本地多模态 AI 运行时，用自研 Metal kernel 做推理，不依赖 MPS、MLX 或 Python 前向路径。支持 MiniMax H3（33B 视频加音轨）、LTX-2.5、Krea-2 Turbo、Qwen 3.8 27B 等工作负载，通过 weight streaming 和 4-bit 量化可在 16 GB 基础款 Mac 上跑图像编辑与视频生成；与 h3.c 的相同工作负载对比中，M5 Pro MacBook Pro 16 上耗时 5 分 29 秒对 7 分 11 秒。项目以 Apache 2.0 开源，提供 macOS 应用、Web UI、Composer 可复现流水线配置和 C++20 源码构建。
GitHub 开源项目 ANITE 发布了一个主打 FLOP 效率与低延迟单 GPU/边缘部署的主权基础语言模型，采用 90% AVS（Mamba-2 并行扫描，10,317.5 tok/s）加 10% HCA 线性注意力的双流架构。其 ADF 模块相比 MoE 吞吐快 1.56×（80,078 tok/s），VRAM 占用比 Latent MoE 少 15×（1,307 MB），MQAR 关联记忆达 18.8%。项目采用 Apache 2.0 许可，提供 125M/500M 配置、Hugging Face 集成及评测工具。
用户 Kikik3636 基于 Qwen/Qwen-Image-2.1 上游原始权重发布 GGUF 量化版本，提供 BF16、Q8_0、Q6_K、Q4_K_M 等多档量化文件，体积从 4.15 GB 到 14.23 GB 不等，其中 Q4_K_M 被推荐为体积与质量的最佳平衡。该版本内置 ComfyUI 配套的 text encoder（qwen3vl_8b）与 VAE 文件，可在 ComfyUI 中通过 ComfyUI-GGUF 节点运行。此版本无内置安全检查器或内容过滤，可直接生成 NSFW 内容，采用 Qwen Research License 授权。
samyfodil 在 GitHub 发布 jitllm，一个面向大语言模型推理的引擎，所有内核在加载时按 CPU（AVX2、SSE、NEON）或 GPU（CUDA、Vulkan、Metal）JIT 生成。磁盘、RAM 和 VRAM 组成统一内存系统，权重、MoE 专家和 KV 状态按需分页，可在 CPU 与 GPU 之间移动且不丢对话历史。提供 OpenAI 和 Anthropic 兼容 API 的单二进制 jitllmd，支持 Linux、macOS、Windows 的 x86-64 和 arm64，也可作为 Go 库嵌入，附桌面和终端应用。
推荐理由：开源推理引擎 jitllm 的发布说明，读者可从中了解 JIT 内核生成、跨 CPU 与 GPU 的内存分页和单二进制部署思路。
GitHub 项目 ANEDVD 用 Zig 实现了不依赖 CoreML 的 Apple Neural Engine 大语言模型推理，通过私有 AppleNeuralEngine.framework 编译自生成的 MIL 程序，并用 IOSurface 做零拷贝张量 I/O。它支持 GGUF 和 HuggingFace safetensors 模型，提供 OpenAI 与 Anthropic 兼容的 HTTP API 和内置 WebUI；在 A18 Pro 上 SmolLM2-135M Q8_0 实测 prefill 400 tok/s、decode 31.7 tok/s，Qwen2.5-0.5B decode 17.4 tok/s。
推荐理由：作者实测给出了 ANE 上的推理速度、带宽上限和数值误差数据，想绕过 CoreML 直接驱动 Apple Neural Engine 的读者可以从中借鉴可复现的做法。
作者发布基于 Qwen3.8-27B 的多阶段微调 GGUF 模型，称 8bit ARC-C 达 0.735、ARC-E 达 0.882，并宣称将思考 token 压缩至原版的 1/2 到 1/10。去审查采用 Heretic v1.2.0+ 的 Arbitrary-Rank Ablation 方法，阶段1拒绝率从 99/100 降至 0/100（KL 0.0535），阶段2后为 11/100（KL 0.0025）；提供常规与 MTP 两类量化，4bit Q4_K_S 下约 75 t/s，MTP 可超 90 t/s（5090 实测）。
作者发布了 Qwen/Qwen3.8-Flash-Next 的 mlx-serve 4-bit 混合量化包（4-bit experts、8-bit 其余），该模型为 Qwen4 preview 架构（model_type: qwen4_exp），全量 checkpoint 为 125B trunk + 51B n-gram + 4B MTP，共 180B（bf16 360 GB）。实测在 M4 Max 128 GB 上常驻约 67-69 GB，decode 29-34 tok/s，25k token prompt prefill 约 400 tok/s。n-gram 表以单独 4-bit 文件 mmap 方式按需反量化，不占常驻显存；MTP 头可加载但当前比串行 decode 慢，默认关闭。
推荐理由：作者在 M4 Max 上给出了显存占用、decode 与 prefill 速度等实测数据，读者可以据此评估这个 180B 模型能否在自己机器上跑。
Synapse 是一个在 .NET 10 环境下用 C# 和 Rust 在本机运行大语言模型的开源推理引擎，不需要 Python、服务器或网络。它借鉴果蝇脑连接组的按需激活思路，只加载 token 所需的区域，冷区域留在磁盘按需读取。
推荐理由：项目用问答基准给出与 llama.cpp、MLX 的速度和内存逐项对比，读者可以据此判断这个 C# 推理引擎目前适用的场景。
AINode 开源了 System One 决策模型 Jebadiah，基于 Qwen3.5 和 Qwen3.8 做 LoRA 微调，从单个 label token 的 logits 直接输出校准概率而非生成文本，权重发布在 Hugging Face 的 frontier-infra 集合下。完整仓库包含训练器、数据构建器、评测器与每个 run 的结果记录，全部基于公开许可数据训练；27B 版在五个零样本集上宏观准确率 78.95，JevBench 公开项 0.866 与 Jev 1.13.0 持平，并提供 GGUF、MLX 量化与本地部署方案，代码采用 Apache License 2.0。
推荐理由：原文完整公开了训练配方、消融记录与逐项评测数据，读者可以据此复现这个决策模型并判断各版本取舍。
kekzl 发布了开源推理引擎 imp（MIT 协议），专为 RTX 5090 一代芯片（sm_120a）编写，直接在 NVFP4 4-bit 格式上计算，一个 docker run 即可部署，提供 OpenAI 和 Anthropic 兼容 API 及内置聊天。基准测试中 Qwen3-8B Q8_0 达 385.4 tokens/s，比 llama.cpp 默认快 +141%；还支持将 56.25 GiB 专家权重放在主机内存的 Qwen3.8-Flash-Next NVFP4，以 65.31 tokens/s 运行超出 32 GB 显存的模型。
推荐理由：README 给出了与 llama.cpp 的逐行基准数据和设计取舍说明，可据此判断这类单卡专用推理引擎是否值得替代通用方案。
audio.cpp 项目方宣布一系列运行时优化：Higgs Audio TTS 峰值显存降低 48%，约 6GB 即可运行；HTDemucs 在 CUDA 上提速 2.21 倍，PocketTTS 在 CPU 上提速 2.23 倍。其余优化包括 ACE-Step、MOSS-TTS v1.5、Qwen3-TTS、IndexTTS2/2.5 等模型的显存与速度改进，并称未损失一致性。WebUI 新增实验性生成历史功能，项目现已支持 110+ 音频模型家族和 190+ 变体，覆盖 CUDA、Vulkan、Metal、AMD/HIP 和 CPU，同时公开招募前端贡献者。
etemiz 发布 Ostrich-27B-261008-Qwen3.8-Abliterated，基于 Qwen 3.8 27B 做 abliterated 处理移除拒绝行为。自评显示总体对齐分从原版 Qwen 3.8 的 37%（几何平均）提升到 82%，消融测试拒绝率很低。相比 260903 版本新增 Agentic RAG 训练、-100..100 真值打分适配器、9 项自动化拟人测试（总分 0.928），并开始提供 EXL3 量化（3.0 至 6.0 bpw）与 GGUF 下载，可在约 18 GB 显存的消费级 GPU 上 4-bit 运行。
同一新闻，精选展示《etemiz 发布 Ostrich-27B-261008-Qwen3.8-Abliterated EXL3 量化版》
etemiz 在 Hugging Face 发布基于 Qwen 3.8 27B 的 Ostrich-261008 abliterated 版本，提供 3.0 至 6.0 bpw 四档 EXL3 量化（13 到 22 GB），可通过 ExLlamaV3 / TabbyAPI 在消费级 GPU 本地运行。该版本经 abliteration 移除拒绝行为，官方数据显示整体对齐率从基座的 37% 升至 82%，并新增了 Agentic RAG 训练、真值打分适配器和 0.928 分的自动化 9 项人格化测试；训练采用进化搜索管线，累计 841 代、9500 条谱系，蒸馏领域覆盖健康、宗教、比特币等。
推荐理由：原文给出了按领域的对齐率对比和拒绝率数据，读者可以据此判断这个 abliterated 版本的实际去对齐程度和量化选择。
magicnight 在 GitHub 发布 macMLX，一款基于 Apple MLX 的原生 macOS LLM 推理应用，提供 SwiftUI GUI、CLI 和常驻 OpenAI 兼容 API，约 50 MB 且全程无 Python。截至 v0.9 支持文本加 16 种 VLM 架构（最大约 70B）、分层 KV 缓存、连续批处理、投机解码、LoRA、MCP server、语音转文字与合成及 /v1/rerank，并以纯 Swift 移植了 DeepSeek V3.2 等架构，与 Python 参考实现按 1e-4 精度校验一致。项目与 LM Studio、Ollama、oMLX 逐项对比，称其独有 Swift 进程内引擎；DMG 尚未公证，首次启动需 xattr 清除 Gatekeeper 隔离。
推荐理由：原文给出与 LM Studio、Ollama、oMLX 的逐项功能对比和版本演进明细，可看出纯 Swift 无 Python 方案在 macOS 本地推理中的取舍。
Relay 是一个自托管、OpenAI 兼容的 LLM 网关与推理基准项目，目前处于开发第 1 周，规划中的能力均未完成。它基于 FastAPI 构建，暴露标准 /v1/chat/completions API，支持多租户 API key、模型白名单、Redis 限流、PostgreSQL 用量账本，并抽象 llama.cpp 与 vLLM 后端。基准测试将在本地 RTX 4050 和免费 Colab GPU 上测量 TTFT p95、吞吐与每百万 token 成本，结果以 Parquet 保存，目前所有基准数字均为 TBD。
Jyk-122 在 GitHub 发布 MoE-Compressors 仓库，实现面向 Mixture-of-Experts 架构 LLM 的免训练剪枝与专家跳过算法。剪枝含 frequency、ean、reap、camera、moei2 五种方法，skipping 含 topk_skip、topp_skip、sere_skip、modes_skip 四种，统一通过 run.py 的 calib 与 eval 两阶段调用，支持按 prune_ratio 或 k、threshold 等 JSON 参数配置，默认示例模型为 Qwen/Qwen3-30B-A3B-Instruct-2507，并可用 lm_eval 输出 runtime_routing 路由统计。
推荐理由：仓库统一封装了多种免训练 MoE 剪枝与专家跳过算法的校准和评测流程，想在本地压缩 MoE 模型可以直接复用。