跳到正文
10月3日周六
  1. arXiv · cs.AI46

    AutoTarget:面向少步扩散 Transformer 的求解器感知缓存目标选择方法

    arXiv 论文提出 AutoTarget,为少步蒸馏后的 Diffusion Transformer(DiT)选择缓存复用张量,以降低采样误差。方法用少量无缓存运行测量各候选张量的复用误差并选取最低者;在 PixArt-LCM 与 FLUX.1-schnell 上的实验表明最佳缓存目标随模型、分辨率和求解器变化,校准排序与留出缓存运行一致,在减少评估次数的同时保持接近无缓存的生成质量。

10月2日周五
  1. arXiv · cs.CL55

    KV$^2$:一种自精炼 KV cache 压缩方法发布于 arXiv

    论文提出 KV$^2$,一种基于选择性重构的 query 无关 KV cache 压缩方法,先用轻量代理评分器筛选上下文中的有效 token,再仅对该子集重新计算最终淘汰分数。

    推荐理由:论文给出 KV$^2$ 在 RULER 和 LongBench 上随预算收紧而扩大的对比数据,可复用的 KV cache 压缩不必重处理全上下文。

  2. Hugging Face · 趋势模型68

    SC117 发布 Qwen3.8-Flash-Next GSQ-RCO 消融版 GGUF,144 张量移植保留原始量化

    SC117 在 Hugging Face 发布 Qwen3.8-Flash-Next-GSQ-RCO-abliterated-GGUF,通过对已量化 GGUF 做 144 个残差流投影张量的字节级移植实现去拒绝,不重算任何 GSQ 学到的量化值。IQ3_S 版经逐张量 blake2b 校验,1223 个张量中 1079 个与上游逐字节一致,decode 速度仅降 0.1%,四个量化档位体积仅比上游多 0.25 至 0.44 GB,行为抽查显示上游拒答的绕过付费墙请求该版本会详细回答。作者提示模型无内置安全护栏,需自行部署审核与访问控制。

    推荐理由:作者用逐张量 blake2b 校验和性能对照说明直接移植已量化张量做消融的代价,方法可复用到其他 GGUF 模型。

10月1日周四
  1. Hugging Face · 趋势模型48

    EMA Lightning:8.6M 参数的开源土耳其语文本转语音模型,WER 低至 0.92%

    EMA Lightning 是一个开源(Apache 2.0)的土耳其语文本转语音模型,由 5.6M 参数 DiT 声学模型和 3M 参数 vocoder 组成,总计仅约 34 MB。在 Freya-TR-Eval 上 WER 为 0.92%,低于 ElevenLabs v4、Gemini 3.8 和 2.38B 参数的 Trendyol-TTS 等所有被测系统;在 RTX 4090 上首批音频仅需 3.86 ms,比实时快 440×(批处理达 1,316×)。模型可完全离线运行于 GPU 或 CPU,无需 API key,文本和音频不离开本机,成本约 $0.0085 per million characters。

  2. Hugging Face · 趋势模型52

    Cactus Compute 发布端侧语音识别模型 Whistle,整个模型仅 16.9 MB

    Cactus Compute 团队发布面向手机、可穿戴、机器人、智能家居、汽车和微控制器的端侧语音识别模型 Whistle,整个模型为单个 16.9 MB 文件,无需 GPU 和外部依赖,与 Needle 共用同一运行时。支持英德法西意荷波七种语言的转写(单次最长 30 秒)、词级时间戳和语音嵌入,静音返回空文本而非编造句子。WER 基于 86,174 条语音实测,并用与 Whisper、Moonshine 已发布数据对比;精度为 Whistle 2 至 4 bit,Whisper fp32,Moonshine int8。

    推荐理由:原文给出了完整的 WER 基准、精度设置和与 Whisper、Moonshine 的对比口径,读者可以据此评估端侧语音识别的实际表现。

9月24日周四
  1. Hugging Face Blog63

    LiquidAI 发布 LFM2.5-VL-3B 的 DSpark 草稿模型,解码加速最高 3.13x

    LiquidAI 发布视觉语言模型 LFM2.5-VL-3B 的实验性 DSpark 草稿模型,通过投机解码在不改变输出质量的前提下换取推理提速。解码加速在端侧最高 3.13x、H100 上最高 2.66x,端到端延迟分别提升 1.56x-2.62x 和 1.64x-2.27x;草稿模型约 280M 参数,仅增加 8.9% 参数量。

    推荐理由:原文给出4层注意力 drafter 的结构与分任务实测加速数据,并解释预填充阶段为何限制端到端收益。

8月17日周一
  1. Hugging Face · 趋势模型59

    HauhauCS 发布 Qwen3.8-27B Aggressive 无对齐 GGUF 量化版并附带 FastMTP 加速方案

    HauhauCS 在 Hugging Face 发布基于 Qwen/Qwen3.8-27B 的 Aggressive 无对齐 GGUF 量化系列,实测拒绝率 0/465,保留文本、推理、Agent 及图像视频能力。全套量化提供 K_P 自定义档位,附带的 FastMTP 32K 加速 sidecar 相比无 MTP 最高达 3.02x 文档 TG 和 1.93x 推理 TG,比内嵌 MTP 最高快 35.2%/21.1%,实测基于 RTX PRO 6000 Blackwell 96GB。需配套 llama.cpp 补丁,vision 需单独 BF16 projector,原生上下文 262,144 token,可扩展至 1,000,000。

    推荐理由:原文给出了0/465拒绝实测和完整量化档位的MTP加速对比数据,读者可据此判断去对齐程度和各档位实际推理速度。

7月1日周三
  1. ComfyUI Releases · 图像工作流63

    ComfyUI v0.27.0 发布,新增 int8 模型支持

    ComfyUI 发布 v0.27.0,主要变更是新增对 int8 模型的支持,包括 int8 lora 应用优化、turing GPU 支持及内存泄漏修复。此外新增 Alibaba HappyHorse 1.1、ByteDance SeeDance-2.0-Mini 与 4K SeeDance 2.0、Google Nano Banana 2 Lite 与 Gemini Video Omni 等合作节点,并为 Grok Image 节点添加 1080p 分辨率,加入 krea 2 模型合并节点、ConditioningMultiply 节点及 bounding box canvas 与 Ideogram JSON prompt 功能。完整变更见 v0.26.0...v0.27.0。

    推荐理由:ComfyUI 版本更新说明列出了 int8 支持和多个合作节点改动,读者可快速判断升级是否影响自己的工作流。

6月29日周一
6月11日周四
  1. Ollama Blog71

    Ollama 更新 MLX 引擎,Apple Silicon 性能提升并支持 NVFP4 量化

    Ollama 更新其 MLX 引擎,称在 Apple Silicon 上实现迄今最高性能,支持 NVIDIA 的 NVFP4 量化格式:在 Gemma 4 12B 上相对 q4_K_M 大约将 4-bit 量化的质量损失减半,输出速度在 8,300-token 输入下快约 20%。

    推荐理由:官方给出了 NVFP4 相对 q4_K_M 的困惑度对比和快照缓存对 Agent 工作流的处理方式,数据与方法都可直接参考。

3月21日周六
  1. ComfyUI Releases · 图像工作流63

    ComfyUI v0.18.0 发布:多处 VAE 与显存内存优化

    ComfyUI 发布 v0.18.0,合并了从 v0.17.0 以来的大量改动,包括 LTX 与 WAN VAE 降低 VRAM 与峰值 RAM 占用、支持 mxfp8、新增 --fp16-intermediates 与 --enable-dynamic-vram 启动选项。其他更新包括 FP4/8/16 原生 dtype 训练支持、AMD gfx1150(Strix Point)启用 Pytorch Attention、userdata 原子写入防崩溃丢数据,以及新增 Quiver SVG 节点并将 seedream-3-0-t2i 和 seedance-1-0-lite API 节点标记为弃用。

    推荐理由:这份官方更新日志集中列出了内存与显存优化、量化训练支持等具体改动,想了解该版本实际改了什么的读者可对照查阅。