跳到正文
热点事件持续更新

Reddit 用户实测 IQ3_XXS 量化版 Cyber-Tiel-Coder 35B 称表现出色

1 篇报道1 个报道来源3 小时前更新

先了解这件事

AI 综述

Reddit r/LocalLLaMA 用户 /u/Robert__Sinclair 称,实测 Cyber-Tiel-Coder-35B-A3B-MTP-UD-IQ3_XXS.gguf 后认为它是目前表现最好的小型量化模型,在 IQ3_XXS 低比特量化下推理能力没有退化。该用户称模型在纯 CPU 环境(azure standard 4 cpu 配置)下达到 7-8 tok/sec,速度不及 Ling,但推理质量出色。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月29日
  1. Reddit · r/LocalLLaMA
    Cyber-Tiel-Coder-35B-A3B-MTP-UD-IQ3_XXS.gguf:LocalLLaMA 网友称赞的低比特量化小模型

    Reddit r/LocalLLaMA 用户测试 Cyber-Tiel-Coder-35B-A3B-MTP-UD-IQ3_XXS.gguf 后称其为目前表现最好的小型量化模型,在 IQ3_XXS 量化下推理能力没有退化。该模型在纯 CPU(azure standard 4 cpu 配置)上达到 7-8 tok/sec,速度虽不及 Ling,但推理质量出色。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。