跳到正文
热点事件持续更新

3hs4n 发布 Bonsai TensorFold 本地推理包,Apple Silicon 实测提速

1 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

3hs4n 在 Hugging Face 发布 Ternary-Bonsai-2-27B-Uncensored-Heretic-v2 的 MLX 2bit TensorFold 版本,在 Apple Silicon 上通过 TensorFold 引擎与 DFlash2 加速提供离线推理。 在 M1 Max(64 GiB)实测中,文本/代码/数学解码速度分别为 27.1/57.0/31.0 tokens/s,较原生 mlx-vlm 提升 27.9%、171.2%、47.2%;质量对比 77/80 无回退,进程内存峰值 20.74 GiB。 运行条件:Apple Silicon、macOS 26 及以上、原生 arm64 Python 3.11,需足够统一内存容纳内存峰值;64 GiB Mac 是已测硬件,最低内存配置未确定,初始安装需联网。"Uncensored" 名称继承自源模型,此版本未进一步改动拒绝行为。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月30日
  1. Hugging Face · 新模型:uncensored
    Ternary-Bonsai-2-27B-Uncensored-Heretic-v2 MLX 2bit TensorFold 版本发布,Apple Silicon 实测提速

    3hs4n 发布 Ternary-Bonsai-2-27B-Uncensored-Heretic-v2-mlx-2bit-compact-TensorFold,在 Apple Silicon 上通过 TensorFold 引擎与 DFlash2 加速提供离线推理。在 M1 Max(64 GiB)实测下,文本/代码/数学解码速度为 27.1/57.0/31.0 tokens/s,较原生 mlx-vlm 分别提升 27.9%、171.2%、47.2%;质量对比 77/80 无回退,进程内存峰值 20.74 GiB,需 macOS 26 及以上与 Python 3.11。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。