跳到正文
热点事件持续更新

用户用 2B 模型做本地纪律追踪器并调低 GPU 功耗

1 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

一位 r/LocalLLaMA 用户用 ternary bonsai 2 2B 模型搭建本地纪律追踪器:摄像头拍照送本地模型评估活动合规并生成报告。为解决 GPU 默认 100 瓦功耗和风扇狂转的问题,作者通过 Adrenaline 面板限制功耗、锁定最低风扇转速,整机功耗降至 25 瓦,推理速度从 1.9 秒变为 2.8 秒。作者称厂商未为持续本地推理提供功耗调度 API,并指出 llama.cpp 不支持 NPU。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月28日
  1. Reddit · r/LocalLLaMA
    本地 AI 体验设计中的硬件调优:用 2B 模型做纪律追踪器

    一位 r/LocalLLaMA 用户用 ternary bonsai 2 2B 模型构建本地纪律追踪器:摄像头拍照送本地模型评估活动合规并生成报告。GPU 默认功耗 100 瓦且风扇狂转,经 Adrenaline 面板限功耗、锁最低风扇转速后整机降至 25 瓦,推理速度从 1.9 秒降至 2.8 秒。作者质疑厂商未为持续本地推理提供功耗调度 API,并指出 llama.cpp 不支持 NPU。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。