用户用 2B 模型做本地纪律追踪器并调低 GPU 功耗
热点事件持续更新
用户用 2B 模型做本地纪律追踪器并调低 GPU 功耗
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
一位 r/LocalLLaMA 用户用 ternary bonsai 2 2B 模型搭建本地纪律追踪器:摄像头拍照送本地模型评估活动合规并生成报告。为解决 GPU 默认 100 瓦功耗和风扇狂转的问题,作者通过 Adrenaline 面板限制功耗、锁定最低风扇转速,整机功耗降至 25 瓦,推理速度从 1.9 秒变为 2.8 秒。作者称厂商未为持续本地推理提供功耗调度 API,并指出 llama.cpp 不支持 NPU。
AI 根据报道生成 · 1 小时前更新
最新进展10月28日 08:26
本地 AI 体验设计中的硬件调优:用 2B 模型做纪律追踪器报道时间线
沿着报道,了解事件的不同侧面。
10月28日
- Reddit · r/LocalLLaMA本地 AI 体验设计中的硬件调优:用 2B 模型做纪律追踪器
一位 r/LocalLLaMA 用户用 ternary bonsai 2 2B 模型构建本地纪律追踪器:摄像头拍照送本地模型评估活动合规并生成报告。GPU 默认功耗 100 瓦且风扇狂转,经 Adrenaline 面板限功耗、锁最低风扇转速后整机降至 25 瓦,推理速度从 1.9 秒降至 2.8 秒。作者质疑厂商未为持续本地推理提供功耗调度 API,并指出 llama.cpp 不支持 NPU。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。