跳到正文
Reddit · r/LocalLLaMA· /u/TYKAIRO-AI·· 20 天前AI 评分34

SIA:面向本地 3B–8B 小模型的实验性 agent 运行时

I couldn’t practically run large AI models locally, so I started building a better agent runtime around smaller ones

来源与原文

Reddit · r/LocalLLaMA

作者:/u/TYKAIRO-AI

发布时间:(北京时间)

阅读原始来源 · reddit.com ↗
完整链接与内容说明

https://www.reddit.com/r/LocalLLaMA/comments/1wzd9qa/i_couldnt_practically_run_large_ai_models_locally/

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

开发者因本地硬件跑不动大模型,构建了 SIA——一个面向本地小模型的实验性 agent 运行时,主要目标为 3B–8B 模型,开发测试基于 Qwen2.5 Coder Tools 7B。SIA 通过规划、工具调用、验证、重试修复和状态管理等结构化机制降低模型单次出错的负担,并计划发布任务成功率、重试次数、执行时间和内存占用等对比 benchmark 数据。

来源:Reddit · r/LocalLLaMA · reddit.com