用 FFT 替换 AdamW 优化器状态,微调 8B/70B 模型时 VRAM 减半
一组开发者在微调 8B 和 70B 模型时,用 FFT 在频域压缩 AdamW 优化器状态,替代 8-bit 量化,VRAM 占用减少约 50%,且避免收敛退化。代价是每步训练因 FFT 运算略慢,但可避免 OOM 并显著增大 batch size。团队已开放内部 Colab 环境和基线权重供测试。
新闻、仓库与研究,按时间排列。
一组开发者在微调 8B 和 70B 模型时,用 FFT 在频域压缩 AdamW 优化器状态,替代 8-bit 量化,VRAM 占用减少约 50%,且避免收敛退化。代价是每步训练因 FFT 运算略慢,但可避免 OOM 并显著增大 batch size。团队已开放内部 Colab 环境和基线权重供测试。
一位 r/LocalLLaMA 用户在单张 RTX5090 上跑自研推理引擎做 agentic coding 时发现,GPU 平均约 700t/s 仍有余量,瓶颈反而出在 CPU:25 个 agent 同时运行时 tool call 把 9800X3D 的全部线程打满。
一位 Reddit 用户打算用旧 X79 电脑(i7-3930K、56 GB DDR3、RTX 2080 Ti 11 GB + RTX 3060 Ti 8 GB,CachyOS headless)运行 Flash-Next IQ3_XXS,询问量化档位和预期 tok/s。
一支开发团队发现,向 LLM 智能体的提示词中添加更多指令有时会使其表现变差,一条看似无害的规则导致多个不相关的测试开始失败。团队还发现,部分约束改为在代码中强制执行比写在提示词里更可靠,文章记录了具体测试过程与经验。
一位 Reddit r/LocalLLaMA 用户询问如何将局域网内多台设备用于 multi-agent 本地部署:主 PC 跑 Qwen 3.6 27B(约 30t/s)、妻子 PC 跑 Qwen 3.6 35B(约 55t/s)、两台 Steam Deck 各跑 Qwen 3.5 2B(约 30t/s)。
一位 Reddit r/LocalLLaMA 用户求询:手上的 RX 7900(24GB VRAM、800 GB/s 带宽)有哪些真实有效的小众工具或玩法,能让本地运行 LLM 更有趣,并希望甄别社区帖子中真假难辨的提速说法。
GitHub 新仓库 FLS76/build-with-me 发布了一个面向编码 Agent 的技能,把人与 Agent 刚共同完成的工作转化为从空文件夹到可运行程序的教程。每个元素回答"是什么、为何存在、缺了会怎样",并区分真实发生的错误与读者将遇到的错误,代码以正文形式写出并记录被放弃的方案。可通过 npx skills add 安装,支持 Electron 等代码项目及游戏、Blender、表格等非代码项目。
Reddit 用户在 64 GB Mac mini M5 上以 SSD 流式方式运行 qwen flash next q4(QFN 装不下内存),实现 17.5 tks decode、390 tks pp,热缓存命中率 75%,预取准确率 72%。
GitHub 上的 llm-cybersecurity 是一个聚焦大语言模型(LLM)安全风险的动手实验室项目,采用增量式设计:每个实验室演示一个可复现的攻击场景并分析缓解措施。
作者复盘自己训练模型 Apex-2 的经验:原计划训练约 1T tokens,因单张 H100 不够用最终只训了约 80B。
Reddit 用户 /u/turtleninja99 在 Mac Mini M5 64GB 上通过 SSD 流式读取跑通 Qwen Flash Next Q4,实测 decode 17.5tks、prompt processing 360tks。
作者开源了一个完全本地运行的 AI Agent 项目 local-ai-agent,支持浏览网页、执行代码和分析图像、视频与文档。
推荐理由:作者完整公开了本地 Agent 的架构、工具清单和 8GB VRAM 下的模型切换细节,可复现也可借鉴到类似项目。
开发者在 GitHub 发布求职项目 kb-pa,用 DeepSeek API 构建可对 PDF 提问的 RAG 问答链路,含提取、切块、TF-IDF 检索、带引用答案四个步骤,并标注每句出处,实测能准确回答快速排序时间复杂度且不编造。
这是一套 AI 基础教程,梳理现代 AI 从规则式系统、深度学习、生成式 AI 到 Agentic AI 的层级结构,并区分 Generative AI、Agentic AI 与 LLM 的差异。
GenAI Architect Academy 在 GitHub 发布包含 70 多个 AI 实战项目的学习资源,覆盖 RAG、微调、LangChain、智能体工作流等主题,无需编程基础即可上手,并附详细指南和 Jupyter notebook。
Reddit 用户分享用 explainroo 制作本地解说视频的体验:该工具完全本地运行,用 Kokoro 生成语音、Whisper 做逐词时间对齐、headless Chrome 绘制画面、ffmpeg 合成,无需 API key。但用几个视频后效果趋同,楼主在 r/LocalLLaMA 征求其他免费本地替代方案。
开发者独立构建个人 AI 系统 AI NOBORU,从日常对话学习其决策方式生成"判断克隆",供 Claude、GPT、Gemini 等模型在上下文中调用。系统采用单向写入的私有 RAG,云端模型只能写入不能读取,读取仅由本地模型(Qwen3.6-35B-A3B、Gemma 4)在自有机器和 NAS 上完成。
一位 LocalLLaMA 网友计划把手头单块 R9700(32GB)升级为双卡配置,以提升推理速度并运行 Qwen3.8-Flash-Next 的 Q4 及更高量化版 3.8 27B。
用户在 2x DGX Sparks 上用 vLLM TP2 全本地运行 GLM 5.3 Flash,配合 Claude Code 搭建出一个跑酷模拟项目。Prefill 约 1500t/s,Decode 约 40t/s,100k 上下文,Claude Code 上下文设为 260k。作者称其编码能力介于 GLM 5.1 与 5.3 之间,视觉与 3D 理解表现不错。
Reddit 用户 /u/tabletuser_blogspot 在 r/LocalLLaMA 整理了一份适合 Vulkan 后端的低价 GPU 清单,称许多旧卡已不被最新 CUDA / ROCm 支持,但用 Vulkan 加 Linux 可在单系统上跑通 GTX 1080 Ti、P102-100 和 MI50。
GitHub 用户 girishlade111 开源了 AI-Beginner-Guide 仓库,为零基础学习者提供涵盖 ML、DL、NLP、CV、RL 核心概念的 AI 入门指南。内容包含 Python 3.10+ 环境搭建、PyTorch/TensorFlow 等工具选型、提示词工程技巧(role + context + task 结构、Chain-of-thought、Self-critique)及 ChatGPT、GitHub Copilot、Claude、Midjourney 等常用 AI 工具介绍,并附键盘快捷键与最佳实践。
GitHub 开源仓库 beiluoL/EasyAICoding 教完全不会编程的人用 AI 做出第一个软件,提供可复制粘贴的 Prompt 提示词库、教程、入门案例和 Debug 调试库。学习路线分 Level 0-5,从做个人网页、Todo 应用、AI 聊天工具到完成连接数据库和 AI 的完整项目,并学会调试、测试与部署。项目遵循 Beginner First、Project First 等原则,采用 MIT License,还收录了 Codex、Claude Code、Cursor 等 AI 工具入口。
Nielsen Norman Group 汇总了关于人工智能工作原理与用户认知的文章和视频合集,涵盖 LLM 基础概念、生成式 AI 的对话与提示词模式、信任与拟人化、信息获取行为等主题。内容包括 AI 幻觉、AI agent 定义、六类生成式 AI 对话类型、四层拟人化等研究结论,帮助读者建立准确的心理模型并理解用户如何使用 AI 系统。
Nielsen Norman Group 发布设计 AI 产品与功能的研究指南,汇集其研究得出的文章与视频资源。内容涵盖三大主题:AI 的策略与价值主张(如“Powered By AI 不是价值主张”、AI 功能须解决真实用户问题)、提示词辅助设计(如提示词建议、混合界面)、以及具体产品功能建议(如 AI 评测摘要、生成式 UI、AI 内网功能等)。指南指出添加 ✨AI✨ 并不会自动创造价值,有时投入大回报小。
AI 工具让设计师能在一天内为过滤器、仪表盘、对话式 AI 等复杂界面搭建高保真可交互原型,包含真实数据、多种状态和 AI 生成的响应,从而在设计流程早期就能开展用户测试并迭代。对于较简单的界面,静态原型仍足以回答多数研究问题。