RAG-vs-Fine-Tuning:理解 RAG 与微调差异的指南应用
GitHub 上的 RAG-vs-Fine-Tuning 应用提供面向非技术用户的指南,讲解大语言模型中 RAG 与 Fine-Tuning 的差异与优势。内容包含分步工作流、对比图表、真实案例和决策框架,支持 Windows 10+/macOS 10.12+,需 4 GB 内存和 200 MB 空间,可从 Releases 页面下载安装。
新闻、仓库与研究,按时间排列。
GitHub 上的 RAG-vs-Fine-Tuning 应用提供面向非技术用户的指南,讲解大语言模型中 RAG 与 Fine-Tuning 的差异与优势。内容包含分步工作流、对比图表、真实案例和决策框架,支持 Windows 10+/macOS 10.12+,需 4 GB 内存和 200 MB 空间,可从 Releases 页面下载安装。
alexvervloet 发布 multimodal-deep-dive 仓库,通过 11 个分节示例从零讲解多模态 LLM 的实际工作方式,涵盖图像输入的 content-block 结构、截图转结构化 JSON、多图对比、语音转文字与文字转语音、图像生成、多模态 RAG 和原生 PDF 输入。
推荐理由:仓库用可运行的分节示例拆解多模态请求的 content-block 结构与图像 token 成本,并给出 OpenAI 与 Claude 的能力差异对照。
GitHub 开源项目 roadmap-zh 是一份纯 Markdown 的中文程序员学习路线图合集,涵盖前端、后端、全栈、DevOps、AI/LLM、计算机基础六条路线,共 461 个节点(80/80/68/78/72/83),每条拆成学什么、过线标准、常见坑、推荐资源。全部内容为原创中文撰写,采用 MIT 协议,可搜索、可打印。
GitHub 开源项目 llm-interview-zh 整理了大模型算法岗面试最高频的 100+ 问,覆盖 Transformer、RLHF、RAG、LoRA/QLoRA 微调、vLLM 推理部署、Agent、Prompt 等 10 大主题,每题含 3-6 条答案要点和 1-3 个追问点,并按【基础】【进阶】【实战】三级分级。
Thales Gomes 在 GitHub 开源 road-to-ai-engineer 仓库,把 ML、MLOps 与 AI 工程学习路线做成暗黑奇幻 RPG,每个阶段以带测试、真实指标和公开 demo 的 boss 项目收尾。
一位 Reddit r/LocalLLaMA 用户展示其本地大模型推理主机:双 AMD Instinct MI50 32GB(共 64GB HBM2),配 PLX8749 扩展卡避免 PCIe 拆分,双电源(850W 系统 + 1250W GPU)。系统为 Ubuntu 22.04,用 llama.cpp(ROCm 6.4.3)推理,前端 OpenWebUI。
Reddit r/LocalLLaMA 用户 jjjusko20 正在对 AliceAI-80B-A3B-Base 做 instruct 微调,目标是让模型具备智能体工作与对话能力,并用 Qwen 3.8 27B 的浅层知识蒸馏教其链式推理。
韩国一门 2026 学年生成式 AI 课程使用 GitHub 仓库 ai7dnn/2026-LLM 组织教学,教材为《ChatGPT로 시작하는 인공지능 첫걸음》。课程采用 PBL 方式,成绩由期中 20%、期末 20%、作业 30%、出勤 30% 构成,涵盖 ChatGPT 提示词设计、LLM 概述、项目企划书与中/最终报告,并给出多组提示词示例。
一组开发者在微调 8B 和 70B 模型时,用 FFT 在频域压缩 AdamW 优化器状态,替代 8-bit 量化,VRAM 占用减少约 50%,且避免收敛退化。代价是每步训练因 FFT 运算略慢,但可避免 OOM 并显著增大 batch size。团队已开放内部 Colab 环境和基线权重供测试。
一位 r/LocalLLaMA 用户在单张 RTX5090 上跑自研推理引擎做 agentic coding 时发现,GPU 平均约 700t/s 仍有余量,瓶颈反而出在 CPU:25 个 agent 同时运行时 tool call 把 9800X3D 的全部线程打满。
一位 Reddit 用户打算用旧 X79 电脑(i7-3930K、56 GB DDR3、RTX 2080 Ti 11 GB + RTX 3060 Ti 8 GB,CachyOS headless)运行 Flash-Next IQ3_XXS,询问量化档位和预期 tok/s。
一支开发团队发现,向 LLM 智能体的提示词中添加更多指令有时会使其表现变差,一条看似无害的规则导致多个不相关的测试开始失败。团队还发现,部分约束改为在代码中强制执行比写在提示词里更可靠,文章记录了具体测试过程与经验。
一位 Reddit r/LocalLLaMA 用户询问如何将局域网内多台设备用于 multi-agent 本地部署:主 PC 跑 Qwen 3.6 27B(约 30t/s)、妻子 PC 跑 Qwen 3.6 35B(约 55t/s)、两台 Steam Deck 各跑 Qwen 3.5 2B(约 30t/s)。
一位 Reddit r/LocalLLaMA 用户求询:手上的 RX 7900(24GB VRAM、800 GB/s 带宽)有哪些真实有效的小众工具或玩法,能让本地运行 LLM 更有趣,并希望甄别社区帖子中真假难辨的提速说法。
Reddit 用户在 64 GB Mac mini M5 上以 SSD 流式方式运行 qwen flash next q4(QFN 装不下内存),实现 17.5 tks decode、390 tks pp,热缓存命中率 75%,预取准确率 72%。
GitHub 上的 llm-cybersecurity 是一个聚焦大语言模型(LLM)安全风险的动手实验室项目,采用增量式设计:每个实验室演示一个可复现的攻击场景并分析缓解措施。
作者复盘自己训练模型 Apex-2 的经验:原计划训练约 1T tokens,因单张 H100 不够用最终只训了约 80B。
Reddit 用户 /u/turtleninja99 在 Mac Mini M5 64GB 上通过 SSD 流式读取跑通 Qwen Flash Next Q4,实测 decode 17.5tks、prompt processing 360tks。
作者开源了一个完全本地运行的 AI Agent 项目 local-ai-agent,支持浏览网页、执行代码和分析图像、视频与文档。
推荐理由:作者完整公开了本地 Agent 的架构、工具清单和 8GB VRAM 下的模型切换细节,可复现也可借鉴到类似项目。
开发者在 GitHub 发布求职项目 kb-pa,用 DeepSeek API 构建可对 PDF 提问的 RAG 问答链路,含提取、切块、TF-IDF 检索、带引用答案四个步骤,并标注每句出处,实测能准确回答快速排序时间复杂度且不编造。
这是一套 AI 基础教程,梳理现代 AI 从规则式系统、深度学习、生成式 AI 到 Agentic AI 的层级结构,并区分 Generative AI、Agentic AI 与 LLM 的差异。
GenAI Architect Academy 在 GitHub 发布包含 70 多个 AI 实战项目的学习资源,覆盖 RAG、微调、LangChain、智能体工作流等主题,无需编程基础即可上手,并附详细指南和 Jupyter notebook。
Reddit 用户分享用 explainroo 制作本地解说视频的体验:该工具完全本地运行,用 Kokoro 生成语音、Whisper 做逐词时间对齐、headless Chrome 绘制画面、ffmpeg 合成,无需 API key。但用几个视频后效果趋同,楼主在 r/LocalLLaMA 征求其他免费本地替代方案。
开发者独立构建个人 AI 系统 AI NOBORU,从日常对话学习其决策方式生成"判断克隆",供 Claude、GPT、Gemini 等模型在上下文中调用。系统采用单向写入的私有 RAG,云端模型只能写入不能读取,读取仅由本地模型(Qwen3.6-35B-A3B、Gemma 4)在自有机器和 NAS 上完成。
一位 LocalLLaMA 网友计划把手头单块 R9700(32GB)升级为双卡配置,以提升推理速度并运行 Qwen3.8-Flash-Next 的 Q4 及更高量化版 3.8 27B。
用户在 2x DGX Sparks 上用 vLLM TP2 全本地运行 GLM 5.3 Flash,配合 Claude Code 搭建出一个跑酷模拟项目。Prefill 约 1500t/s,Decode 约 40t/s,100k 上下文,Claude Code 上下文设为 260k。作者称其编码能力介于 GLM 5.1 与 5.3 之间,视觉与 3D 理解表现不错。
Reddit 用户 /u/tabletuser_blogspot 在 r/LocalLLaMA 整理了一份适合 Vulkan 后端的低价 GPU 清单,称许多旧卡已不被最新 CUDA / ROCm 支持,但用 Vulkan 加 Linux 可在单系统上跑通 GTX 1080 Ti、P102-100 和 MI50。
GitHub 用户 girishlade111 开源了 AI-Beginner-Guide 仓库,为零基础学习者提供涵盖 ML、DL、NLP、CV、RL 核心概念的 AI 入门指南。内容包含 Python 3.10+ 环境搭建、PyTorch/TensorFlow 等工具选型、提示词工程技巧(role + context + task 结构、Chain-of-thought、Self-critique)及 ChatGPT、GitHub Copilot、Claude、Midjourney 等常用 AI 工具介绍,并附键盘快捷键与最佳实践。
GitHub 开源仓库 beiluoL/EasyAICoding 教完全不会编程的人用 AI 做出第一个软件,提供可复制粘贴的 Prompt 提示词库、教程、入门案例和 Debug 调试库。学习路线分 Level 0-5,从做个人网页、Todo 应用、AI 聊天工具到完成连接数据库和 AI 的完整项目,并学会调试、测试与部署。项目遵循 Beginner First、Project First 等原则,采用 MIT License,还收录了 Codex、Claude Code、Cursor 等 AI 工具入口。
Nielsen Norman Group 汇总了关于人工智能工作原理与用户认知的文章和视频合集,涵盖 LLM 基础概念、生成式 AI 的对话与提示词模式、信任与拟人化、信息获取行为等主题。内容包括 AI 幻觉、AI agent 定义、六类生成式 AI 对话类型、四层拟人化等研究结论,帮助读者建立准确的心理模型并理解用户如何使用 AI 系统。
Nielsen Norman Group 发布设计 AI 产品与功能的研究指南,汇集其研究得出的文章与视频资源。内容涵盖三大主题:AI 的策略与价值主张(如“Powered By AI 不是价值主张”、AI 功能须解决真实用户问题)、提示词辅助设计(如提示词建议、混合界面)、以及具体产品功能建议(如 AI 评测摘要、生成式 UI、AI 内网功能等)。指南指出添加 ✨AI✨ 并不会自动创造价值,有时投入大回报小。
AI 工具让设计师能在一天内为过滤器、仪表盘、对话式 AI 等复杂界面搭建高保真可交互原型,包含真实数据、多种状态和 AI 生成的响应,从而在设计流程早期就能开展用户测试并迭代。对于较简单的界面,静态原型仍足以回答多数研究问题。