Agent-For-Dummies：零基础友好的 Agent/RAG/大模型学习笔记
GitHub 开源项目 Agent-For-Dummies 是一份 Agent、RAG 与大模型的个人学习笔记，风格简洁、图文结合，面向零基础读者，正在持续更新。笔记可在线阅读，也可下载 md 文档自行补充，支持通过 Issue 或 Pull Request 参与纠错，原创文字采用 CC BY 4.0 发布。
#教程/实践
新闻、仓库与研究，按时间排列。
GitHub · 去对齐工具与仓库AI 评分2626 GitHub · 灵魂体仓库AI 评分5252 kwmaeng91 开源无需 GPU 的 LLM 推理系统学习课程
kwmaeng91 发布了一套无需 GPU、全部实验在 CPU 上运行的 LLM 推理服务动手课程，后端模拟器 Vidur-Agent 基于 Microsoft 的 Vidur 构建。
Reddit · r/LocalLLaMAAI 评分1212 Mac Studio M5 MAX 128GB 还是 2x RTX 3090？LocalLLaMA 用户求解选型难题
一位 Reddit r/LocalLLaMA 用户在 Mac Studio M5 MAX 128GB 与 2x RTX 3090 之间纠结选型。他明白 M5 能跑更大模型，但不清楚两者能力与速度差异在编码、图像识别等实际任务中如何体现，发帖征求使用经验。
Reddit · r/LocalLLaMAAI 评分2323 llama server 长对话中模型开始遗忘并重复提问，上下文仅用 13%
一位用户在 Reddit r/LocalLLaMA 反映，使用 llama serve 和 llama server 的 webui 进行长对话时，模型在上下文仅使用 13% 的情况下开始遗忘内容并反复问同一个问题，纠正道歉后仍重复。发帖者怀疑是 CLI 参数或 cache 设置问题，正在寻求原因。
Reddit · r/LocalLLaMA精选AI 评分7171 
Reddit 用户开源 Sentinel：用代码护栏而非提示词构建本地第二大脑
Reddit 用户 /u/dimensionof0 开源了 the-sentinel（MIT 协议），一个在代码层而非提示词层设置护栏的本地 LLM 知识库系统，防止模型自引输出导致知识库被污染。
推荐理由：作者用实测数据对比了提示词与代码护栏的效果，并给出 6 GB 显存下的具体运行方案，方法可直接迁移到类似知识库项目。
GitHub · 去对齐工具与仓库AI 评分2626 
ratishjain12 的 ai-engineering-notes：公开学习 AI 工程的笔记仓库
GitHub 用户 ratishjain12 开源了 ai-engineering-notes 仓库，逐个主题记录 AI 工程学习笔记，无固定大纲。目前已覆盖 Attention（Q、K、V、softmax、因果与多头注意力）、KV Cache（PagedAttention、GQA、MQA）和 Speculative Decoding（草稿模型提议、目标模型一次验证）三个主题。
Reddit · r/LocalLLaMAAI 评分1818 128GB M5 Max Mac Studio 上本地 LLM 与 Agent 技术栈如何选型？
一位用户为处理客户敏感数据购置了 128GB M5 Max Mac Studio，寻求能完成编码、浏览器自动化、登录网站抓取数据并本地分析多步任务的本地 LLM/Agent 方案。
Reddit · r/LocalLLaMA精选AI 评分7070 
9 条可放进 AGENTS.md 的思考纪律规则实测：664 次运行最多减少 29% 思考量
Reddit 用户 /u/PilgrimofHaqq2 发布 9 条可加入 AGENTS.md、CLAUDE.md 或系统提示词的思考纪律规则，在 4 个模型上共 664 次运行测试，任务零损失，最多减少 29% 思考量。
推荐理由：作者用 664 次运行和盲测脚本验证 9 条规则，给出各模型思考量变化和被无证据要求回退时的表现差异，方法可复用。
Reddit · r/LocalLLaMAAI 评分5353 
Burrow 开发者分享用代码计算加模型总结消除本地模型幻觉的方法
/u/Revibed69 在开发 Windows 本地记账应用 Burrow 时，为解决 Llama 3.2、Qwen 2.5 等小模型算术不可靠的问题，确立了“代码计算。
Reddit · r/LocalLLaMAAI 评分1212 如何本地部署智能体来一起给游戏做 mod？
一位用户在 r/LocalLLaMA 求助：他用 Ollama 本地部署 Qwen2.5-Coder 并搭配 opencode 想给游戏做 mod，但模型只能对话、无法完成 tool calls。他刚得知有 Qwen3.8，且多数人并不使用 Ollama，希望有人帮忙选型并配置 Universal-Modder GitHub 的工具。
Reddit · r/LocalLLaMAAI 评分2222 RX 6800/6800 XT（gfx1030）双卡运行 Qwen3.8 27B 的性能讨论
一位 Reddit r/LocalLLaMA 用户在双 gfx1030（RX 6800/6800 XT）上测试 Qwen3.8 27B（unsloth q6_k）性能。
GitHub · 去对齐工具与仓库AI 评分1818 jason3e7/ai-101：聪明使用 AI 的完整指南知识库
GitHub 上的 jason3e7/ai-101 是一份从零开始、面向实际使用的 AI 知识库，涵盖基础概念、进阶观念、AI 工具、本地 LLM（Ollama、vLLM、Gemma）、个人笔记与外部观点等分类，共 100 多篇笔记。每篇笔记强调清楚概念与快速上手，并提供按目标选择的学习路径，同时包含给 Claude 用的 Agent Skills 可重复工作流程。
Reddit · r/LocalLLaMAAI 评分2121 求助：预算型混合方案本地部署 Qwen3.8-Flash-Next 4-bit 的装机建议
一位 Reddit 用户计划组装预算型本地主机运行 4-bit Qwen3.8-Flash-Next（medium reasoning），测试约 20 个开源模型后只有它通过强制文档检索的任务且不编造配置项。
GitHub · 灵魂体仓库AI 评分3535 petrovyuri/llm-stepik-interactive：Stepik 课程「LLM 自己动手做」的交互式演示仓库
GitHub 仓库 petrovyuri/llm-stepik-interactive 提供 Stepik 课程「LLM 自己动手做」的配套交互式演示，课程从零实现小型语言模型，涵盖 tokenizer、注意力机制、Transformer、训练与文本生成。
GitHub · 灵魂体仓库AI 评分3636 LLM Agent 工程实践指南：架构、工具、安全与生产部署
构建生产级 LLM Agent 需将模型与指令、工具、状态、控制与可观测性分层设计，而非仅靠提示词。文章强调从具体业务问题出发定义 Agent 职责，用结构化输出对接 API 与数据库，将退款等确定性业务规则与模型推理分离，并针对临时故障、权限失败等不同错误类型设计工具失败处理策略。
GitHub · 去对齐工具与仓库AI 评分5151 SorraTheOrc 发布 AI_Hell 教程项目，演示用 Context Hub 框架让本地 LLM 辅助开发游戏
SorraTheOrc 在 GitHub 发布 AI_Hell，一个用于演示 Context Hub AI 框架的弹幕射击游戏教程项目，目标是教人用本地 LLM 辅助编码而非做出完整可售游戏。
Reddit · r/LocalLLaMA精选AI 评分6969 RTX 4060 Ti 8 GB 上调优 llama.cpp，推理速度达默认配置 2 到 9 倍
/u/ExxploreCraft 在 RTX 4060 Ti 8 GB 加 64 GB 内存的 PC 上，用 Claude (Opus 5.5) 逐项调优 llama.cpp 配置，推理速度达默认设置的 2 到 9 倍。
推荐理由：作者逐项调整配置并给出实测数据，MoE 专家放内存、显示移到 iGPU、原生 Linux 等做法可直接迁移到类似 8 GB 卡环境。
GitHub · 去对齐工具与仓库AI 评分3737 AI-driven SDLC 蓝图 v2.0：面向企业信创环境的 AI 软件开发流程标准
该蓝图 v2.0 定义了一套可落地企业信创环境的 AI 驱动软件开发流程标准，集成 GigaChat 3.5 Ultra（432B MoE）、OpenHands 与 Gitea，支持 Full Cycle / Fast-Track / Hotfix 三条路线。
GitHub · 去对齐工具与仓库AI 评分2020 skyekim/llm-practice：大语言模型基础练习仓库
GitHub 上的 llm-practice 仓库收录了一系列动手练习，用于构建和巩固大语言模型基础。每个练习任务独立成文件夹，内含 README 说明目标、方法与收获，并附代码、notebook 和笔记。
GitHub · 去对齐工具与仓库AI 评分2222 VCF Private AI 应用与智能体服务执行层指南（基于 VCF 9.1.x 与 PAIS 3.0）
基于 VMware Cloud Foundation 9.1.x 与 Private AI Services 3.0 的执行层指南，讲解企业如何从规划、设计、构建到运营落地 LLM 应用、RAG 应用、批处理流水线与智能体服务。
Reddit · r/LocalLLaMA精选AI 评分5959 在 llama.cpp 上超频 DDR5 提升 MoE 模型 prefill 与 decode 速度
作者在 AMD 7950X（4x 双通道 DDR5-5600，128GB）上把内存从 3600MHz 超到 4800MHz，带宽提升 36%，在 Intel B70（32GB）的 llama.cpp 定制 SYCL 后端上跑放不进显存的 MoE 模型获得小幅提升：PP 约增 10%、TG 约增 5%，且上下文越深收益越大，pp2048 @ d8192 提升 14.0%。
推荐理由：作者给出了 DDR5 超频前后各档上下文的 PP/TG 实测数据，读者可据此估算自己 MoE 本地部署能从内存超频拿到多少收益。
GitHub · 去对齐工具与仓库精选AI 评分5757 jev-cookbook：把 Jev 判定器接入 AI 助手的实战手册
作者把小型判定器 Jev 接入自己的 AI 助手并使用一个多月，开源了含接入指南、判定点清单、影子期评测方法与踩坑集的实战手册（https://github.com/zhaoyanan-pixe/jev-cookbook）。手册总结 6 条原则，如失败必须 fail-open、先影子后放权、硬红线不进判定流程，并给出各任务族可靠度从 90%+ 到 15% 不等的实测观察，强调效果依场景而定。
推荐理由：作者用一个月实战总结出先影子后放权的接入方法，并给出不同任务族可靠度差异的实测数据，方法可迁移到自己的 AI 助手。
GitHub · 去对齐工具与仓库AI 评分5959 luilan 开源 3Blue1Brown 风格的 LLM 讲解视频源码仓库 educational-videos
GitHub 仓库 luilan/educational-videos 公开了用 Manim Community v0.21 制作的 3Blue1Brown 风格配音讲解视频源码。
GitHub · 去对齐工具与仓库AI 评分4040 peymanpro 开源 Pretrained-LLM-Adaptation：基于 LoRA/PEFT 的预训练大语言模型下游任务适配研究仓库
GitHub 仓库 peymanpro/Pretrained-LLM-Adaptation 提供一套可复现的预训练大语言模型适配流程，以 BANKING77 的 77 类银行意图分类为任务，主模型为 microsoft/deberta-v3-small（44M backbone 参数），主方法为通过 PEFT 的 LoRA 微调。
GitHub · 去对齐工具与仓库AI 评分4242 
zero2llm：面向高中数学水平的 Transformer 从零入门教程
GitHub 开源项目 zero2llm 是一份面向高中数学水平学习者的 Transformer 入门教程，共 11 章，覆盖词向量、QKV 注意力、位置编码到 RoPE、RMSNorm、SwiGLU 与 DeepSeek MoE 等现代大模型组件。
GitHub · 去对齐工具与仓库AI 评分4242 GitHub 开源 ai-coding-exercises：AI 工程面试实战练习仓库
GitHub 上的 ai-coding-exercises 仓库提供面向 LLM 工程面试的实战练习，包含 3 道评测赛道题（工单分诊、Text-to-SQL、验证 eval 可信度）和 9 道覆盖 RAG、tool-use agent、数据清洗等主题的练习。
Reddit · r/LocalLLaMAAI 评分66 12 GB VRAM、无 AVX2 的老 CPU 上求推荐本地编程模型
一位 Reddit r/LocalLLaMA 用户求推荐适合低配硬件的本地编程模型及运行工具：其设备为 12 GB VRAM、32 GB DDR3 内存，CPU 疑似 Ivy Bridge（LGA1155），因不支持 AVX2 指令集无法运行 LM Studio，向社区征询可行方案。
GitHub · 去对齐工具与仓库AI 评分1515 Daanes01 开源 HTML-latex-for-documentation 文档模板仓库
GitHub 用户 Daanes01 发布 HTML-latex-for-documentation 仓库，提供便于复制粘贴和自定义的 LaTeX 文档格式模板。将代码粘贴到 LaTeX 编译器后，只需编辑部分行即可按报告需求定制，并支持借助 LLM 辅助调整。
Reddit · r/LocalLLaMA同新闻AI 评分6868 RX 580 8GB 上通过 Vulkan 跑 6 个 LLM 加 SD 3.5 和 Whisper 并附实测基准
/u/Heavy-Level-5215 在被 ROCm 放弃的 RX 580 8GB 上改用 Mesa RADV 的 Vulkan 路线，通过 OpenAI 兼容路由在单卡上运行 qwen2.5-coder 1.5B/7B。
同一新闻，精选展示《在 RX 580 8GB 上用 Vulkan 跑 6 个 LLM 加 SD 3.5 和 Whisper 并附实测数据》
Reddit · r/LocalLLaMA精选AI 评分6969 在 RX 580 8GB 上用 Vulkan 跑 6 个 LLM 加 SD 3.5 和 Whisper 并附实测数据
作者在 RX 580 8GB 上用 Mesa RADV 的 Vulkan 路线绕开已放弃 Polaris 的 ROCm，通过 OpenAI 兼容路由在单卡上运行 qwen2.5-coder 1.5B/7B。
推荐理由：作者用 Vulkan 绕开 ROCm 对 Polaris 的放弃，在 RX 580 8GB 上跑通多模型并给出完整实测数据，方法可迁移到同类老卡。
GitHub · prompt 工程新仓库AI 评分2525 TryWorld2026 开源 guochan-ai-tutorial：13 章国产 AI 工具零基础教程
试界TryWorld 在 GitHub 发布国产 AI 教程仓库 guochan-ai-tutorial（当前 v3.0，2026 年 7 月更新），面向零基础用户，全程使用 DeepSeek、Kimi、豆包、即梦、可灵、剪映、Trae 等国产工具，无需翻墙和编程基础。教程共 13 章、30 万+ 字，含 50+ 场景化提示词模板、11 个实战项目、8 种副业变现方案和 80+ 工具列表。
GitHub · 灵魂体仓库精选AI 评分6262 observability-deep-dive 仓库发布：离线实战搭建 LLM 应用长期可观测性
alexvervloet 发布 observability-deep-dive 仓库，一个离线可运行的 LLM 应用可观测性实战教程，默认无需 API key。
推荐理由：用确定性流量模拟器生成六周含真实事故的日志，读者可离线亲手搭出漂移检测、采样评审和告警调参的完整监控栈。
GitHub · 灵魂体仓库精选AI 评分6363 realtime-voice-deep-dive：从零构建实时语音Agent的离线模拟实验仓库
alexvervloet 发布 realtime-voice-deep-dive 仓库，用完全离线、无需 API key 的确定性模拟器讲解实时语音Agent的构建。
推荐理由：用离线模拟器拆解实时语音Agent的帧流、状态机、barge-in与延迟预算，并给出pipeline与speech-to-speech的选型对比。
GitHub · 去对齐工具与仓库AI 评分2424 RAG-vs-Fine-Tuning：理解 RAG 与微调差异的指南应用
GitHub 上的 RAG-vs-Fine-Tuning 应用提供面向非技术用户的指南，讲解大语言模型中 RAG 与 Fine-Tuning 的差异与优势。内容包含分步工作流、对比图表、真实案例和决策框架，支持 Windows 10+/macOS 10.12+，需 4 GB 内存和 200 MB 空间，可从 Releases 页面下载安装。
GitHub · 去对齐工具与仓库精选AI 评分6363 multimodal-deep-dive：从零上手多模态 LLM 的实战教学仓库
alexvervloet 发布 multimodal-deep-dive 仓库，通过 11 个分节示例从零讲解多模态 LLM 的实际工作方式，涵盖图像输入的 content-block 结构、截图转结构化 JSON、多图对比、语音转文字与文字转语音、图像生成、多模态 RAG 和原生 PDF 输入。
推荐理由：仓库用可运行的分节示例拆解多模态请求的 content-block 结构与图像 token 成本，并给出 OpenAI 与 Claude 的能力差异对照。
GitHub · 灵魂体仓库AI 评分2020 roadmap-zh：中文程序员学习路线图合集
GitHub 开源项目 roadmap-zh 是一份纯 Markdown 的中文程序员学习路线图合集，涵盖前端、后端、全栈、DevOps、AI/LLM、计算机基础六条路线，共 461 个节点（80/80/68/78/72/83），每条拆成学什么、过线标准、常见坑、推荐资源。全部内容为原创中文撰写，采用 MIT 协议，可搜索、可打印。
GitHub · 灵魂体仓库AI 评分2222 llm-interview-zh：中文大模型面试题库，覆盖 100+ 高频题
GitHub 开源项目 llm-interview-zh 整理了大模型算法岗面试最高频的 100+ 问，覆盖 Transformer、RLHF、RAG、LoRA/QLoRA 微调、vLLM 推理部署、Agent、Prompt 等 10 大主题，每题含 3-6 条答案要点和 1-3 个追问点，并按【基础】【进阶】【实战】三级分级。
GitHub · 去对齐工具与仓库AI 评分3333 
Thales-thecreator 的 road-to-ai-engineer：以 RPG 形式公开学习 AI 工程师之路
Thales Gomes 在 GitHub 开源 road-to-ai-engineer 仓库，把 ML、MLOps 与 AI 工程学习路线做成暗黑奇幻 RPG，每个阶段以带测试、真实指标和公开 demo 的 boss 项目收尾。
Reddit · r/LocalLLaMAAI 评分1818 
Reddit 用户分享双 MI50 32GB 本地推理主机配置
一位 Reddit r/LocalLLaMA 用户展示其本地大模型推理主机：双 AMD Instinct MI50 32GB（共 64GB HBM2），配 PLX8749 扩展卡避免 PCIe 拆分，双电源（850W 系统 + 1250W GPU）。系统为 Ubuntu 22.04，用 llama.cpp（ROCm 6.4.3）推理，前端 OpenWebUI。
Reddit · r/LocalLLaMAAI 评分2323 
Update #5：从零后训练 yandex/AliceAI-80B-A3B（instruct 版）
Reddit r/LocalLLaMA 用户 jjjusko20 正在对 AliceAI-80B-A3B-Base 做 instruct 微调，目标是让模型具备智能体工作与对话能力，并用 Qwen 3.8 27B 的浅层知识蒸馏教其链式推理。