LLM_learning:中文 LLM 机制离线学习手册开源上线
开发者 chenchen8486 在 GitHub 发布中文 LLM 机制学习手册,可离线浏览,系统讲解从训练数据、分词、Transformer 架构到预训练、后训练(SFT/RLHF/DPO)及推理部署的完整链路。公式用 KaTeX 渲染并配原创 SVG 示意图,代码对照引用 Apache 2.0 许可的 minimind 项目,第 13-15 章仍在规划中。
新闻、仓库与研究,按时间排列。
开发者 chenchen8486 在 GitHub 发布中文 LLM 机制学习手册,可离线浏览,系统讲解从训练数据、分词、Transformer 架构到预训练、后训练(SFT/RLHF/DPO)及推理部署的完整链路。公式用 KaTeX 渲染并配原创 SVG 示意图,代码对照引用 Apache 2.0 许可的 minimind 项目,第 13-15 章仍在规划中。
GitHub 仓库 mahashemi/llm-training-masterclass 提供免费的 LLM 训练课程,分为深度学习基础和 LLM 工程与训练两门独立课程,覆盖从感知机、Transformer 到 SFT、LoRA、QLoRA、偏好优化与蒸馏等 24 章 LLM 内容。课程采用开源权重实操路径,从 CPU tiny GPT、免费 Colab 上的 Qwen3-0.6B 一路进阶到 7B/8B 单卡 H100 及 Qwen3.8-27B 适配与多 GPU 训练,面向高中生到工程师、研究者和机构。
Datawhale 团队基于 Stanford CS336 (Spring 2026) 推出中文本土化课程 diy-llm,在线阅读地址为 https://datawhalechina.github.io/diy-llm/。课程共 16 章,覆盖分词器、MoE、GPU 高性能编程、分布式训练、Scaling Laws、数据工程、RLVR、多模态等内容,配套 6 个作业(手搓大模型、Triton 实现 FlashAttention-2、数据处理、GRPO 对齐、模型评估等),并加入 Qwen、DeepSeek 等国产模型案例。文档提供中英双语与 PDF 下载,采用 CC BY-NC-SA 4.0 许可。
推荐理由:斯坦福 CS336 的中文本土化课程,16 章配 6 个作业,覆盖从 tokenizer 到 RLVR 的完整 LLM 构建链条,适合想系统上手的学习者。
subvid.app 是一款免费的视频字幕工具,在浏览器中运行,支持 MP4、AVI、MKV 格式,可自动扫描音频生成字幕预览并烧录进视频。用户可编辑文本、调整时间轴、拖动字幕位置,并自定义字号、颜色和背景透明度。视频文件全程留在本地,需 4GB 以上内存和 Chrome、Edge 或 Firefox 浏览器。
作者用 HuggingChat 里的 ML Intern 在几天内自制了 7 个开源模型(含 citrus-disease-vlm-instruct、Huggy LoRA、Pocket rewriter 0.8B、Agate 4-step 等),总算力成本约 103 美元。文中公开全部提示词(GitHub 仓库 yvrjsharma/ml-intern-prompts),并总结了三条关键写法:让 Agent 先报基线再训练、先跑小规模冒烟测试、设定预算上限并要求超支前请示;例如 citrus 项目用 3,017 张标注图微调 Qwen3.5-2B,测试集准确率从基座 14.9% 提升到 52.8%,成本约 1.90 美元。
推荐理由:作者把 7 个提示词原样公开,预算上限、基线对比和冒烟测试的写法可以直接搬到自己的 Agent 训练项目里。
GitHub 仓库 kirillpistol/ai-voice-task-planner 更新了 PISTOL GENESIS 屏幕设计目录:俄语版含 27 个已验证布局,英语版通过续写新增 28 个布局,共 55 个。该项目是面向 Android 和 iOS 的 Kotlin Multiplatform 应用,本次更新仅涉及设计目录,应用代码未改动。
GitHub 用户 Malik-Usman17 开源了其完成 DataCamp "Associate AI Engineer for Developers" 课程体系的实践仓库,内容涵盖 Python 代码、LLM、OpenAI API、提示词工程、Hugging Face、LangChain、向量数据库、AI 智能体及真实场景 AI 应用。
GitHub 仓库 WenyuChiou/awesome-agentic-ai-zh 发布了一份中文 AI Agent 学习路线图,从 LLM、Prompt、API 等基础一路讲到可靠 Agent 系统的构建。路线分为 Stage 0–8 加 Stage 7.5 共 10 个学习站,并提供 Track A(用 Claude Code、Codex、OpenCode 等 CLI Agent 完成工作,约 8–10 周)和 Track B(从零构建 Agent,约 16–22 周)两条路径,涵盖 MCP、Skills、RAG、Memory、Eval、HITL 等内容。项目采用 MIT 授权,另附面向研究人员、开发者、教师等角色的指南。
Reddit 用户整理 llama.cpp Vulkan 后端的 76 款 GPU 基准数据(数据来自 Performance of llama.cpp with Vulkan #10879),结合 2026 年二手价格排出性价比 Top 20 与最不值 10 款。测试以 Llama 2 7B Q4_0 为基线,结果显示 Nvidia P102-100 约 $45 综合成本约 $0.1569/t/s 居首,AMD Instinct MI50 约 $120 可达 tg128 超过 100 t/s,宽位宽老卡和 HBM2 卡在解码性价比上明显优于窄位宽新卡;Tesla P40 同时出现在最佳与最差榜单中。
推荐理由:作者把 llama.cpp Vulkan 基准数据与 2026 二手价格结合算出性价比排名,还列出最不值榜单,可直接用于预算装机选卡。
Ed Donner 的 LLM Engineering 课程配套仓库,提供 8 周分模块的实操项目,最终在 Week 8 构建一个自主 Agentic AI 解决方案。入门部分指导安装 Ollama 并运行 llama3.2(或小机器用 llama3.2:1b),警告 70B 参数的 llama3.3 过大不适合家用电脑。课程可在 Cursor 中学习,付费 API 费用可选,全程花费控制在几美元内,也可用 Ollama、Gemini、OpenRouter 等免费替代。
Vladimir Kulanov 在 GitHub 发布 VeriFirst 框架,主张为 AI 工作流设计得让模型错误容易被发现且修复成本低。框架包含 Trust Map 任务分级、六字段 Intent Contract、生成与批判分离的 Make–Break 循环(默认迭代上限 3)、R0–R3 可逆性门控,以及以 Time-to-Verified 和逃逸错误率为核心指标,仓库附英文和俄文模板,采用 CC BY 4.0 许可。
推荐理由:作者把验证而非生产定位为 AI 工作的瓶颈,给出 Trust Map 分级、Intent Contract 和 Make–Break 循环等可直接套用的模板。
一位 Reddit r/LocalLLaMA 用户在 SillyTavern 中用 4060 16GB 显卡运行 EXL2/3 格式模型时,经 TabbyAPI 输出只有乱码、半词、语法错误和无法停止的循环。他平时用 GGUF,想验证 EXL2/3 在设定连贯性上是否优于 Q4 量化,现求助正确的本地运行方法。
课程仓库 oLLMpiques 2026 要求学生组队完成四项生物信息学任务:其中两项借助 LLM(如 Microsoft Copilot 或 ChatGPT),两项不用 LLM。任务包括精简科学摘要至 250 词、用 R/Python 分析 138 株大麻植株中 REM16 和 FT1 基因的表达数据(数据集含超过 34,000 个基因)并绘图、设计高通量性别鉴定方案,成果须推送到个人 GitHub 公开仓库并作为 Devoir 1 的起点。
Castmates 应用开发者分享在 iPhone 上全本地运行 3B 角色扮演微调模型(Impish Llama 3B,基于 Llama 3.2 3B 加 rank 16 LoRA,Q4_K_M 量化约 2.0 GB)的实测笔记,用 llama.cpp Metal 全层 offload,无需服务器可离线使用。关键结论:历史裁剪预算调至约 0.68 x n_ctx 后长对话事实召回从 25% 升到 75%,逐字历史明显优于有损摘要;BM25 检索会重注入过期事实,过滤窗口内仍含新版本的命中后下降 18.8pp;A18 芯片早期实测约 6 tok/s,4 GB 手机为最低门槛且限 4096 上下文。
推荐理由:作者用固定种子的对照实验给出小模型保持角色的可复用结论,历史裁剪比例和检索过滤做法可直接迁移。
GitHub 仓库 Esha-Rahim/ml-engineering-to-production-ai 记录一条从数学基础到生产级 AI 工程的学习路线,涵盖机器学习、PyTorch 深度学习、RAG、LoRA/PEFT、LLM 评估及 MLOps 等内容。仓库按 mathematics/、days/、projects/ 等目录组织学习记录与项目,目标是具备构建、评估、部署和监控 ML 系统的能力,但不承诺任何具体职位或资历。
一位 Character.AI 用户在 r/CharacterAI 求助:其 persona 使用男性名字和 HE/HIM 代词,但机器人会在同一段落中途随机改用 she/her,即使试用 Pip3 和 Pip2 仍未解决。发帖人询问社区有什么修复建议。
一位 Reddit 用户将 openai 的 gpt-oss-120b(4bit 量化、约 60GB)拆分到 6 台设备上组成的集群运行,包括 RTX 3060 mini PC、Mac mini、M3 MacBook 等,加载耗时约 11 分钟,5 台设备成功分到模型分片。次日手机掉线后集群自动把分片迁移到旧笔记本,零停机继续运行,展现了自愈能力。
博主“林小卫很行”在 GitHub 开设 openxiaoweibox 仓库,作为其系列文章的公开底稿库,内容涵盖 106 篇 Obsidian 系统教程(8 个学习阶段)与 57 篇 AI 工作流文章,主题包括 Agent、Skill、MCP、Claude Code 等。公众号做分发、GitHub 做沉淀与 GEO,内容采用 CC BY-NC-SA 4.0 许可。
GitHub 新仓库 Prompt_Engineering 提供一套为期 7 天的 prompt 工程实战课程,分 5 个阶段,从指令结构、zero-shot 与 few-shot、Chain-of-Thought,到提示词链式编排、Jinja2 模板,再到评测、prompt 注入防护与伦理安全。课程以 17 个 Jupyter Notebook 呈现,需 Python 3.8+ 和 LLM API key,采用 MIT 许可证开源。
GitHub 仓库 ai-engineer-vault 是一份面向 AI 工程师的实战手册,内容涵盖 RAG、Agent 设计、MCP 连接、evals 测试、token 成本控制和向量数据库等主题。手册共 12 章、50+ 实战模式,适用于 Windows 10/11(8 GB 内存、2 GB 磁盘空间),适合 AI 创始人、产品团队和工程师作为中立的设计参考。
这是一个 macOS 本地 RAG 管线教程:Ollama 运行预训练 Mistral 模型,Qdrant 存储 PDF 的嵌入向量,模型本身保持冻结,仅基于检索到的文档片段回答问题。教程要求 32 GB 内存的 Mac,涵盖安装 Ollama、用 Rust 从源码构建 Qdrant(默认监听端口 6333)、创建 Python 虚拟环境,并通过 API 把 RAG 服务暴露给局域网内的 Windows、iPad 或 iPhone 设备。
这是一个动手 RAG 工作坊仓库,通过 5 个 notebook 逐步搭建一个能回答三篇科学论文及自己 PDF 问题的聊天机器人,每个答案附带出处页码和支撑评分。课程涵盖用 Docling 读取 PDF、Embeddings 与 Qdrant 检索、带引用的回答等环节,面向能读写简短 Python 函数的研究者和从业者,无需 RAG 或 embeddings 基础。
Glazounov AI Lab 发布 ab-prompt-test 项目,用 n8n、OpenAI GPT-4o mini 和 Google Sheets 对比两个系统提示词方案。在 25 条测试请求上,带“仅用请求内信息、不足时追问”约束的 Prompt B 平均相关性达 4.68/5(Prompt A 为 3.08/5),幻觉回答比例从 48% 降至 4%。作者指出样本较小、仅测一款模型,结果需在更大规模数据上进一步验证。
ZHAW 人员在 tbilgin/Genomik_LLMs 项目中指导职业高中学生完成毕业论文,学习机器学习在生物医学中的应用,内容涵盖聚类、神经网络、深度学习与基因组学 LLM。项目提供多个 Google Colab Notebook,包括 Introduction to Huggingface for genomic LLMs 和 DNABert foundation model,并用机器学习算法识别癌症基因、对结直肠癌突变进行分类。
v1-multiagent-articles 是一个面向零编程基础读者的多智能体系统教程仓库,通过分步指南讲解 agent 框架、workflow、DAG、LLM 等概念,并给出基于 OpenAI、LangChain、AutoGPT 的 Python 示例代码。仓库要求 Python 3.8+、Windows 10 及至少 4 GB 内存,用 `pip install -r requirements.txt` 安装依赖后即可运行示例脚本。
开发者将 Microsoft 生成式 AI 入门课程改写为基于 Google Gemini API 的 22 课教程,每课附测验和练习,可全程在免费层运行,无需信用卡或云账号。课程覆盖聊天应用、语义搜索、RAG、function calling 和 agent,共约 30 小时。作者实测发现:SDK 已改用 client.interactions.create(),Gemini API 自 Gemini 1.5 Flash-001 弃用后不再支持 fine-tune,thinking tokens 会额外消耗(8 token 提示实际花费 351 token),免费层 Google Search grounding 有速率限制。
ssganiger 在 GitHub 发布 mac-llm-finetuning-lab 动手实验仓库,用 Hugging Face Transformers + TRL + PEFT/LoRA 在 M3 Pro Mac 上微调 Qwen2.5-0.5B-Instruct 做笔记分类。实测用 18 条训练数据、3 条保留测试,格式完全匹配从基座模型的 0/3 提升到挂载 LoRA 适配器后的 3/3,训练仅更新 0.1093% 的参数。仓库涵盖下载模型、查看 token 化、记录基线、SFTTrainer 训练与前后对比全流程,并计划后续加入基于 MLX 的 gpt-oss-20b 练习,目前尚未包含。
GitHub 上线的 llm-data-analysis-study 仓库用于累积提交基于 LLM 的数据分析实践作业,涵盖 Chapter 01~15。Chapter 01~02 以 Markdown 作答,Chapter 03~15 为含运行结果的 Jupyter Notebook,各章 images/ 目录仅保存核心运行证据。作为公开仓库,其不上传 API Key、Token、密码、个人信息及真实 .env 文件。
该仓库发布了 Anthropic 官方文档《The Complete Guide to Building Skills for Claude》的繁体中文翻译版,系统讲解如何为 Claude 构建 Skill——以文件夹形式打包的指令,用于教会 Claude 处理特定任务或工作流程。内容涵盖 Skill 基础知识与设计原则、MCP 整合、YAML frontmatter、使用 skill-creator 测试迭代、发布与分享模式,以及五大设计模式与疑难排解。专有名词如 Skill、MCP、YAML、token 及产品名 Claude Code 等均保留英文。
GitHub 仓库 agent-learning 提供 30 天 Agent 开发学习路径,从原生 LLM 调用、Function Calling 到 ReAct、工具注册表,最终目标是交付基于国产模型私有化部署的企业知识库智能客服 Agent。已完成的 day01 至 day03 采用“核心模块先手写、再用框架对照”原则,统一走 OpenAI 兼容接口,可切换 GLM、通义千问、DeepSeek、Moonshot 等模型。
mad-forg 在 GitHub 开源 AI-LLM-Learning-Roadmap 仓库,整理面向 AI / LLM 学习者的学习路线与资源,按科普、入门、论文、实战、工具/Skills 五个阶段组织。内容涵盖 Stanford CS25、吴恩达、李宏毅等课程,以及 LLMs-from-scratch、MiniMind、MicroGPT、7.39B 参数的 ZGCM-1 等实战项目,并收录 Archify、Superpowers 等 AI Coding 工具。仓库将持续更新并接受社区贡献。
Jackrong-llm-finetuning-guide 是一份面向新手的端到端 LLM 微调指南,覆盖 Windows 本机和 Google Colab 两种运行方式,适合内存有限的机器。它以 Llama 3、Qwen 2.5、DeepSeek 蒸馏模型等 Hugging Face 开源模型为例,讲解数据集准备、LoRA/PEFT 训练、导出与上传全流程,并使用 PyTorch 和 Unsloth 降低内存占用。
GitHub 仓库 carl90s/agent-teardown 把李博杰《深入理解 AI Agent:设计原理与工程实践》306 页内容拆成 12 个关卡、44 张概念卡、12 个模拟器和 6 个离线 Python 实验。全部离线运行,不需要联网、API key 或安装依赖(实验只需 Python 3.10 与 numpy),实验用 mockllm.py 假 LLM 并以 assert 自检结论;代码与文字讲解以 MIT 发布,不含原书 PDF 或原文抽取文本。
推荐理由:把一本书的 Agent 概念拆成可离线运行的模拟器和带 assert 自检的实验,学习路径可直接迁移到其他主题的自学设计。
/u/Prudent_Appearance71 在 2 张 64GB CMP 170HX 上用 EXL3 3.05bpw 让 GLM-5.3-Flash 目标权重完全驻留 HBM,配合 6bpw DFlash2 草稿模型和环形缓存跑通 384K 上下文,解码约 90 tok/s,配置和脚本已开源在 https://github.com/Flun/glm53-flash-cmp170hx-exl3。
推荐理由:作者在同一台机器上实测两套本地部署方案,把原始推理速度和真实智能体任务完成时间分开对比,思路对搭建类似配置有参考。
GitHub 开源项目 customer-support-ai-agent 提供一套可本地运行的客服 AI Agent 教程,支持订单查询、政策检索、退货提议与确认、人工转接及会话持久化,基于 Python 3.12 和 SQLite,demo 模式使用规则路由而非 LLM。项目通过 Docker、Redis 和 Celery 实现每 5 秒处理一次的持久化任务队列,并附小型评测套件;所有客户数据为合成数据,退货仅模拟执行。
GitHub 用户 a1mohamad 建立了一个基于 Sebastian Raschka《Build a Large Language Model (From Scratch)》的逐章学习仓库,用 PyTorch 从零实现 LLM 核心组件。内容覆盖张量、tokenization、attention、GPT 架构、预训练与微调。目前 PyTorch 附录已完成并注释,其余章节仍为规划状态。
GitHub 开源中文书籍 claude-code-book 上线,聚焦 Claude Code 与 AI 智能体系统,剖析 Agent Harness、消息循环、工具调用、状态管理与 MCP 等内部机制。全书共 15 章,从基础概念讲到如何从零构建自己的 Agent Harness,支持 PDF、EPUB、Markdown 和 HTML 等格式在线阅读或下载。
Flant 的 Александр Подмосковный 发布 hardfest-gpu-workshop 实战教程,从手动运行 Gemma 开始,测算 KV cache 内存、启用 prefix cache 与 CPU offload、chunked prefill 和 speculative decoding(MTP),再通过 AI Inference 平台复现同一配置作对比。
推荐理由:作者以自己的实验台手把手推导 KV cache 计算并逐项验证各优化机制,方法论清晰,可迁移到自己的推理部署调优。
UbiComp/ISWC 2026 将于 2026 年 10 月 12 日 14:00–17:30 在中国上海举办半天实操教程,指导参与者从最小脚手架构建可运行的 LLM 健康智能体,主要练习使用 GLOBEM 官方公开样本及合成数据。教程覆盖注册健康工具的 agent loop、忠实性与混杂因素评估、拒绝医疗建议与安全压力测试, prerequisites 为 Python 3.10–3.12 和 Jupyter,推荐本地 Ollama 模型或 OpenAI / Gemini API。材料以 MIT License 发布,GLOBEM 样本保留 Apache-2.0 声明。
GitHub 开源项目 BuildLLM 提供动手学习语言模型原理的引导式实验,用户可亲手训练三代模型,学习 tokenization、Transformer 架构和模型训练,多数人 10-15 小时即可完成。项目基于 Python 3.10 和 PyTorch,要求 Windows 系统、16GB 内存和至少 8GB 显存的 NVIDIA GPU,包含示例数据集,也可用自定义文本训练。