跳到正文
只看教程
10月7日周三
  3. GitHub · 去对齐工具与仓库44

    Transformers From Scratch：从第一性原理拆解现代 LLM 架构与后训练的开源指南

    GitHub 开源项目 Transformers From Scratch 将现代大语言模型拆解为 8 大模块、23 个原子组件，覆盖从 Word2Vec 静态嵌入到 GRPO、DeepSeek-R1、OpenAI o1 等推理强化学习。每个组件按“为什么、定义与架构、数学推导、真实 NLP 案例”四部分讲解，并附完整架构依赖图，内容涉及 RoPE、KV-Cache、RMSNorm、SwiGLU、DPO 等技术。

  5. Reddit · r/LocalLLaMA60

    Qwen 3.8 27B 在 16GB RTX 5080 上用 NInfer 跑出约 96t/s 解码、110k 上下文

    /u/Kernoriordan 在 16GB RTX 5080 上用 NInfer v1.5（Ubuntu 24.04 经 WSL2）运行 Qwen 3.8 27B，分配 110,592 上下文，编码任务实测中位解码 96.45t/s（最低 84.6、最高 131.7），中位首 token 时间 1.4 秒。

    推荐理由：作者给出 32 次真实编码请求的解码速度、TTFT 和显存占用数据，可复现的启动参数对 16GB 显卡本地部署有直接参考。

  6. GitHub · 去对齐工具与仓库58

    LLM_Hub_Linear_Algebra：面向 AI 工程师的 12 套线性代数交互讲义上线

    BrendanJamesLynskey 在 GitHub 发布十二套线性代数演示讲义，覆盖向量、矩阵、SVD 到张量代数，并将每个概念落到 Transformer 具体组件，包括 MLP 上下投影、注意力作为随机矩阵乘、LoRA/MLA 低秩技巧、RoPE 的 2D 旋转、FlashAttention 的分块 GEMM 以及 einsum 与大模型并行。

    推荐理由：十二套交互式讲义把线性代数逐条落到 Transformer 具体组件上，从 LoRA 到 FlashAttention 都有对应可视化，可按需单章查阅。

  7. Reddit · r/LocalLLaMA27

    Reddit 用户 jjusko20 征集需求：为哪些模型制作新的 GGUF 动态量化版本

    Reddit r/LocalLLaMA 用户 jjusko20 表示将在训练 alice 的 SFT 运行间隙，为社区票选的模型制作 GGUF 动态量化版本（如 Q5 K XL），按不同 tensor 类型的影响进行量化。他称不会达到 unsloth 水平，但可做出质量不错的版本，也接受微调、论文实现等其他需求，以提升求职曝光度。

10月6日周二
  5. Reddit · r/LocalLLaMA71

    Reddit 用户开源 Sentinel：用代码护栏而非提示词构建本地第二大脑

    Reddit 用户 /u/dimensionof0 开源了 the-sentinel（MIT 协议），一个在代码层而非提示词层设置护栏的本地 LLM 知识库系统，防止模型自引输出导致知识库被污染。

    推荐理由：作者用实测数据对比了提示词与代码护栏的效果，并给出 6 GB 显存下的具体运行方案，方法可直接迁移到类似知识库项目。

  6. GitHub · 去对齐工具与仓库26

    ratishjain12 的 ai-engineering-notes：公开学习 AI 工程的笔记仓库

    GitHub 用户 ratishjain12 开源了 ai-engineering-notes 仓库，逐个主题记录 AI 工程学习笔记，无固定大纲。目前已覆盖 Attention（Q、K、V、softmax、因果与多头注意力）、KV Cache（PagedAttention、GQA、MQA）和 Speculative Decoding（草稿模型提议、目标模型一次验证）三个主题。

  8. Reddit · r/LocalLLaMA70

    9 条可放进 AGENTS.md 的思考纪律规则实测：664 次运行最多减少 29% 思考量

    Reddit 用户 /u/PilgrimofHaqq2 发布 9 条可加入 AGENTS.md、CLAUDE.md 或系统提示词的思考纪律规则，在 4 个模型上共 664 次运行测试，任务零损失，最多减少 29% 思考量。

    推荐理由：作者用 664 次运行和盲测脚本验证 9 条规则，给出各模型思考量变化和被无证据要求回退时的表现差异，方法可复用。

  14. GitHub · 去对齐工具与仓库18

    jason3e7/ai-101：聪明使用 AI 的完整指南知识库

    GitHub 上的 jason3e7/ai-101 是一份从零开始、面向实际使用的 AI 知识库，涵盖基础概念、进阶观念、AI 工具、本地 LLM（Ollama、vLLM、Gemma）、个人笔记与外部观点等分类，共 100 多篇笔记。每篇笔记强调清楚概念与快速上手，并提供按目标选择的学习路径，同时包含给 Claude 用的 Agent Skills 可重复工作流程。

  16. GitHub · 灵魂体仓库36

    LLM Agent 工程实践指南：架构、工具、安全与生产部署

    构建生产级 LLM Agent 需将模型与指令、工具、状态、控制与可观测性分层设计，而非仅靠提示词。文章强调从具体业务问题出发定义 Agent 职责，用结构化输出对接 API 与数据库，将退款等确定性业务规则与模型推理分离，并针对临时故障、权限失败等不同错误类型设计工具失败处理策略。

  18. Reddit · r/LocalLLaMA69

    RTX 4060 Ti 8 GB 上调优 llama.cpp，推理速度达默认配置 2 到 9 倍

    /u/ExxploreCraft 在 RTX 4060 Ti 8 GB 加 64 GB 内存的 PC 上，用 Claude (Opus 5.5) 逐项调优 llama.cpp 配置，推理速度达默认设置的 2 到 9 倍。

    推荐理由：作者逐项调整配置并给出实测数据，MoE 专家放内存、显示移到 iGPU、原生 Linux 等做法可直接迁移到类似 8 GB 卡环境。

  22. Reddit · r/LocalLLaMA59

    在 llama.cpp 上超频 DDR5 提升 MoE 模型 prefill 与 decode 速度

    作者在 AMD 7950X（4x 双通道 DDR5-5600，128GB）上把内存从 3600MHz 超到 4800MHz，带宽提升 36%，在 Intel B70（32GB）的 llama.cpp 定制 SYCL 后端上跑放不进显存的 MoE 模型获得小幅提升：PP 约增 10%、TG 约增 5%，且上下文越深收益越大，pp2048 @ d8192 提升 14.0%。

    推荐理由：作者给出了 DDR5 超频前后各档上下文的 PP/TG 实测数据，读者可据此估算自己 MoE 本地部署能从内存超频拿到多少收益。

  23. GitHub · 去对齐工具与仓库57

    jev-cookbook：把 Jev 判定器接入 AI 助手的实战手册

    作者把小型判定器 Jev 接入自己的 AI 助手并使用一个多月，开源了含接入指南、判定点清单、影子期评测方法与踩坑集的实战手册（https://github.com/zhaoyanan-pixe/jev-cookbook）。手册总结 6 条原则，如失败必须 fail-open、先影子后放权、硬红线不进判定流程，并给出各任务族可靠度从 90%+ 到 15% 不等的实测观察，强调效果依场景而定。

    推荐理由：作者用一个月实战总结出先影子后放权的接入方法，并给出不同任务族可靠度差异的实测数据，方法可迁移到自己的 AI 助手。

  32. GitHub · prompt 工程新仓库25

    TryWorld2026 开源 guochan-ai-tutorial：13 章国产 AI 工具零基础教程

    试界TryWorld 在 GitHub 发布国产 AI 教程仓库 guochan-ai-tutorial（当前 v3.0，2026 年 7 月更新），面向零基础用户，全程使用 DeepSeek、Kimi、豆包、即梦、可灵、剪映、Trae 等国产工具，无需翻墙和编程基础。教程共 13 章、30 万+ 字，含 50+ 场景化提示词模板、11 个实战项目、8 种副业变现方案和 80+ 工具列表。