跳到正文
  1. GitHub · prompt 工程新仓库58

    ai-coding-playbook 仓库发布 AI 编码方法论教程,含 14 个可装进 Claude Code 的 skill

    作者 DJtx001 发布 ai-coding-playbook 仓库,主打让 AI 编码产出可以被验证的完整方法论,不绑定模型或编辑器。内容包括 6 章 HTML 主教程、一页纸速查手册,以及来自 obra/superpowers 的 14 个 skill 完整副本和离线安装脚本,可复制到 ~/.claude/skills/ 使用。核心主张包括 TDD 闸门、要求出示命令加输出加退出码的验收方式、按爆炸半径路由任务复杂度、会话卫生和用子代理独立核对 SPEC。

    推荐理由:给出完整的可验证工作流方法论,含两道验收闸门和 14 个 skill 的安装与出处,任何模型和编辑器可直接套用。

  1. GitHub · 去对齐工具与仓库67

    zazuss 开源 Jetson Orin 上源码编译 MLC-LLM 并跑通 Qwen3-1.7B 的完整复现记录

    作者发布 GitHub 仓库 zazuss/mlc-llm-on-jetson,记录在 Jetson Orin Nano 8GB(L4T R39.2.1 / JetPack 7)上从源码编译 MLC-LLM 并运行 Qwen3-1.7B q4f16_1 的完整流程。因该平台无预编译 aarch64 CUDA wheel,四条分发路线均不可用,只能源码编译。实测空 prompt 下单流 decode 53.7 tok/s,比 llama.cpp 同模型快 32%;但 8K 上下文时 decode 掉到 14.96 tok/s,32K 直接 OOM,归因于 MLC 缺少 KV cache 量化(每 token 固定 112 KB)及 TVM 通用 GEMM 模板的低效 attention kernel。

    推荐理由:作者给出从源码编译到跑分的完整记录,并用 tegrastats 数据把长上下文掉速归因到反量化 ALU 瓶颈。

  1. GitHub · 去对齐工具与仓库57

    LLM-Infrastructure 开源:用动画讲解 AI 回答生成的四课交互教程

    GitHub 用户 abidaziz1 开源了 LLM Infrastructure, Animated,一个包含四个动画课程的交互式网页项目,共 81 个场景,展示一次 AI 回答如何生成。课程覆盖从键盘到 GPU 的完整链路、Claude Code 背后的 Agent while 循环、Prompt Caching 的 KV cache 与缓存分层原理,以及 token 为何耗时 30 ms 的 prefill 与 decode 差异。项目用纯 HTML、CSS、JavaScript 和 SVG 构建,无框架无构建步骤,打开 index.html 即可运行,支持滑块交互、测验、深浅色主题、reduced-motion,并附带基于 Playwright 的 headless Chromium 场景测试。

    推荐理由:用纯 HTML/CSS/JS 做的四个动画课程,把一次 AI 请求从按键到 GPU 的完整链路拆成 81 个可交互场景,无需安装即可在浏览器打开。

  1. GitHub · 灵魂体仓库58

    ultimate-prompt-engineering-playbook 收录 114 个交互式提示词工程笔记本

    作者在 GitHub 发布 ultimate-prompt-engineering-playbook,收录 114 个交互式 Jupyter 笔记本,每个对应一种提示词工程技术,覆盖 CoT、Few-Shot、RAG、输出控制、安全攻防、多模态等 13 大类,支持 ChatGPT、Claude、Gemini 等模型。每个笔记本可直接在 Google Colab 运行,附真实案例、失败案例分析和部分基准数据,项目采用 MIT 许可证。

    推荐理由:114 个可在 Colab 直接运行的提示词技术笔记本,按技术逐个覆盖并附失败案例和多模型对比,适合系统学习。

  1. GitHub · 去对齐工具与仓库58

    tmp_llm_dit 仓库用原生 PyTorch 缩小复现最新 LLM 与 DiT 核心块

    GitHub 用户 HisameOgasahara 开源 tmp_llm_dit 仓库,将 DeepSeek-V4、Kimi-K3、Qwen3.6/3.8、GLM-5.3、MiniMax、Qwen-Image-2.1、Cosmos3 等最新开放权重模型的核心块用原生 PyTorch 缩小实现,在小任务上训练后对比 attention map、表征与 ablation。所有块先通过与原版代码和输出等价的验证再用于实验,提供 Colab 笔记本、模型级前向与训练行为验证(梯度、学习轨迹、float64 数值微分、路由器 bias 更新)以及 00_run_all 一键批量运行并导出结果 zip。

    推荐理由:仓库把 DeepSeek-V4、Qwen3.8 等最新模型的核心块用原生 PyTorch 缩小复现,且每个实现都通过与原版输出等价验证后才用于实验。

  1. GitHub · 灵魂体仓库55

    AgentLab:浏览器中运行的中英双语 AI 智能体交互式课程

    GitHub 用户 renrenmimi 发布 AgentLab,一个中英双语、纯浏览器运行的 AI 智能体交互课程,共六组十四个节点,覆盖模型输出、系统提示词、成本随轮数平方增长、上下文溢出、工具选择错误、prompt injection、权限、重试与幂等、以及用十个保存任务衡量改进。默认使用录制数据模拟响应,无需 API key;内容与页面分别由 verify.mjs(24 项检查)和真实浏览器套件(123 项断言、三档宽度、覆盖率 89.7%–91.6%)自动验证。作者还复盘了三个检查器教训,包括旧的选择器清单只测到 43 个表面却报满分、三处已发布对比度缺陷漏检,并改为遍历渲染树并自断言覆盖下限。

    推荐理由:这个开源交互教程把智能体的成本、上下文、工具误用等坑做成可操作演示,并详细记录了对比度检查器失灵的教训,方法可迁移到类似项目。

  1. GitHub · 灵魂体仓库59

    Datawhale 发布 diy-llm 中文版 CS336 课程,16 章配 6 个动手作业

    Datawhale 团队基于 Stanford CS336 (Spring 2026) 推出中文本土化课程 diy-llm,在线阅读地址为 https://datawhalechina.github.io/diy-llm/。课程共 16 章,覆盖分词器、MoE、GPU 高性能编程、分布式训练、Scaling Laws、数据工程、RLVR、多模态等内容,配套 6 个作业(手搓大模型、Triton 实现 FlashAttention-2、数据处理、GRPO 对齐、模型评估等),并加入 Qwen、DeepSeek 等国产模型案例。文档提供中英双语与 PDF 下载,采用 CC BY-NC-SA 4.0 许可。

    推荐理由:斯坦福 CS336 的中文本土化课程,16 章配 6 个作业,覆盖从 tokenizer 到 RLVR 的完整 LLM 构建链条,适合想系统上手的学习者。

  2. GitHub · 灵魂体仓库61

    VeriFirst:Vladimir Kulanov 发布以验证为先的 AI 工作框架

    Vladimir Kulanov 在 GitHub 发布 VeriFirst 框架,主张为 AI 工作流设计得让模型错误容易被发现且修复成本低。框架包含 Trust Map 任务分级、六字段 Intent Contract、生成与批判分离的 Make–Break 循环(默认迭代上限 3)、R0–R3 可逆性门控,以及以 Time-to-Verified 和逃逸错误率为核心指标,仓库附英文和俄文模板,采用 CC BY 4.0 许可。

    推荐理由:作者把验证而非生产定位为 AI 工作的瓶颈,给出 Trust Map 分级、Intent Contract 和 Make–Break 循环等可直接套用的模板。

  1. GitHub · 去对齐工具与仓库60

    carl90s/agent-teardown 将《深入理解 AI Agent》拆成 12 关卡与 6 个离线实验

    GitHub 仓库 carl90s/agent-teardown 把李博杰《深入理解 AI Agent:设计原理与工程实践》306 页内容拆成 12 个关卡、44 张概念卡、12 个模拟器和 6 个离线 Python 实验。全部离线运行,不需要联网、API key 或安装依赖(实验只需 Python 3.10 与 numpy),实验用 mockllm.py 假 LLM 并以 assert 自检结论;代码与文字讲解以 MIT 发布,不含原书 PDF 或原文抽取文本。

    推荐理由:把一本书的 Agent 概念拆成可离线运行的模拟器和带 assert 自检的实验,学习路径可直接迁移到其他主题的自学设计。

  2. Reddit · r/LocalLLaMA67

    双 CMP 170HX 64GB 本地跑 GLM-5.3-Flash 384K 上下文约 90 tok/s,并对比 Qwen3.8

    /u/Prudent_Appearance71 在 2 张 64GB CMP 170HX 上用 EXL3 3.05bpw 让 GLM-5.3-Flash 目标权重完全驻留 HBM,配合 6bpw DFlash2 草稿模型和环形缓存跑通 384K 上下文,解码约 90 tok/s,配置和脚本已开源在 https://github.com/Flun/glm53-flash-cmp170hx-exl3。

    推荐理由:作者在同一台机器上实测两套本地部署方案,把原始推理速度和真实智能体任务完成时间分开对比,思路对搭建类似配置有参考。

  3. GitHub · 灵魂体仓库59

    hardfest-gpu-workshop:Gemma 与 Qwen 的 GPU 推理优化实战教程

    Flant 的 Александр Подмосковный 发布 hardfest-gpu-workshop 实战教程,从手动运行 Gemma 开始,测算 KV cache 内存、启用 prefix cache 与 CPU offload、chunked prefill 和 speculative decoding(MTP),再通过 AI Inference 平台复现同一配置作对比。

    推荐理由:作者以自己的实验台手把手推导 KV cache 计算并逐项验证各优化机制,方法论清晰,可迁移到自己的推理部署调优。

  1. GitHub · 去对齐工具与仓库57

    tmall-genie-llm 开源:把天猫精灵语音问答代理到 OpenAI 兼容大模型 API

    believening 开源 tmall-genie-llm 项目,将天猫精灵的语音问答代理到 OpenAI 兼容的大模型 API,默认使用 OpenCode Zen 免费模型(如 deepseek-v4-flash-free)。部署在 Claw Cloud Run 日本区节点,同时解决 Zen 免费模型不对大陆 IP 开放和阿里技能云需公网 HTTPS 回调两个问题;联网搜索采用三段式设计,搜过的问题总延迟约 3-6 秒,月成本约 $2-3 在免费额度内。

    推荐理由:原文给出了从镜像构建到天猫精灵技能配置的完整部署步骤和免费额度成本,方法可直接照做复现。

  2. GitHub · 灵魂体仓库65

    alicexl/mini-agent:用 6 个 demo 拆解 Agent 工程底层机制

    alicexl 在 GitHub 开源 mini-agent 项目,用 6 个递进的最简 demo 拆解 Claude Code、Cursor、Devin 这类自动干活工具的底层机制,核心公式为 Agent 效果 = LLM 能力 × Agent 工程。demo1 为 ReAct 循环 base,demo2-6 分别正交叠加记忆、工具扩展、规划、多 Agent 与约束五条轴;每个 demo 附讲稿、约 400-720 行可直接运行的 agent.py 和 README,默认通过智谱 BigModel 的 Anthropic 兼容网关调用 glm-5.2 模型,换官方 API 只需改 BASE_URL 和 MODEL。

    推荐理由:用 6 个递进可运行的 demo 拆解 ReAct、记忆、工具、规划、多 Agent 与约束各轴,适合想从零看懂 Agent 工程底层机制的读者。

  3. GitHub · 去对齐工具与仓库68

    在 macOS Recovery 模式跑 LLM 推理,为 64 GB Mac 多挤出约 2.3 GB GPU 内存

    作者 Dmitriy-Romanov 发布 recoveryos-llm 仓库,介绍在 macOS Recovery 最小系统里启动 LLM 服务器的方法:64 GB M1 Max 上 GPU 可用内存从正常系统的 55.4 GB 提升到 57.6 GB,多出约 2.3 GB。方法是用 sysctl iogpu.wired_limit_mb=59000 提高 wired limit,配合 MLX 系服务器(SUSHI)运行 176B MoE 量化模型 Qwen3.8-Flash-Next-Sushi-3bpw(约 49 GB 权重),并给出挂载磁盘、启动服务器、Wi-Fi 连接的完整命令。

    推荐理由:作者实测在 Recovery 模式下启动 LLM 服务器可多出约 2.3 GB GPU 内存,并给出具体命令和余量经验值,方法可直接复用。

  4. GitHub · 去对齐工具与仓库58

    LLM_Hub_Linear_Algebra:面向 AI 工程师的 12 套线性代数交互讲义上线

    BrendanJamesLynskey 在 GitHub 发布十二套线性代数演示讲义,覆盖向量、矩阵、SVD 到张量代数,并将每个概念落到 Transformer 具体组件,包括 MLP 上下投影、注意力作为随机矩阵乘、LoRA/MLA 低秩技巧、RoPE 的 2D 旋转、FlashAttention 的分块 GEMM 以及 einsum 与大模型并行。

    推荐理由:十二套交互式讲义把线性代数逐条落到 Transformer 具体组件上,从 LoRA 到 FlashAttention 都有对应可视化,可按需单章查阅。

  1. Reddit · r/LocalLLaMA71

    Reddit 用户开源 Sentinel:用代码护栏而非提示词构建本地第二大脑

    Reddit 用户 /u/dimensionof0 开源了 the-sentinel(MIT 协议),一个在代码层而非提示词层设置护栏的本地 LLM 知识库系统,防止模型自引输出导致知识库被污染。

    推荐理由:作者用实测数据对比了提示词与代码护栏的效果,并给出 6 GB 显存下的具体运行方案,方法可直接迁移到类似知识库项目。

  2. Reddit · r/LocalLLaMA69

    RTX 4060 Ti 8 GB 上调优 llama.cpp,推理速度达默认配置 2 到 9 倍

    /u/ExxploreCraft 在 RTX 4060 Ti 8 GB 加 64 GB 内存的 PC 上,用 Claude (Opus 5.5) 逐项调优 llama.cpp 配置,推理速度达默认设置的 2 到 9 倍。

    推荐理由:作者逐项调整配置并给出实测数据,MoE 专家放内存、显示移到 iGPU、原生 Linux 等做法可直接迁移到类似 8 GB 卡环境。

  3. Reddit · r/LocalLLaMA69

    在 RX 580 8GB 上用 Vulkan 跑 6 个 LLM 加 SD 3.5 和 Whisper 并附实测数据

    作者在 RX 580 8GB 上用 Mesa RADV 的 Vulkan 路线绕开已放弃 Polaris 的 ROCm,通过 OpenAI 兼容路由在单卡上运行 qwen2.5-coder 1.5B/7B。

    推荐理由:作者用 Vulkan 绕开 ROCm 对 Polaris 的放弃,在 RX 580 8GB 上跑通多模型并给出完整实测数据,方法可迁移到同类老卡。

  4. GitHub · 灵魂体仓库63

    realtime-voice-deep-dive:从零构建实时语音Agent的离线模拟实验仓库

    alexvervloet 发布 realtime-voice-deep-dive 仓库,用完全离线、无需 API key 的确定性模拟器讲解实时语音Agent的构建。

    推荐理由:用离线模拟器拆解实时语音Agent的帧流、状态机、barge-in与延迟预算,并给出pipeline与speech-to-speech的选型对比。

  5. GitHub · 去对齐工具与仓库63

    multimodal-deep-dive:从零上手多模态 LLM 的实战教学仓库

    alexvervloet 发布 multimodal-deep-dive 仓库,通过 11 个分节示例从零讲解多模态 LLM 的实际工作方式,涵盖图像输入的 content-block 结构、截图转结构化 JSON、多图对比、语音转文字与文字转语音、图像生成、多模态 RAG 和原生 PDF 输入。

    推荐理由:仓库用可运行的分节示例拆解多模态请求的 content-block 结构与图像 token 成本,并给出 OpenAI 与 Claude 的能力差异对照。