跳到正文
#教程/实践
10月18日周日
  1. Reddit · r/LocalLLaMA33

    网友用 5070 Ti + 3070 组建 Chimera 双卡本地 LLM 方案

    一位 Reddit 用户将 $750 购入的 5070 Ti 与闲置的 3070 通过 PCIe riser 组成混合双卡，用 Ollama/llama.cpp 拆分运行 Qwen 3.6 35B-A3B（MoE，约 3B 激活参数），在 16k 上下文下达到约 82 tok/s。目前约 23% 的层溢出到系统内存，3070 尚有约 4GB 显存未利用，作者计划调整拆分比例并加装外置 enclosure。

  2. Reddit · r/LocalLLaMA55

    网友用单张 RX 9060 XT 16GB 本地跑 Qwen 3.8 27B 262k 上下文

    Reddit 用户 /u/Maglcite 分享了一套低成本本地 LLM 部署：仅用一张 RX 9060 XT 16GB 和 24GB DDR5，以 unsloth IQ4XS 量化加 q4 KV cache（keys 用 q8）、MTP 与 ngram 预测，跑 Qwen 3.8 27B 达 262k 上下文。实测 20k 上下文生成 42.7 tps、预填充 658 tps，200k 时为 35/500 tps；使用 achyudh 的 llama.cpp fork，并让 Grok bot 通过 SSH 修复了缺失 PCIe atomics 的 bug。

  4. Reddit · r/SillyTavernAI23

    玩家自制 isekai 文字角色扮演游戏「The Dusk」，可与 Claude 游玩

    Reddit 用户 Le_mec_gentil 发布了自己制作的 isekai 题材文字角色扮演游戏「The Dusk」，可在 Claude 上运行，作者未测试其他 AI。游戏的世界结构、规则（感知威胁、经济、法律系统、秘密、clocks）和校对均由作者完成，文件借助包括 Claude 在内的多个 AI 编写与排版，作者花约一周半检查修正。游戏为法语编写，需让 Claude 切换语言，玩家将文件放入 AI 即可游玩。

  5. Reddit · r/LocalLLaMA62

    Strata 0.1.45 之前旧版本默认贪心解码，作者实测路由跳过对 4-bit 量化的质量影响

    /u/Distinct-Pie2389 在把 Strata 从 IQ2_XS 迁移到 Unsloth UD-IQ4_XS 时发现，0.1.45 之前的版本在请求未设 temperature 且 run config 无 sampling 块时会贪心解码导致模型循环，0.1.45 起改为使用模型卡默认值（thinking: temp 1.0, top_p 0.95, top_k 20）。

    推荐理由：作者给出自己 A/B 实测的解码速度与 KL 数据，并附上可直接抄进 run config 的采样与路由参数。

  6. Reddit · r/LocalLLaMA63

    4090 单卡加内存到 64GB 后将 Qwen3.8-Flash-Next 从 IQ2_XS 升级到 UD-IQ4_XS

    Reddit 用户 /u/Distinct-Pie2389 把内存从 32GB 升到 64GB DDR5-5800 后，在 RTX 4090 24GB 单卡上用 Strata 0.1.45 将 Qwen3.8-Flash-Next 从 IQ2_XS 换成 UD-IQ4_XS，40GiB 专家权重驻留内存、0 次磁盘读取，262K 原生上下文下解码 87-98 t/s，136K 针测试通过，专家缓存命中率约 91%。对比 IQ2_XS 的 140-160 t/s 牺牲了速度，但按 Strata 量化表 UD-IQ4_XS 与 Q8_0 顶部 token 一致率达 88.9%；作者还发现 STRATA_ROUTE_TAIL_SKIP=7 在内存预算模式下使对 Q8_0 的 KL 翻倍，已设为 0。

    推荐理由：作者给出从 2-bit 升到 4-bit 后的完整量化档位、显存内存分配和实测速度对比，可迁移到自己的本地部署配置。

  7. GitHub · prompt 工程新仓库30

    Base44 vibe coding 实战教程：零基础到上线的完整课程指南

    一个面向零基础用户的 Base44 实战课程仓库上线，通过构建真实应用（如小型服务企业的 lead tracker）教授从零到发布的完整流程，无需代码或数据库经验。课程含 7 节主课与 Developer Path 加餐、20+ 生产级 prompt、3 套完整 starter kit、快速参考表和故障排查指南。据仓库 2026 年 7 月 27 日的计划说明，Free 档支持最多 5 个应用、每月 25 message credits 和 100 integration credits，新私密应用需付费计划。

  8. Reddit · r/SillyTavernAI49

    AllTalk + XTTS 在 RTX 50 系列（Linux）上的修复实测：无需改代码，DeepSpeed 可选

    在 Linux 上，AllTalk 安装器自带的 PyTorch 2.2.1 不支持 RTX 50 系列显卡，作者在 Fedora 44、RTX 5060 Ti 16 GB 环境下验证：在 AllTalk 环境内改装 torch 2.7.1 cu128 即可修复，无需改任何代码。可选安装 DeepSpeed 后，同段文本生成时间从约 10.4 秒降至约 8.5 秒，提速约 18%。文中还提醒不要重跑 atsetup.sh 的 requirements 选项，否则会回退修复。

  9. GitHub · 灵魂体仓库26

    AI-ML-Engineering-Roadmap：开源 AI/ML 工程与研究学习路线图

    GitHub 开源项目 AI-ML-Engineering-Roadmap 提供 AI/ML 工程与科研两条独立学习路线，基于 Astro 构建。两条路线各含 16 个渐进级别、进度追踪、capstone 项目和 100 天加速学习轨道，覆盖 LLM、RAG、智能体、评估、安全与可信 AI 等主题。项目采用 MIT License 开源，静态输出可部署到 Vercel、Netlify、Cloudflare Pages 或 GitHub Pages。

10月17日周六
  2. Reddit · r/LocalLLaMA44

    Reddit 网友实测：Qwen 3.8 Flash 搭配完整 FP8 n-gram 表（PLE）提升生成质量

    Reddit r/LocalLLaMA 用户发现，Qwen 3.8 Flash 常见 GGUF 量化中 PLE（SSD 上的 n-gram 表）被重度量化，影响性能。其用 ple_fp8_pack.py 打包 FP8 PLE（bf16 sidecar 仅 llama.cpp 支持，Strata 需 FP8），在 iq3_s 量化下明显减少低级错误且不损失速度，仅需约 47GB 额外磁盘空间。

  3. GitHub · 灵魂体仓库58

    ultimate-prompt-engineering-playbook 收录 114 个交互式提示词工程笔记本

    作者在 GitHub 发布 ultimate-prompt-engineering-playbook，收录 114 个交互式 Jupyter 笔记本，每个对应一种提示词工程技术，覆盖 CoT、Few-Shot、RAG、输出控制、安全攻防、多模态等 13 大类，支持 ChatGPT、Claude、Gemini 等模型。每个笔记本可直接在 Google Colab 运行，附真实案例、失败案例分析和部分基准数据，项目采用 MIT 许可证。

    推荐理由：114 个可在 Colab 直接运行的提示词技术笔记本，按技术逐个覆盖并附失败案例和多模型对比，适合系统学习。

  6. Reddit · r/LocalLLaMA42

    Qwen3 14B 评测模型不比 8B 强：一处提示词修改让正确评分从 3/14 升到 10/14

    一位 LocalLLaMA 用户在 Ollama 本地 agent 环境中测试发现，Qwen3 14B 作为 judge 模型并不比 qwen3:8b 更准，还因超出 3060 VRAM 慢约 3 倍。失败主因是 judge 把 coder 仅提出而未执行的命令也扣分；在提示词中说明这一区别后，正确评分从 3/14 提升到 10/14。作者认为结构比模型规模更重要，但样本较小。

  9. Reddit · r/LocalLLaMA56

    Qwen 3.6 27B 本地十条实用玩法分享：从自建应用到给 Agent 加记忆

    Reddit 用户 GrungeWerX 在 r/LocalLLaMA 分享 Qwen 3.6 27B 的十条本地实用玩法，称基于四个多月使用经验整理，并推荐搭配 llama.cpp。做法包括让模型自建应用和聊天前端、创建 ReAct 循环与 MCP 工具、用子智能体扩展上下文、注入元数据实现时间感知和上下文超限时自动换备份模型，以及启动时加载历史会话摘要作为记忆。

  10. GitHub · 灵魂体仓库23

    ArdaS2012/llm-training-exercises：基于 marimo 的 LLM 课程配套练习仓库

    GitHub 上的 llm-training-exercises 仓库为 LLM 课程提供基于 marimo 的配套练习，覆盖分词、注意力头、因果掩码与采样、next-token loss，以及 Day 2 的提示词工程、Mini-RAG 和评估模块。每个练习块设计为 15 分钟结对任务，仅需浏览器和 uv 即可本地运行，无需 API key、GPU 或 Docker，Day 2 提示词练习会从 Hugging Face 下载小型本地模型且提示词不发送给模型提供商。

  12. Reddit · r/LocalLLaMA30

    Qwen 27B 实测：牺牲上下文长度换取更高量化精度，利弊分析

    一位 LocalLLaMA 用户实测 Qwen 27B 模型，将 Unsloth IQ4_XS（96K 上下文、KV-F16）换成 UDQ4KS（75K 上下文、KV-Q8）后，模型质量提升使草稿错误减少，同一 Pac-Man HTML 游戏生成测试从 8 小时缩短到 6 小时以内。结论是 GPU 显存不足时，牺牲上下文换取更高量化精度反而更省时间。

  14. Reddit · r/CharacterAI22

    Character.AI Lorebook 导出教程：不确定时期的数据备份方案

    一位用户分享导出 Character.AI Lorebook 的方法：展开所有条目后在 Windows 用 Ctrl+S、Android 用三点菜单下载保存为单页 MHT 文件，并提醒注意检查是否有条目漏展开。作者还自制工具将 MHT 转成含条目名和内容的 CSV，方便日后在新站点重建，需要的用户可私信索取。

10月16日周五
  3. GitHub · 去对齐工具与仓库42

    mo-ri-ch 开源 build-an-llm-from-scratch：从零构建小型 LLM 的交互式课程

    GitHub 上的 build-an-llm-from-scratch 项目提供交互式课程，从一列数字开始逐步构建一个小型语言模型，每课以模型答不上的问题收尾、下一课解答。课程面向零 AI 基础的初学者，只需基础 Python 和 PyTorch，无需 GPU 或微积分；前 4 课（Tensors、文本转数字、预测下一个词、模型学习）已上线，共规划 10 课，涵盖 Embeddings、Attention 和 Transformer block。代码可在 Google Colab 或本地运行，最终模型是在 Grimm's Fairy Tales 上训练的小型 transformer，可在浏览器中运行。

  4. GitHub · 灵魂体仓库26

    LiHao-MS 的 llm-book：一份大语言模型中文开源书籍仓库

    LiHao-MS 在 GitHub 上维护的 llm-book 仓库，是一份用 Quarto 编写的大语言模型中文书籍项目。内容涵盖 Transformer 架构、注意力机制、预训练与 Scaling、RLHF 与对齐、强化学习基础、RAG、多模态模型、推理系统和分布式训练等章节，并包含示例、测试与自动化工作流。 against幻觉自查：章节名均来自文件列表；未添加额外数字或版本。

  5. GitHub · 去对齐工具与仓库58

    tmp_llm_dit 仓库用原生 PyTorch 缩小复现最新 LLM 与 DiT 核心块

    GitHub 用户 HisameOgasahara 开源 tmp_llm_dit 仓库，将 DeepSeek-V4、Kimi-K3、Qwen3.6/3.8、GLM-5.3、MiniMax、Qwen-Image-2.1、Cosmos3 等最新开放权重模型的核心块用原生 PyTorch 缩小实现，在小任务上训练后对比 attention map、表征与 ablation。所有块先通过与原版代码和输出等价的验证再用于实验，提供 Colab 笔记本、模型级前向与训练行为验证（梯度、学习轨迹、float64 数值微分、路由器 bias 更新）以及 00_run_all 一键批量运行并导出结果 zip。

    推荐理由：仓库把 DeepSeek-V4、Qwen3.8 等最新模型的核心块用原生 PyTorch 缩小复现，且每个实现都通过与原版输出等价验证后才用于实验。

  6. GitHub · 灵魂体仓库24

    zeroaihub/Java-Agent-Study：Java 开发者 30 天转型 AI Agent 工程师实战项目

    zeroaihub 在 GitHub 开源 Java-Agent-Study 项目，为 Java 开发者提供 30 天 AI Agent 工程师转型路线，基于 Java 21、Spring Boot 4.1.0 与 Spring AI 2.0.0。前 10 天模块已完成，涵盖 LLM API、Function Calling、Memory、RAG、Workflow、MCP、Multi-Agent、Browser Agent 与 Planning Agent，最终目标是构建可商业化的 ZeroHub AI Agent Platform。项目采用 MIT License，各 Day 模块可独立编译运行并附完整学习文档。

  7. GitHub · 去对齐工具与仓库42

    Poliester2005/llmfinetunning：用 LoRA 微调 Qwen2.5 做葡萄牙语情感分类

    该 GitHub 项目在本地 GPU 上用 LoRA 微调 Qwen2.5-0.5B/1.5B-Instruct，对葡萄牙语文本做负面、中性、正面三分类。数据集为 Cardiff NLP 的 XLM-T 葡语推文（训练 1.839 条、验证 324 条、测试 870 条），实验涵盖学习率、LoRA rank 与 epoch 数，以准确率和 F1 macro 对比基线与微调模型，并提供 Gradio 前端。

  9. GitHub · 去对齐工具与仓库30

    ZCode 学习手册：面向日常电脑工作的中文互动教程发布

    mammger 发布 zcode-study 仓库，一套用原生 HTML/CSS/JavaScript 编写、适合 GitHub Pages 的 ZCode 中文互动教程。十三个主题约 81 分钟，按“原理→问题→功能→操作”组织，覆盖模型、上下文、Agent、Skill、插件、流水线等，首页功能地图还涵盖 Command、Memory、编辑历史等能力。所有交互为预设教学模拟，不调用真实模型，无需 API 密钥；推送 main 分支即可经 GitHub Actions 自动发布。

  10. GitHub · 去对齐工具与仓库18

    Azure 初级 AI 工程师实用手册：LLM 应用、RAG、Agent 与 OCR 所需服务指南

    Mahmoud Refaey 发布 72 页 A4 的 Azure 实用手册，面向入门一两年、常在 Azure portal 和旧教程中迷失的 AI 工程师，覆盖 Microsoft Foundry、Azure OpenAI、Foundry Agent Service、Document Intelligence、Azure AI Search、Blob Storage、PostgreSQL with pgvector、Container Apps 等服务，每项均说明用途、适用场景、portal 配置、Python 调用与计费方式，并附四种入门架构、学习路线图和快速参考。手册最后审校于 2026 年 10 月 13 日，各节均链接官方 Microsoft 文档。

  11. Reddit · r/LocalLLaMA18

    LocalLLaMA 讨论：48GB、64GB 或 96GB 内存能否跑好用的开发用开源权重模型

    Reddit r/LocalLLaMA 用户发帖询问有哪些开源权重模型可在 48GB、64GB 或 96GB 内存上运行开发任务，希望了解大致内存占用。发帖者称在 128GB 机器上可运行不错的本地模型，尤其配合前沿模型做规划调度，但此前讨论未涉及更低内存配置的可行下限。

  12. Hugging Face Blog71

    Black Forest Labs 发布 FLUX.3 Image Klein，首日支持 Diffusers

    Black Forest Labs 发布 FLUX.3 Image Klein，开放蒸馏版（16 步、无 CFG）和 base 版（50 步、CFG）两个权重，首日起即可在 Diffusers 中运行。单模型支持文生图、多参考图生图和 bounding box 布局控制，蒸馏版在 H100 上约 2 秒生成 1024×1024 图像，提供 fp8r 和 nvfp4 量化权重及 DreamBooth LoRA 训练脚本。

    推荐理由：官方教程给出两个开放权重的显存占用和 H100 实测生成耗时，还拆解了架构细节，方便评估部署成本。

10月15日周四
  1. GitHub · 灵魂体仓库25

    kappaexpress 的 LLM 应用入门课程 2026：用 FastAPI 与 OpenAI API 构建 RAG 应用

    kappaexpress 在 GitHub 发布的 LLM 应用入门课程仓库，共 13 讲，用 FastAPI 和 OpenAI API 教学生构建结合外部资料与数据库的 LLM 应用。第 1-8 讲为讲授与练习，第 9-13 讲为自主制作，仓库含 5 个 sample-app 完成版应用、各讲 Marp 格式幻灯片及挖空练习代码，通过 Fork 与 Codespaces 开展。

  2. GitHub · 灵魂体仓库12

    raihan1301/ai-llm-roadmap：34 周从 Salesforce 开发者转型 AI/LLM 工程师的学习路线图

    开发者 raihan1301 在 GitHub 开源了一份 34 周转型 AI/LLM 工程师的学习路线图，计划从 2026 年 7 月持续到 2027 年 3 月，目标是胜任年薪 CAD $130K 以上的相关岗位。路线涵盖 Python、OpenAI 与 Anthropic API、FastAPI、RAG、LangChain 与 LangGraph、AWS、Docker 及 AI 评测与安全，每周用独立 Git 分支和 pull request 推进，最终为自有平台 SmartOps 构建生产级 AI 微服务。

  3. GitHub · 去对齐工具与仓库31

    GitHub 开源 applied-pytorch-bootcamp：PyTorch 实战练习训练营

    GitHub 上的 applied-pytorch-bootcamp 项目提供一套动手式 PyTorch 练习，覆盖模型训练、计算机视觉、语言模型、强化学习、世界模型、多模态、具身 AI 与分布式训练。练习通过补全代码并运行检查来学习，不含现成答案，需 Python 3.12 及以上，早期练习 CPU 即可，较大练习建议 CUDA GPU，支持 uv 和 pip 安装。

  4. GitHub · 去对齐工具与仓库43

    llm-paper-reading/llm-tutorial：中文交互式大模型与机器学习教程站

    GitHub 上的 llm-tutorial 是一个中文交互式教程站，覆盖机器学习基础、深度学习、强化学习、RLHF/GRPO 等对齐内容与 PPO、DPO、Transformer、DeepSeek、Kimi、Qwen 等论文精读。教程结合直觉解释、公式推导、交互可视化和可运行 Python 代码，基于 Next.js 静态导出部署在 GitHub Pages，支持 GitHub 登录评论。