跳到正文
10月16日周五
  1. GitHub · 去对齐工具与仓库30

    ZCode 学习手册:面向日常电脑工作的中文互动教程发布

    mammger 发布 zcode-study 仓库,一套用原生 HTML/CSS/JavaScript 编写、适合 GitHub Pages 的 ZCode 中文互动教程。十三个主题约 81 分钟,按“原理→问题→功能→操作”组织,覆盖模型、上下文、Agent、Skill、插件、流水线等,首页功能地图还涵盖 Command、Memory、编辑历史等能力。所有交互为预设教学模拟,不调用真实模型,无需 API 密钥;推送 main 分支即可经 GitHub Actions 自动发布。

  2. GitHub · 去对齐工具与仓库18

    Azure 初级 AI 工程师实用手册:LLM 应用、RAG、Agent 与 OCR 所需服务指南

    Mahmoud Refaey 发布 72 页 A4 的 Azure 实用手册,面向入门一两年、常在 Azure portal 和旧教程中迷失的 AI 工程师,覆盖 Microsoft Foundry、Azure OpenAI、Foundry Agent Service、Document Intelligence、Azure AI Search、Blob Storage、PostgreSQL with pgvector、Container Apps 等服务,每项均说明用途、适用场景、portal 配置、Python 调用与计费方式,并附四种入门架构、学习路线图和快速参考。手册最后审校于 2026 年 10 月 13 日,各节均链接官方 Microsoft 文档。

  3. Reddit · r/LocalLLaMA18

    LocalLLaMA 讨论:48GB、64GB 或 96GB 内存能否跑好用的开发用开源权重模型

    Reddit r/LocalLLaMA 用户发帖询问有哪些开源权重模型可在 48GB、64GB 或 96GB 内存上运行开发任务,希望了解大致内存占用。发帖者称在 128GB 机器上可运行不错的本地模型,尤其配合前沿模型做规划调度,但此前讨论未涉及更低内存配置的可行下限。

  4. Hugging Face Blog71

    Black Forest Labs 发布 FLUX.3 Image Klein,首日支持 Diffusers

    Black Forest Labs 发布 FLUX.3 Image Klein,开放蒸馏版(16 步、无 CFG)和 base 版(50 步、CFG)两个权重,首日起即可在 Diffusers 中运行。单模型支持文生图、多参考图生图和 bounding box 布局控制,蒸馏版在 H100 上约 2 秒生成 1024×1024 图像,提供 fp8r 和 nvfp4 量化权重及 DreamBooth LoRA 训练脚本。

    推荐理由:官方教程给出两个开放权重的显存占用和 H100 实测生成耗时,还拆解了架构细节,方便评估部署成本。

10月15日周四
  1. GitHub · 灵魂体仓库25

    kappaexpress 的 LLM 应用入门课程 2026:用 FastAPI 与 OpenAI API 构建 RAG 应用

    kappaexpress 在 GitHub 发布的 LLM 应用入门课程仓库,共 13 讲,用 FastAPI 和 OpenAI API 教学生构建结合外部资料与数据库的 LLM 应用。第 1-8 讲为讲授与练习,第 9-13 讲为自主制作,仓库含 5 个 sample-app 完成版应用、各讲 Marp 格式幻灯片及挖空练习代码,通过 Fork 与 Codespaces 开展。

  2. GitHub · 灵魂体仓库12

    raihan1301/ai-llm-roadmap:34 周从 Salesforce 开发者转型 AI/LLM 工程师的学习路线图

    开发者 raihan1301 在 GitHub 开源了一份 34 周转型 AI/LLM 工程师的学习路线图,计划从 2026 年 7 月持续到 2027 年 3 月,目标是胜任年薪 CAD $130K 以上的相关岗位。路线涵盖 Python、OpenAI 与 Anthropic API、FastAPI、RAG、LangChain 与 LangGraph、AWS、Docker 及 AI 评测与安全,每周用独立 Git 分支和 pull request 推进,最终为自有平台 SmartOps 构建生产级 AI 微服务。

  3. GitHub · 去对齐工具与仓库31

    GitHub 开源 applied-pytorch-bootcamp:PyTorch 实战练习训练营

    GitHub 上的 applied-pytorch-bootcamp 项目提供一套动手式 PyTorch 练习,覆盖模型训练、计算机视觉、语言模型、强化学习、世界模型、多模态、具身 AI 与分布式训练。练习通过补全代码并运行检查来学习,不含现成答案,需 Python 3.12 及以上,早期练习 CPU 即可,较大练习建议 CUDA GPU,支持 uv 和 pip 安装。

  4. GitHub · 去对齐工具与仓库43

    llm-paper-reading/llm-tutorial:中文交互式大模型与机器学习教程站

    GitHub 上的 llm-tutorial 是一个中文交互式教程站,覆盖机器学习基础、深度学习、强化学习、RLHF/GRPO 等对齐内容与 PPO、DPO、Transformer、DeepSeek、Kimi、Qwen 等论文精读。教程结合直觉解释、公式推导、交互可视化和可运行 Python 代码,基于 Next.js 静态导出部署在 GitHub Pages,支持 GitHub 登录评论。

  5. Reddit · r/CharacterAI43

    Character.AI 传将关闭,用户用 OOC 提示词抢救角色定义

    Reddit 用户分享一套从 Character.AI 角色中导出原始定义的方法:配合特定 user persona、选用 pipsqueak 3 等较聪明的模型,发送 OOC 首条消息让 AI 以角色定义解释者身份输出 raw definitions,并保留 {{char}}、{{user}} 等变量与示例对话结构。作者提醒不要按 Continue,以免模型幻觉,应礼貌要求从截断处继续,并反复核对区分幻觉内容。

  6. Reddit · r/SillyTavernAI62

    SillyTavern 角色卡教程第7篇:开场白、示例消息与备选问候的写法

    Reddit 用户 /u/Prudent_Finance7405 在 r/SillyTavernAI 发布角色卡新手系列第7篇,讲解 First Message、Example Messages 和 Alternate Greetings 三个字段的用法。开场白应从角色视角书写、少替 {{user}} 决定言行,并用于确立叙事风格;示例消息建议选三四段展示角色不同侧面的短对话;备选问候可为同一张卡提供不同开局场景,但不能替代 Scenario 或 Lorebook。

    推荐理由:作者用同一角色卡的正反示例对比,说明开场白、示例消息和备选问候各自如何影响对话走向,方法可直接套用。

  7. Reddit · r/SillyTavernAI18

    Reddit 用户分享全本地 SillyTavern AI 部署方案,征求改进建议

    一位 Reddit 用户分享其运行两年的全本地 SillyTavern 方案:一台 9950x3d/64GB/5090 的 PC 在 Ubuntu 上用 Koboldcpp 跑 Glistening-Gem-31B-v2.1 6_K,GPU 全层加载、106496 上下文、Q8_0k 上下文量化;另一台 6700k/16GB/2080ti 机器用 SD Forge 跑 Anima 模型。后端在 SillyTavern 与 Marinara Engine 间切换,并通过 Tailscale 连接 iPad Mini,同时征求 TTS 推荐。

  8. Reddit · r/LocalLLaMA46

    Strata 性能微调实战:调参后解码速度提升 15%-20%

    Strata 部署较新,作者经大量测试分享多项微调参数:--pcie-frac 设为 0.2、--pool-workers 带来 +10% decode、--trim-stage-weights 提升 +8%、--pipeline-windows 设为 6 提升近 15%,双 RTX3060 下通过 "gpu": [1,0] 强制让 PCIe 快的 GPU 做推理再获 +15%。累计后 Qwen Flash Next IQ3_S 从 35 decode 峰值提升到空上下文 60 tps 平均代码生成,满上下文仍比基线快 15%-20%。

  9. GitHub · 灵魂体仓库26

    vvctort1/fine-tuning-llm:用 LoRA 微调 Qwen2.5-Coder-7B 做 Text-to-SQL

    该项目基于开源模型 Qwen2.5-Coder-7B(约 7.61B 参数,预训练超 5.5T tokens),用 LoRA 微调使其将企业业务术语翻译为 SQL 查询。LoRA 冻结原权重、仅训练约 0.25% 参数,最低需 20 GB VRAM。基线 Execution Accuracy 为 26.5%,训练 2 个 epoch(r=16)后提升,并配有 Gradio 界面支持上传 SQLite 数据库与聊天生成 SQL。

10月14日周三
  1. Reddit · r/LocalLLaMA30

    用二手件组装双 RTX 3090 本地 LLM 主机,为何速度提升不及预期?

    一位 Reddit 用户用二手硬件组装了双 RTX 3090(24GB)本地 LLM 主机,搭配 Ryzen 9 5950X 与 128GB DDR4 内存,运行 Ubuntu 24.04 和 llama.cpp。第二块 GPU 经 riser 接在 PCIe 3.0 x4,测试 Qwen3.6 35B A3B 的不同 GGUF 量化时发现:能装进单卡的模型加第二卡收益有限,长上下文下 prefill 明显变慢,尚未做受控 benchmark,正在排查 KV cache、内存带宽与 GPU 通信的影响。

  2. Reddit · r/LocalLLaMA41

    Discover AI:含 51 个动手实验的 AI 学习指南应用

    一款离线应用 Discover AI 提供 51 个动手实验,分 6 组讲解 AI 原理,涵盖神经元、梯度下降、attention、RAG、agents、微调、量化与服务部署等主题。attention 实验在应用内运行 1.37M 参数的小型 transformer,训练实验可随滑块实时训练字符级模型;应用离线可用,无账号、无遥测。

  3. GitHub · 3D 生成新仓库25

    char-rnn-handwriting:用字符级 RNN 生成手写风格文字的开源项目

    GitHub 开源项目 char-rnn-handwriting 用 PyTorch 构建字符级 LSTM RNN,从文本文件学习后生成同风格新文本,并将每个字符替换为 English Handwritten Characters 数据集中对应的手写图片(a-z、A-Z、0-9 各 55 张),随机变化大小、倾斜和位置。项目提供 Streamlit 网页应用,支持 AI 生成或用户输入文字并导出 PNG,可免费部署到 Streamlit Community Cloud 或 Hugging Face Spaces。

  4. Reddit · r/LocalLLaMA38

    本地部署 Qwen3.8FN 智能体比云端 API 更便宜:实测成本对比

    一位开发者在 NVIDIA Tesla P40(24 GB)上本地运行 Qwen3.8FN Q4 智能体 Drax,10 轮对话含缓存 electricity 成本为 C$0.0068-C$0.014,低于除 GPT-6 Luna 和 Claude Haiku 5.5 之外的云模型,谷段电价下为全场最低。该智能体支持约 130k 上下文、prompt cache 利用率超 90%,可整天运行至任务完成,虽然速度慢但完成质量更高。

  5. Reddit · r/LocalLLaMA71

    M5 Ultra 256GB 搭配 M3 Ultra 512GB 做预填充/解码分离,GLM-5.3-Flash 首token延迟从约40秒降到约18.5秒

    Reddit 用户 /u/Usual_Tackle5892 不等 512GB 版 M5 Ultra,改用 M5 Ultra 256GB 做 prefill、M3 Ultra 512GB 经 Thunderbolt 5 RDMA 接收缓存做 decode。17.5k token 提示下,GLM-5.3-Flash 4-bit 总耗时从约 40 秒降到约 18.5 秒,缓存交接仅 38 ms 传输 358 MB,M3 上解码 36.8 tok/s 且输出与 M5 一致。作者用 MLX JACCL 后端与 mlx-vlm 0.7.6 搭建,并逐组件分析出 M5 预填充近半时间花在无法用矩阵单元的内核上,限制是 prefill 节点需装下完整模型,仅适用于 256GB 内可容纳的模型。

    推荐理由:作者用真实负载实测拆分前后数据,并逐组件剖析预填充耗时构成,方法可迁移到自己的多机推理调优。

  6. Reddit · r/LocalLLaMA22

    本地 LLM 硬件升级求助:二手 3090、2x 改装 3080 20GB 还是全新 32GB R9700

    一位 PhD 学生在 r/LocalLLaMA 征求 GPU 升级建议,现用 RTX 3060 12GB 跑 Qwen3 14B,想升级到 27B 级模型做智能体编排、会议转录和 Home Assistant 等本地服务。三个选项:二手 3090(€1100–1400,24GB)、2x 改装 3080 20GB(约 €650–900,共 40GB)、全新 R9700(约 €2000,32GB),并询问量化等级对 tool-calling 及 ROCm 在 Proxmox 下的实际表现。

  7. GitHub · 灵魂体仓库22

    supply-chain-ai-for-beginners:面向初学者的供应链 AI 课程

    GitHub 上的 supply-chain-ai-for-beginners 是一门引导式课程,共 19 节课,讲解 AI 在供应链中的应用,从机器学习基础到预测、库存控制、延迟预测等实际用例,再到模型部署。课程面向无编程经验者,可在 Windows 10/11 电脑(8 GB 内存、5 GB 硬盘空间)上学习,使用 Python 3.10 及以上版本和 Jupyter Notebook,仅阅读材料时用浏览器即可。

  8. GitHub · 3D 生成新仓库29

    Expensify/App 仓库开发指南:本地环境搭建、测试与性能监控

    Expensify/App 仓库文档说明如何通过 nvm、watchman 和 npm 搭建本地开发环境,用 npm run web 等命令在 Web、iOS、Android 平台运行应用。测试方面采用 Jest 运行单元测试、Reassure 监控性能回归、CodeCov 跟踪代码覆盖率。另提供可选的 Claude Code /agent-device 技能,可驱动 iOS 和 Android 模拟器进行交互测试与性能分析。

  9. Reddit · r/LocalLLaMA42

    PSA:3090 FE 跑大语言模型会导致 VRAM 过热

    3090 Founders Edition 的 VRAM 散热较差,实测在 Nvidia 默认风扇/功耗曲线下,token 生成开始数秒内 VRAM 温度即达 112C,超过 96C 的持续运行额定值。测试用 qwen3.8-27b 5.1bpw 并开启 MTP(三 token/前向、70% 接受率),结论是将功耗压到 270W 并手动设 100% 风扇可防过热,代价是吞吐量损失 30%;undervolting 无效,因 Nvidia 只在 300W 以上才应用 clock offset。

10月13日周二
  1. Reddit · r/LocalLLaMA54

    伦敦全科医生实测单张 RTX 4090 跑实时临床助手 OpenConsult 的响应提速

    伦敦一位全科医生开发了全本地运行的临床助手 OpenConsult,在单张 RTX 4090 上实测如何把自动提问的响应压到 3 秒内。MedGemma 27B (Q4_K_M) 每轮需 18 秒,Gemma 4 26B-A4B QAT 降至 5 秒且临床评分相当;vLLM 比.Ollama 和 llama.cpp 快至 3.5 秒,但占用 94% 显存;把一轮的两次调用合并发送后 vLLM 降到 2.8 秒。模型输出约 170 tokens/秒,另测了 Qwen3.6-35B-A3B、Nemotron 3.5 Lightning 和 gpt-oss-20b,Gemma 4 仍最快。项目以 AGPL-3.0 开源,作者在征求进一步提速与 CPU offload 建议。

  2. GitHub · 灵魂体仓库31

    edumgt/docker-class:Docker 实战课程仓库

    GitHub 上的 edumgt/docker-class 仓库提供覆盖 01~28 章的 Docker 学习课程,内容从基础命令到 DevSecOps(Jenkins、GitLab CE、SonarQube、Nexus、Drone CI)与本地部署 ERP 方案。课程还包含 AI 环境搭建:Ollama LLM 服务器(RTX 3080)、Qdrant/pgvector/Chroma/Weaviate 向量数据库、Open WebUI 与 RAG 栈,以及 gemma3:2b 的 sLLM 部署。完成全部课程建议 CPU 12 核以上、RAM 32 GB 以上、NVMe SSD 1 TB 以上。

  3. GitHub · 灵魂体仓库22

    freeCodeCamp 教程:用 Python 与 dlt 构建现代化数据管道

    freeCodeCamp 发布教程,讲解如何用 Python 和 AI 辅助工具构建可扩展数据管道。课程先由 Alexey Grigoriev 演示从零构建 ETL 管道的传统难点,再由 Adrian Brudaru 介绍开源库 dlt,涵盖 API 数据抽取与规范化、schema 演进、增量加载、SCD2、用 Crontab、GitHub Actions、Airflow、Dagster 部署,以及用 LLM 生成管道和文档。

  4. AIHOT · 精选42

    用 Claude Opus 5.5、Blender、Unreal Engine 和 Meshy 构建游戏的七步教程

    教程讲解用 Claude Opus 5.5 配合 Claude Code、Blender、Unreal Engine 5 和 Meshy 七步构建游戏:通过 MCP 连接各工具,Meshy 生成道具和角色,Blender 清理放置,Unreal 负责光照物理与游戏本体,Opus 在同一对话中调度。首个完整构建约花 4 小时、消耗约 19% 的每周 Max plan 用量,之后因素材复用会明显加快。

  5. Reddit · r/LocalLLaMA18

    构建阿尔及利亚语音 Agent:如何微调适配阿尔及利亚 Darija 方言的语音模型

    一位开发者计划为阿尔及利亚构建电话语音 Agent,因现有模型对阿尔及利亚 Darija 支持不佳,想用真实通话录音微调自己的语音转文字和文字转语音模型。其寻求四方面指导:选择可商用许可的模型、微调 vs LoRA 及所需硬件、数据量与格式要求,以及如何处理东西部、首都和南部不同口音及法语、柏柏尔语混杂,是否需要按地区均衡数据。

  6. GitHub · 灵魂体仓库22

    AI_Human:面向非开发者的 17 周 AI Engineer 实战课程仓库

    GitHub 仓库 AI_Human 提供一套 17 周、100 天的实战课程,带非专业者和初学者从 Python 基础、ML/DL 一直学到 LLM、提示词工程、LangChain 和 RAG pipeline。系统每个工作日早上 8:00(KST)自动运行,按当前学习章节匹配关键词并筛选相关 AI 新闻,生成 daily/.md 后推送至 Slack 和 Telegram,每周五产出周报。内容采用 CC BY-NC 4.0(curriculum 为 MIT)授权。