跳到正文
10月23日周五
  1. Reddit · r/LocalLLaMA61

    Reddit 帖子详解 RTX 消费卡 FP32 累加限制及各代解锁可行性

    /u/panchovix 在 r/LocalLLaMA 发帖解释 NVIDIA 消费级 RTX 显卡的 FP32 累加性能被故意砍半,用于区分专业卡与数据中心卡。受影响的任务包括 LoRA 微调、扩散模型生成、LLM prefill 和大批量推理,作者称 RTX 6000 PRO 比 5090 快约 70%;RTX 20/30 系解锁可能性高,40 系已有实测工具,50 系因加入熔丝较难解锁。

    推荐理由:作者逐代梳理了消费级 RTX 显卡 FP32 累加被砍半的影响范围,并给出各代解锁可行性与实测对比,可作选购参考。

  2. GitHub · 灵魂体仓库17

    Albert School LLM 课程实验仓库:llm-course-labs

    TangoAI-AlbertSchool-Data-Eng-Cloud 在 GitHub 发布 LLM Fundamentals、Prompting & API Integration 课程的配套 notebooks,每节课一个文件夹,含课堂演示和练习。课程覆盖 token 生成与提示词、API 与结构化输出、RAG、评估/成本/guardrails 四个主题。运行需 Python 3.12 与虚拟环境,支持 Anthropic 或 OpenRouter 的 API key,数据来自 tickets-v1.00 公开发布的 120 条标注支持工单,采用 CC BY-SA 4.0 许可。

  3. Reddit · r/LocalLLaMA67

    RTX 4080 32GB 改装卡(AD102)解锁后 FP16/BF16 GEMM 性能翻倍

    /u/Desperate-Sir-5088 在 r/LocalLLaMA 发布了解锁 RTX 4080 32GB 改装卡(AD102)算力的方法。基于 CMP 170HX 研究与此前 GPU 解锁工作,自定义 EFI 在 Windows 启动前应用改动并交还控制权,单卡在 Windows 11 下即可使用,无需 iGPU 或副卡。GEMM 测试中 FP16/BF16 搭配 FP32 累加从约 92 提升到 184 TFLOPS(N=4096 时分别 +99.71% 和 +100.73%),N=8192 时分别 +59.85% 和 +71.48%,FP32 基本不变。

    推荐理由:作者实测给出了修改前后的 GEMM 跑分对比,FP16/BF16 翻倍而 FP32 基本不变,数据具体可复现。

  4. GitHub · 去对齐工具与仓库20

    JDChi 开源 aliyun-acp:大模型方向 ACP 本地刷题题库

    GitHub 用户 JDChi 发布 aliyun-acp 仓库,提供大模型方向 ACP 认证的本地刷题网页与 Markdown 题库,题目按课程内容整理、非官方真题。含 C2—C4 各 75 题(单选 50、多选 25)及综合卷,80 分仅为练习参考线;双击 llm_acp/刷题.html 即可离线使用,错题自动进错题集,进度存于浏览器本地。

  5. Reddit · r/LocalLLaMA18

    2026 年 10 月最佳本地 AI 幻灯片生成方案讨论:HTML 幻灯片 vs python-pptx 生成 PPTX

    一位医疗行业用户因隐私限制不能用 Gemini、Claude、Codex,在 r/LocalLLaMA 询问 2026 年 10 月本地生成幻灯片的最佳方案,要求输入数据与生成过程全程本地。其列举两种做法:让本地 LLM 生成 HTML 幻灯片,布局与 JS 交互更灵活但分发麻烦;或用 python-pptx 生成 PPTX,传统直接但效果呆板。

  6. Reddit · r/LocalLLaMA32

    DeepSeek V4.1-1017 在 RDNA2/3 显卡加 DDR4 平台上的本地运行实测

    Reddit 用户在 3950x + 96GB DDR4 + RX 7900xtx 与 W6800(共 56GB 显存)上实测 DeepSeek V4.1-1017,使用约 350GB 的 iq2 量化权重加 Q6 ngrams。峰值 19t/s、平均解码 9t/s、prefill 约 150t/s,性能因 I/O 波动明显。作者认为其智能程度超过 iq4-xs 量化的 Qwen3.8-Flash-Next,但思考过多,仅适合聊天用途。

  7. Reddit · r/SillyTavernAI20

    《来自深渊》Lorebook 与 RPG 角色卡发布,含 240 条目

    Reddit 用户为 SillyTavern 制作并发布了《来自深渊》(Made in Abyss)的 Lorebook 与 RPG 角色卡,其中 Lorebook 包含 240 条精心编写的世界设定条目。资源已在 Chub.ai、Botbooru 提供在线查看,并可通过 MediaFire 下载 Lorebook 的 .JSON 文件与角色卡的 .PNG 文件。作者表示喜欢该作的世界观构建,但读到第 37 话后决定不再继续阅读原作。

  8. GitHub · 灵魂体仓库13

    Course-IA:基于 LangChain、LangGraph 与 Python 的 LLM、IAG 与 Agent 实战课程

    GitHub 上的 Course-IA 仓库提供一套基于 LangChain、LangGraph 和 Python 的 LLM、IAG 与 Agent 专业课程,只需安装 Python 即可学习。内容涵盖 LangChain 环境搭建、RAG、chromadb 向量数据库、LangGraph 及记忆与上下文管理,还包括集成 Wikipedia、Google Drive API 和 Gmail API 的智能体构建,并配套 streamlit 聊天机器人示例。

  9. Reddit · r/SillyTavernAI52

    Reddit 用户分享区分结构性 slop 与人性化填充词的角色扮演提示词规则

    Reddit 用户 /u/Probablynottoocool 分享一套减少 AI 角色扮演结构性 slop 的提示词规则,分三层处理:砍掉迂回说法、therapy speak、MCU 式斗嘴、完美对话等;礼貌、幽默、怀疑等只有在有动机时允许保留;填充词一个算人性化、多个算拖延。作者称规则部分借自 Realistic Frankenstein,并欢迎他人取用。

  10. Reddit · r/SillyTavernAI45

    SillyTavern 新手礼包(第 8 部分):场景卡使用指南

    这是一篇 SillyTavern 场景卡(scenario cards)教程,讲解如何用一张卡描述整个场景而非单个角色,让 LLM 同时扮演叙述者和 NPC。文章介绍场景卡的基本结构:用 Description 和 Scenario 字段交代设定与背景、为重要 NPC 写简明人设、用 First Message 开场,并区分场景卡与群聊的差异,同时给出可复用的旁白 System Prompt 示例。

  11. AIHOT · 精选57

    Anthropic 指南:何时把子智能体合并进主 Agent 循环

    Anthropic Applied AI 团队发布指南,讲解何时把 orchestrator 下的路由器、规划器和领域子智能体合并进单个主 Agent 循环。文中对比显示,带 skills 的单智能体在质量上常优于一提示全包和子智能体设计,且成本和延迟更低;一家客户改用单循环后运行时间约快 2x。

    推荐理由:Anthropic 给出了多智能体与单循环架构的选择判据,附质量与成本延迟对比,可迁移到自己的 Agent 设计。

10月22日周四
  1. GitHub · 3D 生成新仓库13

    HUMAN-TCI/PedMotion 项目网站上线 GitHub Pages

    GitHub 上线的 HUMAN-TCI/PedMotion 静态项目网站,展示 8 个骨架动画 GIF 和 7 个 SMPL 动画 GIF,支持移动端浏览、分类筛选、动作搜索和方法概览。部署无需 npm、Python 或构建流程,直接将文件上传至仓库并通过 Settings → Pages 发布即可。网站暂未包含开源许可证, roadside-pickup 的 SMPL 动画素材缺失,需手动补充。

  2. GitHub · prompt 工程新仓库28

    0xfnzero/AI-Code-Tutorials:Claude Code 与 OpenAI Codex 中英双语 AI 编程教程仓库

    GitHub 开源教程仓库 0xfnzero/AI-Code-Tutorials 提供中英双语的 Claude Code 与 OpenAI Codex 系统教程,共 16 课,覆盖安装配置、Web 项目实战、提示词优化、AI 子代理、MCP 服务器及 Codex CLI、App、IDE、Cloud 工作流。内容面向零基础用户到专业开发者,并自 2026-06-20 起建立持续更新机制,遵循 MIT 许可证。

  3. GitHub · prompt 工程新仓库23

    go-Mario 开源 A-No-Brainer-AI-Guide-for-Workers:面向普通劳动者的 AI 使用指南

    GitHub 上线开源教程 go-Mario/A-No-Brainer-AI-Guide-for-Workers,教不懂技术的上班族、学生、老师和小店主把 AI 用成第二双手。全站为单个 index.html,无需安装或服务器,浏览器打开即可搜索和复制提示词,涵盖基础原理、提问方法、主流工具、周报邮件等场景技巧及可跳过的高手进阶板块。内容采用 MIT License,可免费学习、修改和再分发。

  4. GitHub · 去对齐工具与仓库57

    LLM-Infrastructure 开源:用动画讲解 AI 回答生成的四课交互教程

    GitHub 用户 abidaziz1 开源了 LLM Infrastructure, Animated,一个包含四个动画课程的交互式网页项目,共 81 个场景,展示一次 AI 回答如何生成。课程覆盖从键盘到 GPU 的完整链路、Claude Code 背后的 Agent while 循环、Prompt Caching 的 KV cache 与缓存分层原理,以及 token 为何耗时 30 ms 的 prefill 与 decode 差异。项目用纯 HTML、CSS、JavaScript 和 SVG 构建,无框架无构建步骤,打开 index.html 即可运行,支持滑块交互、测验、深浅色主题、reduced-motion,并附带基于 Playwright 的 headless Chromium 场景测试。

    推荐理由:用纯 HTML/CSS/JS 做的四个动画课程,把一次 AI 请求从按键到 GPU 的完整链路拆成 81 个可交互场景,无需安装即可在浏览器打开。

  5. GitHub · 灵魂体仓库11

    Albert School 课程仓库 albert-marketplace-llm:为 Albert's Marketplace 构建 LLM 组件

    这是 Albert School 课程(MSA-DATI07-08)的小组作业仓库,为虚构欧洲美妆平台 Albert's Marketplace 逐步构建 LLM 组件,可选方向包括工单分类、评论结构化抽取或检索层。课程分 6 课递进,要求在 30 个测试用例上比较 3 种提示词策略,产出评估报告、prompt-injection 防护和每 1,000 次调用成本。每名学生使用各自带消费限额的 Anthropic API key,且密钥不得入库。

  6. GitHub · 去对齐工具与仓库21

    ITMO LLM 课程仓库 sanchous1000/llm-26

    ITMO 的 2026 年 LLM 课程在 GitHub 开源,仓库包含 lectures 目录下的讲义与辅助材料,以及 tasks 目录下的实验作业资源,每个实验对应独立目录并附 README.md 说明。实验包括 LLM 部署与实证分析、构建基于文档的 RAG 智能体等,学生成果以项目形式提交至 projects 目录,仓库同时给出 git 提交流程与项目结构及报告要求。

  7. Reddit · r/LocalLLaMA33

    用子智能体验证主智能体所有论断的实践:基于 GLM 5.3 Flash 与 Opencode v2 插件

    Reddit r/LocalLLaMA 用户分享一种工作流:让主智能体(GLM 5.3 Flash)生成论断后,由低推理强度的子智能体逐条验证,再汇总报告修正计划。作者在 Rust 的 Bevy 游戏引擎编码中测试,每个子智能体设 5 分钟超时,能稳定发现若干错误论断,并已将其做成 Opencode v2 插件。

  8. Reddit · r/LocalLLaMA62

    围绕 MoE 模型搭建预算型 AI 工作站:384 GB DDR4 配 32 GB VRAM 的平衡点

    Reddit 用户 /u/Numerous-Ad6217 分享了围绕 MoE 模型搭建预算型本地推理工作站的思路:用单张 32 GB VRAM 的 AMD Radeon AI PRO R9700 加廉价 DDR4 ECC RAM 存放闲置专家。作者对多个主流开源 MoE 模型在 Q4 和 Q8 量化下的活跃与闲置参数量作图,拟合出约 0.0565 的斜率,即每 1 GB 活跃 VRAM 权重对应约 18 GB 闲置 RAM 权重;据此 384 GB DDR4 配 32 GB VRAM 是其配置的平衡点,可给 KV cache 和运行时开销留出余量,而升到 512 GB RAM 会逼近 GPU 上限。作者提醒实际结果取决于模型架构、专家路由、缓存效率和推理后端。

    推荐理由:作者用主流开源 MoE 模型拟合出活跃与闲置权重约 1:18 的经验比例,可据此判断 RAM 与 VRAM 的加配时机。

  9. Reddit · r/LocalLLaMA29

    在 2000 欧元 PC 上跑通 748B DeepSeek-V4.1-Flash

    一位用户在不到 2000 欧元的二手 PC(RTX 3090 24GB、128GB DDR4、i9-9900X)上运行了 748B 参数的 DeepSeek-V4.1-Flash-1017,采用 1-bit 量化(Unsloth UD-IQ1_S GGUF,磁盘占用 233GB),通过 llama.cpp 实测速度 7.2 tok/s。110GB Engram 表留在 NVMe 上按需读取,上下文长度 16384;作者认为实用性有限,Qwen 模型在该配置下表现更好。

  10. Hugging Face Blog51

    Hugging Face 教程:用 NVIDIA Isaac Lab 3.0 训练 Microduck 步行策略并部署到真机

    Hugging Face 与 Pollen Robotics 发布教程,介绍在 NVIDIA Isaac Lab 3.0 中用 Newton 物理引擎训练开源双足机器人 Microduck 的步行策略,并导出 ONNX 部署到真机。训练使用 4096 个并行环境、MJWarp 求解器与 BAM 执行器建模,通过质量、摩擦、编码器偏移和齿轮间隙等域随机化实现 sim-to-real 迁移,多 GPU 配置下可达每秒 1.25M 步;策略接口为 61 维观测、14 维动作,可在 Microduck Arena 排行榜验证并部署到实体机器人。

  11. Hugging Face Blog43

    TorchNeuron 性能分析(第一部分):在 AWS Trainium 上进行系统级 profiling

    Hugging Face 发布 TorchNeuron 系列教程第一部分,讲解如何在 AWS Trainium 上用 torch.profiler 与 Neuron 系统级 profiling 系统分析推理性能。文章介绍通过 NeuronConfig、NeuronProfiler 配置捕获 DEVICE 与 RUNTIME 数据流,并用浏览器工具 Neuron Explorer 查看系统 trace 与设备时间线。教程以 RMSNorm 的三种实现(朴素 PyTorch 算子、torch.rms_norm()、torch.compile)为例对比,脚本可在 torch-neuronx examples 目录获取。

  12. Hugging Face Blog43

    TorchNeuron 性能分析(第一部分):在 AWS Trainium 上进行系统级 profiling

    Hugging Face 发布 TorchNeuron 系列教程第一部分,讲解如何在 AWS Trainium 上用 torch.profiler 与 Neuron 系统级 profiling 系统分析推理性能。文章介绍通过 NeuronConfig、NeuronProfiler 配置捕获 DEVICE 与 RUNTIME 数据流,并用浏览器工具 Neuron Explorer 查看系统 trace 与设备时间线。教程以 RMSNorm 的三种实现(朴素 PyTorch 算子、torch.rms_norm()、torch.compile)为例对比,脚本可在 torch-neuronx examples 目录获取。

  13. Reddit · r/CharacterAI21

    零基础用户解读 Character.AI 导出数据的字段含义

    一位 Reddit 用户快速整理了一份 Character.AI 导出数据字段的入门说明:chat_id 可用于搜索定位同一聊天的全部消息,raw_content 存放消息正文,create_time 记录发送时间,花括号内为单条消息内容,Unicode 转义序列如 \u00f9 代表特定字符。candidate_id 与 tti_image_rel_path 的用途作者也不清楚,仅猜测后者可能与头像有关。

10月21日周三
  1. GitHub · 3D 生成新仓库27

    MiniGPT LLM 训练流水线开源:从 Wikipedia 数据到文本生成的端到端实践

    开发者开源了一个概念验证项目 MiniGPT,在清洗后的英文 Wikipedia 子集上端到端训练小型 Transformer 语言模型,覆盖数据清洗、Byte-Level BPE 分词、训练、checkpoint 与文本生成全流程。模型默认配置为 n_embd=128、n_layer=4、nhead=4、block_size=1024,训练采用 AdamW(lr=3e-4) 和 0.1 验证集划分,自研部分包括断点续训、CSV 持久化日志与采样生成。项目还记录了在 NVIDIA Blackwell GPU 早期通过版本对齐解决驱动/CUDA/PyTorch 兼容问题的经验。

  2. GitHub · 3D 生成新仓库17

    Salesforce CLI 插件 @nervill/metadelta 0.25.0 发布,提供 13 组元数据管理命令

    Nerio Villalobos 发布的 Salesforce CLI 插件 @nervill/metadelta 0.25.0 提供 13 组命令,覆盖元数据变更查找、Git 分支增量清单生成、部署后校验、权限集提取与合并等场景。插件支持 Salesforce Core(.xml)与 Vlocity(.yaml)清单,可生成含删除项的 destructive 清单,并按目标 org 的 API 版本标记 package.xml。可通过 sf plugins install @nervill/metadelta 安装,要求 Salesforce CLI 2.102.6 及以上版本。

  3. Reddit · r/SillyTavernAI27

    Venti 项目第二期:在 SillyTavern 打造本地微调 RP 引擎的进展更新

    一位 SillyTavern 用户更新了打造本地 RP 引擎的进展。其提示词在 GPT 6.1 上效果良好,但本地测试中 Gemma 4 26B-A4B_Q6 关闭推理后速度即时;Codex 校准发现其与人工判断仅 13% 一致,需先训练再评测。作者还计划压缩 7000 条训练样本或改为链式输入输出再训练。

  4. GitHub · 去对齐工具与仓库19

    gary3207/LLM_Learning_Guide:从文本分类到 SFT、LoRA 与 QLoRA 部署的韩语 LLM 实战学习指南

    GitHub 上的韩语 LLM 学习指南,通过从文本分类、下一 token 预测到 Attention 与小型 Transformer 的实操代码讲解训练、保存、推理与评估流程。后期章节扩展到加载 SmolLM2-135M-Instruct 进行 SFT、rank4 LoRA 与 NF4 量化的 QLoRA,并覆盖 HTTP API 部署、吞吐与显存峰值测量及模型版本注册。

  5. GitHub · 3D 生成新仓库17

    LLM-From-Zero:从零理解 Transformer 大语言模型的循序渐进学习仓库

    GitHub 上线 LLM-From-Zero 学习仓库,分八个阶段讲解 Transformer 大语言模型从原始文本到文本生成的构建过程。当前仅提供理论文档,代码实现尚未上线。内容覆盖 tokenization、注意力机制、decoder-only 架构、训练与推理(含 Temperature、Top-K、Top-P 采样)等概念。