跳到正文
今天10月26日周一9 条
  1. GitHub · 去对齐工具与仓库29

    juliopez/ia-local-integracion:本地 LLM 设计、集成与自动化学习指南

    GitHub 仓库 juliopez/ia-local-integracion 提供一套本地大语言模型(LLM)解决方案的理论与实践指南,使用 Ollama、Open WebUI、Python 和 Google Workspace,以 Windows 为优先路线。内容含六个理论章节与六个实验,并提供五天(每天 120 分钟)强化路线,覆盖安装、System Prompt 设计、Forms/Sheets/Apps Script 集成、Gmail 发送及优化评估;contexto/ 目录内容整体加入查询,不采用 RAG。

  2. Reddit · r/LocalLLaMA28

    如何用确定性 C# ValidationResolver 消除 Qwen2.5-Coder-14B 的 UI 与工作流幻觉

    一位开发者在单张 24GB NVIDIA A10 上本地运行 qwen2.5-coder:14b,实时生成企业表单且无需手写 HTML 或 SQL。模型被锁定在严格 DSL 中,每次输出必须通过确定性 C# ValidationResolver 校验后才能渲染到画布。原始输出与修复后的输出会自动评分并导出为 SFT/DPO .jsonl 数据对,供后续微调使用。

  3. Reddit · r/SillyTavernAI12

    SillyTavern 新手求助:16GB 内存 + RTX 3060 12GB 能跑哪些免费本地模型

    一位刚接触 SillyTavern 的新手发帖求指导:不想付费订阅 AI,想知道有没有免费 API 模型可接入 SillyTavern,以及自己的配置(RAM 16GB、RTX 3060 12GB、i5-12400F)能跑什么本地模型。他还担心运行本地 AI 会损耗电脑,希望有经验的用户分享免费模型的搭建经验。

  4. Reddit · r/LocalLLaMA32

    本地部署的 Qwen 3.8 27B 自选项目一次生成成功,Reddit 网友提出改进意见

    一位用户让本地运行的 Qwen 3.8 27B(在一台二手游戏 PC 上)自选项目并一次生成完成,模型成功产出了北美 IQ 热力图的交互式网站。作者将截图发到 Reddit 后,网友指出方法不够严谨、配色过时、五大湖轮廓缺失等问题。作者强调重点是本地模型能一次性完成整个项目。

  5. GitHub · prompt 工程新仓库58

    ai-coding-playbook 仓库发布 AI 编码方法论教程,含 14 个可装进 Claude Code 的 skill

    作者 DJtx001 发布 ai-coding-playbook 仓库,主打让 AI 编码产出可以被验证的完整方法论,不绑定模型或编辑器。内容包括 6 章 HTML 主教程、一页纸速查手册,以及来自 obra/superpowers 的 14 个 skill 完整副本和离线安装脚本,可复制到 ~/.claude/skills/ 使用。核心主张包括 TDD 闸门、要求出示命令加输出加退出码的验收方式、按爆炸半径路由任务复杂度、会话卫生和用子代理独立核对 SPEC。

    推荐理由:给出完整的可验证工作流方法论,含两道验收闸门和 14 个 skill 的安装与出处,任何模型和编辑器可直接套用。

10月25日周日
  1. GitHub · 灵魂体仓库26

    ai-learning-roadmap:面向应用 AI 工程师的开源学习路线图

    GitHub 开源项目 ai-learning-roadmap 是一份带引用来源的 AI 工程学习路线图,基于 Next.js 16.4、React 19 和 TypeScript 5 构建的静态站点,托管在 GitHub Pages。内容分 14 个部分,覆盖 LLM 基础、提示词工程、RAG、智能体、推理到 AI 应用架构,每部分提供技术版、通俗版和孟加拉语三种讲解,并附十个可视化互动学习资源。每个主题支持构建时 Zod 4 校验和浏览器内 MiniSearch 搜索。

  2. GitHub · 3D 生成新仓库18

    LLM 能力动手实践:多模态、评测、公平性与安全示例仓库

    GitHub 仓库 amarprajapati1618/Hands-on---Multi-model-LLM-and-LLM 提供 LLM 能力实践示例,涵盖 tokenization、BPE 与文本生成采样,用开源语言模型做摘要和问答,并用小型多模态 LLM 实现视觉问答。内容还包括 benchmark 指标及其局限、模型幻觉与证据溯源、公平性评测,以及一个安全的模拟 agent 策略门控。

  3. GitHub · 去对齐工具与仓库15

    Vision-LLM 融合视听多模系统课程(a4527/Vision-LLM-202035324)课程大纲与评分规则

    这是 NVIDIA Jetson Orin 边缘设备上的 Physical AI 实践课程大纲,2026/10/10 至 2026/11/8 在京畿道城南市分堂的汉字 AX LAB 授课,共 10 次课。课程在本地环境实现视觉与 LLM(基于 Gemma 的轻量大语言模型)融合的视听多模系统,不依赖云端。评分含出勤 10%、实作 10%、作业 10%、笔试 30%、项目 40%,共 3 个项目,作业与项目须提交至 GitHub Repository 并附 README.md。

  4. Reddit · r/LocalLLaMA63

    零基础用户用 Claude Code 搭建 Strix Halo 本地 LLM 工作站,Qwen3.8-Flash-Next 180B 跑到 46-53 tok/s

    一位从未写过代码的 Reddit 用户在 r/LocalLLaMA 记录了用 Claude Code 兼任顾问、系统管理员和导师,七周内搭起一台约 3,450 美元的 Strix Halo 迷你主机(Ryzen AI Max+ 395,128 GB 统一内存,2 TB NVMe)的全过程。最终 Qwen3.8-Flash-Next 180B-A6B 写入 46-53 tok/s、prompt 处理约 771 tok/s,Qwen3.6-35B-A3B 达 76.5 tok/s,推理栈完全离线运行,夜间由编码 Agent 和浏览器 QA Agent 无人值守开发替代一款 40 年老程序的原型。

    推荐理由:零基础作者用 Claude Code 当系统管理员从零搭起本地推理机,给出完整硬件选型、内核坑和逐项优化前后数据,可迁移到类似自建场景。

  5. GitHub · 去对齐工具与仓库67

    zazuss 开源 Jetson Orin 上源码编译 MLC-LLM 并跑通 Qwen3-1.7B 的完整复现记录

    作者发布 GitHub 仓库 zazuss/mlc-llm-on-jetson,记录在 Jetson Orin Nano 8GB(L4T R39.2.1 / JetPack 7)上从源码编译 MLC-LLM 并运行 Qwen3-1.7B q4f16_1 的完整流程。因该平台无预编译 aarch64 CUDA wheel,四条分发路线均不可用,只能源码编译。实测空 prompt 下单流 decode 53.7 tok/s,比 llama.cpp 同模型快 32%;但 8K 上下文时 decode 掉到 14.96 tok/s,32K 直接 OOM,归因于 MLC 缺少 KV cache 量化(每 token 固定 112 KB)及 TVM 通用 GEMM 模板的低效 attention kernel。

    推荐理由:作者给出从源码编译到跑分的完整记录,并用 tegrastats 数据把长上下文掉速归因到反量化 ALU 瓶颈。

  6. GitHub · 去对齐工具与仓库62

    实测指南:macOS 27 自带 fm 命令在终端运行 Apple 端侧模型

    作者发布了一份经实测的非官方指南,介绍 macOS 27 自带的 /usr/bin/fm 命令,它可免费、离线调用 Apple Foundation Models 约 30 亿参数的端侧模型,无需账号或 API key。指南覆盖 sudo fm license 授权、fm respond 摘要与图像描述、fm schema object 结构化 JSON 输出、fm chat 会话管理,以及 fm serve 提供的 OpenAI 风格本地端点(模型名须为 system,默认流式输出)。实测发现单会话上限约 8,100 token,输入超约 6,000 token 后易被拒答,代码、数学和世界知识类问题表现较弱。

    推荐理由:作者在 Apple Silicon iMac 上逐条实测了 fm 命令的设置、JSON 输出、本地 API 和约 8,100 token 上限,并标注了未验证之处。

  7. GitHub · 灵魂体仓库11

    mitrev-g 的 AI-Engineer-Journey:一份从 Python 到生产级 AI 系统的 AI 工程师学习路线图仓库

    mitrev-g 在 GitHub 开源 AI-Engineer-Journey 仓库,记录其成为 AI 工程师的学习路线图与项目计划。路线图覆盖 Python、数学与数据分析、机器学习、深度学习、NLP 与生成式 AI(含 RAG、LLM 评估、tool calling 与 AI agents)、软件工程与系统设计六大阶段。仓库列出 10 个规划中的项目,如房价预测、从零实现神经网络、RAG 文档问答和生产级 AI 服务,当前均处于 Planned 状态,当前重点为 Python、统计、数据分析与数据结构算法。

10月24日周六
  1. GitHub · 去对齐工具与仓库29

    ZuiMio 发布 llm-infra-roadmap:12 周 LLM 训练与推理基础设施学习路线图

    GitHub 上的 ZuiMio/llm-infra-roadmap 是一个用于打牢 LLM 训练与推理基础设施工程基础的学习仓库,规划了 12 周路线,覆盖 Python、PyTorch tensors 与 autograd、attention、MiniGPT、CUDA、DDP/NCCL、FSDP、Megatron、SGLang/vLLM 及 post-training 基础设施。当前进入 Week 4(PyTorch tensors 与 autograd),学习已于 2026-10-24 提前几天开始,Week 4 计划时间为 2026-10-27 至 2026-11-02,Day 1 提供含 TODO 的 starter 代码和测试。仓库强调主动实践:不抄笔记,先读概念、再独立写码、跑测试并记录 bug。

  2. GitHub · 去对齐工具与仓库19

    Waleed Khokhar 的 python-ai-engineering-journey 学习仓库:从 Python 基础到 AI 工程

    开发者 Waleed Khokhar 在 GitHub 开源 python-ai-engineering-journey 仓库,记录其从 Python 基础到机器学习、深度学习、生成式 AI 与 AI 工程的学习过程,内容含学习笔记、代码与实战项目。仓库按 Python、数据科学、ML、DL、生成式 AI(LLMs、RAG、LangChain、AI Agents)分模块,已收录房价预测、乳腺癌分类、AI Doc Intelligence 等多个实战项目,目标是构建可上生产的 AI 系统。

  3. GitHub · 3D 生成新仓库30

    arunshar/rag-interview-chapters:57 个学习单元的 RAG 面试白板学习指南

    GitHub 仓库 arunshar/rag-interview-chapters 将《The RAG Interview》一书改写成 57 个 Markdown 学习单元,用于 RAG 面试、系统设计讨论和生产工程复盘。每个单元包含 TL;DR、Decoder 术语表、Mermaid 图、约 100 词的白板讲解和面试陷阱问答,并提供面向面试、完整技术、生产系统和评估信任等多条阅读路径。网站由 Pandoc 从 Markdown 生成并部署在 GitHub Pages,另有可下载的 rag-interview-chapters.zip 便携包,以及可在 Codex 中复用的 rag-interview-study-edition 技能。

  4. GitHub · 灵魂体仓库18

    kantarcise/learning-llms:基于 Sebastian Raschka《Build a Large Language Model (From Scratch)》的大语言模型学习仓库

    GitHub 仓库 kantarcise/learning-llms 记录作者跟随 Sebastian Raschka 的《Build a Large Language Model (From Scratch)》学习大语言模型的过程,并延伸到推理工程。计划每周 6 小时、持续六个月,主要内容是逐章阅读笔记配套站点 learningllms.kantarcise.com,用 Material for MkDocs 构建,通过 Cloudflare Pages 发布。环境使用 uv 管理依赖、Ruff 做代码检查,前期张量练习在 CPU 上即可运行。

  5. Reddit · r/LocalLLaMA63

    Nvidia 新解锁补丁实测:中国版 RTX 3080 20GB prefill 提速最高 28.6%

    Reddit 用户 /u/No-Refrigerator-1672 在 2x RTX 3080 20GB(PCIe 3.0 x16、240W 功耗限制)上实测 Zaggita 发布的 GPU 性能解锁补丁,该补丁修复 Nvidia 对消费卡 AI 相关硬件指令的算力限制。用 vLLM 0.32.0 跑 cyankiwi/Swift-1.5-Qwen3.8-27B-AWQ-INT4(fp8 KV cache、MTP 开启)测试,prefill 吞吐提升 20.8% 到 28.6%(提示越长提升越大),TTFT 下降 17.2% 到 22.3%,decode 步速基本不变;MTP 实际接受率约 2,实际生成速度约 45 tok/s。

    推荐理由:作者在双 RTX 3080 20GB 上实测 Zaggita 的解锁补丁,给出了从 8k 到 262k 提示长度的 prefill 提速数据和解码不变的结论。

10月23日周五
  1. Reddit · r/LocalLLaMA61

    Reddit 帖子详解 RTX 消费卡 FP32 累加限制及各代解锁可行性

    /u/panchovix 在 r/LocalLLaMA 发帖解释 NVIDIA 消费级 RTX 显卡的 FP32 累加性能被故意砍半,用于区分专业卡与数据中心卡。受影响的任务包括 LoRA 微调、扩散模型生成、LLM prefill 和大批量推理,作者称 RTX 6000 PRO 比 5090 快约 70%;RTX 20/30 系解锁可能性高,40 系已有实测工具,50 系因加入熔丝较难解锁。

    推荐理由:作者逐代梳理了消费级 RTX 显卡 FP32 累加被砍半的影响范围,并给出各代解锁可行性与实测对比,可作选购参考。

  2. Reddit · r/LocalLLaMA67

    RTX 4080 32GB 改装卡(AD102)解锁后 FP16/BF16 GEMM 性能翻倍

    /u/Desperate-Sir-5088 在 r/LocalLLaMA 发布了解锁 RTX 4080 32GB 改装卡(AD102)算力的方法。基于 CMP 170HX 研究与此前 GPU 解锁工作,自定义 EFI 在 Windows 启动前应用改动并交还控制权,单卡在 Windows 11 下即可使用,无需 iGPU 或副卡。GEMM 测试中 FP16/BF16 搭配 FP32 累加从约 92 提升到 184 TFLOPS(N=4096 时分别 +99.71% 和 +100.73%),N=8192 时分别 +59.85% 和 +71.48%,FP32 基本不变。

    推荐理由:作者实测给出了修改前后的 GEMM 跑分对比,FP16/BF16 翻倍而 FP32 基本不变,数据具体可复现。

  3. GitHub · 去对齐工具与仓库20

    JDChi 开源 aliyun-acp:大模型方向 ACP 本地刷题题库

    GitHub 用户 JDChi 发布 aliyun-acp 仓库,提供大模型方向 ACP 认证的本地刷题网页与 Markdown 题库,题目按课程内容整理、非官方真题。含 C2—C4 各 75 题(单选 50、多选 25)及综合卷,80 分仅为练习参考线;双击 llm_acp/刷题.html 即可离线使用,错题自动进错题集,进度存于浏览器本地。

  4. Reddit · r/LocalLLaMA18

    2026 年 10 月最佳本地 AI 幻灯片生成方案讨论:HTML 幻灯片 vs python-pptx 生成 PPTX

    一位医疗行业用户因隐私限制不能用 Gemini、Claude、Codex,在 r/LocalLLaMA 询问 2026 年 10 月本地生成幻灯片的最佳方案,要求输入数据与生成过程全程本地。其列举两种做法:让本地 LLM 生成 HTML 幻灯片,布局与 JS 交互更灵活但分发麻烦;或用 python-pptx 生成 PPTX,传统直接但效果呆板。

  5. Reddit · r/LocalLLaMA32

    DeepSeek V4.1-1017 在 RDNA2/3 显卡加 DDR4 平台上的本地运行实测

    Reddit 用户在 3950x + 96GB DDR4 + RX 7900xtx 与 W6800(共 56GB 显存)上实测 DeepSeek V4.1-1017,使用约 350GB 的 iq2 量化权重加 Q6 ngrams。峰值 19t/s、平均解码 9t/s、prefill 约 150t/s,性能因 I/O 波动明显。作者认为其智能程度超过 iq4-xs 量化的 Qwen3.8-Flash-Next,但思考过多,仅适合聊天用途。

  6. GitHub · 灵魂体仓库13

    Course-IA:基于 LangChain、LangGraph 与 Python 的 LLM、IAG 与 Agent 实战课程

    GitHub 上的 Course-IA 仓库提供一套基于 LangChain、LangGraph 和 Python 的 LLM、IAG 与 Agent 专业课程,只需安装 Python 即可学习。内容涵盖 LangChain 环境搭建、RAG、chromadb 向量数据库、LangGraph 及记忆与上下文管理,还包括集成 Wikipedia、Google Drive API 和 Gmail API 的智能体构建,并配套 streamlit 聊天机器人示例。

  7. Reddit · r/SillyTavernAI52

    Reddit 用户分享区分结构性 slop 与人性化填充词的角色扮演提示词规则

    Reddit 用户 /u/Probablynottoocool 分享一套减少 AI 角色扮演结构性 slop 的提示词规则,分三层处理:砍掉迂回说法、therapy speak、MCU 式斗嘴、完美对话等;礼貌、幽默、怀疑等只有在有动机时允许保留;填充词一个算人性化、多个算拖延。作者称规则部分借自 Realistic Frankenstein,并欢迎他人取用。

  8. Reddit · r/SillyTavernAI45

    SillyTavern 新手礼包(第 8 部分):场景卡使用指南

    这是一篇 SillyTavern 场景卡(scenario cards)教程,讲解如何用一张卡描述整个场景而非单个角色,让 LLM 同时扮演叙述者和 NPC。文章介绍场景卡的基本结构:用 Description 和 Scenario 字段交代设定与背景、为重要 NPC 写简明人设、用 First Message 开场,并区分场景卡与群聊的差异,同时给出可复用的旁白 System Prompt 示例。

  9. AIHOT · 精选57

    Anthropic 指南:何时把子智能体合并进主 Agent 循环

    Anthropic Applied AI 团队发布指南,讲解何时把 orchestrator 下的路由器、规划器和领域子智能体合并进单个主 Agent 循环。文中对比显示,带 skills 的单智能体在质量上常优于一提示全包和子智能体设计,且成本和延迟更低;一家客户改用单循环后运行时间约快 2x。

    推荐理由:Anthropic 给出了多智能体与单循环架构的选择判据,附质量与成本延迟对比,可迁移到自己的 Agent 设计。