跳到正文
今天10月26日周一16 条
  1. GitHub · prompt 工程新仓库67

    Live Character Guide v9.2.6:LLM 角色卡工程化构建指南开源

    GitHub 仓库 vudirvp-sketch/live-char-guide 发布 v9.2.6,是一份俄语的 LLM 角色卡工程化构建指南,兼容 SillyTavern,面向 12B–32B+ 本地模型。它主张角色卡问题是构造而非改提示词能解决的,流程为 SPINE 心理骨架、行为锚点、声音隔离、系统提示词到成品卡,共 10 部分 62 节、4 张完整示例卡,并含诊断排错和 15 种反模式拆解。技术栈为静态 HTML/CSS/原生 JS,MIT 许可,部署在 GitHub Pages。

    同一新闻,精选展示《Live Character Guide 发布:LLM 角色卡工程化构建指南》

  2. GitHub · 去对齐工具与仓库29

    juliopez/ia-local-integracion:本地 LLM 设计、集成与自动化学习指南

    GitHub 仓库 juliopez/ia-local-integracion 提供一套本地大语言模型(LLM)解决方案的理论与实践指南,使用 Ollama、Open WebUI、Python 和 Google Workspace,以 Windows 为优先路线。内容含六个理论章节与六个实验,并提供五天(每天 120 分钟)强化路线,覆盖安装、System Prompt 设计、Forms/Sheets/Apps Script 集成、Gmail 发送及优化评估;contexto/ 目录内容整体加入查询,不采用 RAG。

  3. Reddit · r/SillyTavernAI11

    SillyTavern 用于长篇创作的入门求助

    一位用户在 Reddit r/SillyTavernAI 发帖称,打算用 SillyTavern 进行长篇史诗小说创作,但认为它是自己用过最难上手的应用。他已经花一天时间配好 web search,尚未开始配置 deeplore,希望有人推荐相关创作教程。

  4. Reddit · r/LocalLLaMA28

    如何用确定性 C# ValidationResolver 消除 Qwen2.5-Coder-14B 的 UI 与工作流幻觉

    一位开发者在单张 24GB NVIDIA A10 上本地运行 qwen2.5-coder:14b,实时生成企业表单且无需手写 HTML 或 SQL。模型被锁定在严格 DSL 中,每次输出必须通过确定性 C# ValidationResolver 校验后才能渲染到画布。原始输出与修复后的输出会自动评分并导出为 SFT/DPO .jsonl 数据对,供后续微调使用。

  5. GitHub · prompt 工程新仓库70

    Live Character Guide 发布:LLM 角色卡工程化构建指南

    作者发布俄语指南 Live Character Guide,将 LLM 角色卡构建流程化为 SPINE 心理骨架、行为锚点、语音隔离、系统提示词到成品卡,兼容 SillyTavern,面向 12B–32B+ 模型。指南含 10 部分、62 章节、4 张完整示例卡与诊断测试部分,指出语音漂移、行为无动机、故障不可见三类典型问题需靠构造而非改提示词解决;仓库以静态 HTML/CSS/vanilla JS 构建并部署在 GitHub Pages,MIT 许可。

    推荐理由:把角色卡当行为引擎来构造,给出三类典型卡件故障的成因与对应修法,适合想系统性理解卡为什么失效的人。

  6. Reddit · r/SillyTavernAI17

    如何在 SillyTavern 中搭建哈利·波特全程时间线角色扮演的记忆管理

    一位新手玩家正在用 SillyTavern 进行哈利· Potter 全时间线逐日角色扮演,将霍格沃茨故事时间线和角色卡整理成 txt 文件导入,以减少 token 和成本。角色扮演已进行约一周,作者把时间线当作记忆保存情节、课程与角色关系,并希望进一步了解 export deck、扫描故事 lore 及扩展插件等更好的记忆管理方法。

  7. Reddit · r/SillyTavernAI12

    SillyTavern 新手求助:16GB 内存 + RTX 3060 12GB 能跑哪些免费本地模型

    一位刚接触 SillyTavern 的新手发帖求指导:不想付费订阅 AI,想知道有没有免费 API 模型可接入 SillyTavern,以及自己的配置(RAM 16GB、RTX 3060 12GB、i5-12400F)能跑什么本地模型。他还担心运行本地 AI 会损耗电脑,希望有经验的用户分享免费模型的搭建经验。

  8. Reddit · r/CharacterAI22

    Character.AI 用户求助:如何让别人的 bot 更好理解自己的世界观设定

    一位 Character.AI 用户发帖求助:由于不能给别人的 bot 使用 lorebook,只能把世界观信息塞进 persona 描述,但效果时好时坏。同一写法下,spider persona 的设定(人类与兽人平等共存)能被 bot 稳定应用,而 robot persona 的设定却被忽略,bot 从不提及其他机器人或充电等特殊需求。用户询问是否有 bot 更易理解的世界观描述措辞。

  9. Reddit · r/LocalLLaMA32

    本地部署的 Qwen 3.8 27B 自选项目一次生成成功,Reddit 网友提出改进意见

    一位用户让本地运行的 Qwen 3.8 27B(在一台二手游戏 PC 上)自选项目并一次生成完成,模型成功产出了北美 IQ 热力图的交互式网站。作者将截图发到 Reddit 后,网友指出方法不够严谨、配色过时、五大湖轮廓缺失等问题。作者强调重点是本地模型能一次性完成整个项目。

  10. GitHub · prompt 工程新仓库58

    ai-coding-playbook 仓库发布 AI 编码方法论教程,含 14 个可装进 Claude Code 的 skill

    作者 DJtx001 发布 ai-coding-playbook 仓库,主打让 AI 编码产出可以被验证的完整方法论,不绑定模型或编辑器。内容包括 6 章 HTML 主教程、一页纸速查手册,以及来自 obra/superpowers 的 14 个 skill 完整副本和离线安装脚本,可复制到 ~/.claude/skills/ 使用。核心主张包括 TDD 闸门、要求出示命令加输出加退出码的验收方式、按爆炸半径路由任务复杂度、会话卫生和用子代理独立核对 SPEC。

    推荐理由:给出完整的可验证工作流方法论,含两道验收闸门和 14 个 skill 的安装与出处,任何模型和编辑器可直接套用。

10月25日周日
  1. GitHub · 灵魂体仓库26

    ai-learning-roadmap:面向应用 AI 工程师的开源学习路线图

    GitHub 开源项目 ai-learning-roadmap 是一份带引用来源的 AI 工程学习路线图,基于 Next.js 16.4、React 19 和 TypeScript 5 构建的静态站点,托管在 GitHub Pages。内容分 14 个部分,覆盖 LLM 基础、提示词工程、RAG、智能体、推理到 AI 应用架构,每部分提供技术版、通俗版和孟加拉语三种讲解,并附十个可视化互动学习资源。每个主题支持构建时 Zod 4 校验和浏览器内 MiniSearch 搜索。

  2. GitHub · 3D 生成新仓库18

    LLM 能力动手实践:多模态、评测、公平性与安全示例仓库

    GitHub 仓库 amarprajapati1618/Hands-on---Multi-model-LLM-and-LLM 提供 LLM 能力实践示例,涵盖 tokenization、BPE 与文本生成采样,用开源语言模型做摘要和问答,并用小型多模态 LLM 实现视觉问答。内容还包括 benchmark 指标及其局限、模型幻觉与证据溯源、公平性评测,以及一个安全的模拟 agent 策略门控。

  3. GitHub · 去对齐工具与仓库15

    Vision-LLM 融合视听多模系统课程(a4527/Vision-LLM-202035324)课程大纲与评分规则

    这是 NVIDIA Jetson Orin 边缘设备上的 Physical AI 实践课程大纲,2026/10/10 至 2026/11/8 在京畿道城南市分堂的汉字 AX LAB 授课,共 10 次课。课程在本地环境实现视觉与 LLM(基于 Gemma 的轻量大语言模型)融合的视听多模系统,不依赖云端。评分含出勤 10%、实作 10%、作业 10%、笔试 30%、项目 40%,共 3 个项目,作业与项目须提交至 GitHub Repository 并附 README.md。

  4. Reddit · r/LocalLLaMA63

    零基础用户用 Claude Code 搭建 Strix Halo 本地 LLM 工作站,Qwen3.8-Flash-Next 180B 跑到 46-53 tok/s

    一位从未写过代码的 Reddit 用户在 r/LocalLLaMA 记录了用 Claude Code 兼任顾问、系统管理员和导师,七周内搭起一台约 3,450 美元的 Strix Halo 迷你主机(Ryzen AI Max+ 395,128 GB 统一内存,2 TB NVMe)的全过程。最终 Qwen3.8-Flash-Next 180B-A6B 写入 46-53 tok/s、prompt 处理约 771 tok/s,Qwen3.6-35B-A3B 达 76.5 tok/s,推理栈完全离线运行,夜间由编码 Agent 和浏览器 QA Agent 无人值守开发替代一款 40 年老程序的原型。

    推荐理由:零基础作者用 Claude Code 当系统管理员从零搭起本地推理机,给出完整硬件选型、内核坑和逐项优化前后数据,可迁移到类似自建场景。

  5. GitHub · 去对齐工具与仓库67

    zazuss 开源 Jetson Orin 上源码编译 MLC-LLM 并跑通 Qwen3-1.7B 的完整复现记录

    作者发布 GitHub 仓库 zazuss/mlc-llm-on-jetson,记录在 Jetson Orin Nano 8GB(L4T R39.2.1 / JetPack 7)上从源码编译 MLC-LLM 并运行 Qwen3-1.7B q4f16_1 的完整流程。因该平台无预编译 aarch64 CUDA wheel,四条分发路线均不可用,只能源码编译。实测空 prompt 下单流 decode 53.7 tok/s,比 llama.cpp 同模型快 32%;但 8K 上下文时 decode 掉到 14.96 tok/s,32K 直接 OOM,归因于 MLC 缺少 KV cache 量化(每 token 固定 112 KB)及 TVM 通用 GEMM 模板的低效 attention kernel。

    推荐理由:作者给出从源码编译到跑分的完整记录,并用 tegrastats 数据把长上下文掉速归因到反量化 ALU 瓶颈。

  6. GitHub · 去对齐工具与仓库62

    实测指南:macOS 27 自带 fm 命令在终端运行 Apple 端侧模型

    作者发布了一份经实测的非官方指南,介绍 macOS 27 自带的 /usr/bin/fm 命令,它可免费、离线调用 Apple Foundation Models 约 30 亿参数的端侧模型,无需账号或 API key。指南覆盖 sudo fm license 授权、fm respond 摘要与图像描述、fm schema object 结构化 JSON 输出、fm chat 会话管理,以及 fm serve 提供的 OpenAI 风格本地端点(模型名须为 system,默认流式输出)。实测发现单会话上限约 8,100 token,输入超约 6,000 token 后易被拒答,代码、数学和世界知识类问题表现较弱。

    推荐理由:作者在 Apple Silicon iMac 上逐条实测了 fm 命令的设置、JSON 输出、本地 API 和约 8,100 token 上限,并标注了未验证之处。

  7. GitHub · 灵魂体仓库11

    mitrev-g 的 AI-Engineer-Journey:一份从 Python 到生产级 AI 系统的 AI 工程师学习路线图仓库

    mitrev-g 在 GitHub 开源 AI-Engineer-Journey 仓库,记录其成为 AI 工程师的学习路线图与项目计划。路线图覆盖 Python、数学与数据分析、机器学习、深度学习、NLP 与生成式 AI(含 RAG、LLM 评估、tool calling 与 AI agents)、软件工程与系统设计六大阶段。仓库列出 10 个规划中的项目,如房价预测、从零实现神经网络、RAG 文档问答和生产级 AI 服务,当前均处于 Planned 状态,当前重点为 Python、统计、数据分析与数据结构算法。

10月24日周六
  1. GitHub · prompt 工程新仓库65

    GPT Image 2.5 提示词实用指南仓库发布,覆盖角色一致性与姿态迁移

    GitHub 用户发布了一份 GPT Image 2.5 提示词实用手册,内容编译自 OpenAI 官方文档与作者实际使用经验,并注明非 OpenAI 官方发布。手册涵盖 API 两个模型 GPT Image 2.5 Flare(重速度的小模型)与 Sunburst(重质量的基础模型)的区别、API 参数与分辨率限制、参考图角色分配、角色一致性锁定、姿态迁移四层描述法、背景与风格控制、多轮编辑流程,以及常见失败对照表和五套提示词模板,附验收清单,采用 CC BY 4.0 许可,最后更新于 2026-10-18。

    推荐理由:作者基于官方文档与实测整理了角色一致性、姿态迁移和多轮编辑的提示词写法,附可直接套用的模板与排查清单。

  2. GitHub · 去对齐工具与仓库29

    ZuiMio 发布 llm-infra-roadmap:12 周 LLM 训练与推理基础设施学习路线图

    GitHub 上的 ZuiMio/llm-infra-roadmap 是一个用于打牢 LLM 训练与推理基础设施工程基础的学习仓库,规划了 12 周路线,覆盖 Python、PyTorch tensors 与 autograd、attention、MiniGPT、CUDA、DDP/NCCL、FSDP、Megatron、SGLang/vLLM 及 post-training 基础设施。当前进入 Week 4(PyTorch tensors 与 autograd),学习已于 2026-10-24 提前几天开始,Week 4 计划时间为 2026-10-27 至 2026-11-02,Day 1 提供含 TODO 的 starter 代码和测试。仓库强调主动实践:不抄笔记,先读概念、再独立写码、跑测试并记录 bug。

  3. GitHub · 去对齐工具与仓库19

    Waleed Khokhar 的 python-ai-engineering-journey 学习仓库:从 Python 基础到 AI 工程

    开发者 Waleed Khokhar 在 GitHub 开源 python-ai-engineering-journey 仓库,记录其从 Python 基础到机器学习、深度学习、生成式 AI 与 AI 工程的学习过程,内容含学习笔记、代码与实战项目。仓库按 Python、数据科学、ML、DL、生成式 AI(LLMs、RAG、LangChain、AI Agents)分模块,已收录房价预测、乳腺癌分类、AI Doc Intelligence 等多个实战项目,目标是构建可上生产的 AI 系统。

  4. GitHub · 3D 生成新仓库30

    arunshar/rag-interview-chapters:57 个学习单元的 RAG 面试白板学习指南

    GitHub 仓库 arunshar/rag-interview-chapters 将《The RAG Interview》一书改写成 57 个 Markdown 学习单元,用于 RAG 面试、系统设计讨论和生产工程复盘。每个单元包含 TL;DR、Decoder 术语表、Mermaid 图、约 100 词的白板讲解和面试陷阱问答,并提供面向面试、完整技术、生产系统和评估信任等多条阅读路径。网站由 Pandoc 从 Markdown 生成并部署在 GitHub Pages,另有可下载的 rag-interview-chapters.zip 便携包,以及可在 Codex 中复用的 rag-interview-study-edition 技能。

  5. GitHub · 灵魂体仓库18

    kantarcise/learning-llms:基于 Sebastian Raschka《Build a Large Language Model (From Scratch)》的大语言模型学习仓库

    GitHub 仓库 kantarcise/learning-llms 记录作者跟随 Sebastian Raschka 的《Build a Large Language Model (From Scratch)》学习大语言模型的过程,并延伸到推理工程。计划每周 6 小时、持续六个月,主要内容是逐章阅读笔记配套站点 learningllms.kantarcise.com,用 Material for MkDocs 构建,通过 Cloudflare Pages 发布。环境使用 uv 管理依赖、Ruff 做代码检查,前期张量练习在 CPU 上即可运行。

  6. Reddit · r/LocalLLaMA63

    Nvidia 新解锁补丁实测:中国版 RTX 3080 20GB prefill 提速最高 28.6%

    Reddit 用户 /u/No-Refrigerator-1672 在 2x RTX 3080 20GB(PCIe 3.0 x16、240W 功耗限制)上实测 Zaggita 发布的 GPU 性能解锁补丁,该补丁修复 Nvidia 对消费卡 AI 相关硬件指令的算力限制。用 vLLM 0.32.0 跑 cyankiwi/Swift-1.5-Qwen3.8-27B-AWQ-INT4(fp8 KV cache、MTP 开启)测试,prefill 吞吐提升 20.8% 到 28.6%(提示越长提升越大),TTFT 下降 17.2% 到 22.3%,decode 步速基本不变;MTP 实际接受率约 2,实际生成速度约 45 tok/s。

    推荐理由:作者在双 RTX 3080 20GB 上实测 Zaggita 的解锁补丁,给出了从 8k 到 262k 提示长度的 prefill 提速数据和解码不变的结论。

10月23日周五
  1. Reddit · r/LocalLLaMA61

    Reddit 帖子详解 RTX 消费卡 FP32 累加限制及各代解锁可行性

    /u/panchovix 在 r/LocalLLaMA 发帖解释 NVIDIA 消费级 RTX 显卡的 FP32 累加性能被故意砍半,用于区分专业卡与数据中心卡。受影响的任务包括 LoRA 微调、扩散模型生成、LLM prefill 和大批量推理,作者称 RTX 6000 PRO 比 5090 快约 70%;RTX 20/30 系解锁可能性高,40 系已有实测工具,50 系因加入熔丝较难解锁。

    推荐理由:作者逐代梳理了消费级 RTX 显卡 FP32 累加被砍半的影响范围,并给出各代解锁可行性与实测对比,可作选购参考。

  2. GitHub · 灵魂体仓库17

    Albert School LLM 课程实验仓库:llm-course-labs

    TangoAI-AlbertSchool-Data-Eng-Cloud 在 GitHub 发布 LLM Fundamentals、Prompting & API Integration 课程的配套 notebooks,每节课一个文件夹,含课堂演示和练习。课程覆盖 token 生成与提示词、API 与结构化输出、RAG、评估/成本/guardrails 四个主题。运行需 Python 3.12 与虚拟环境,支持 Anthropic 或 OpenRouter 的 API key,数据来自 tickets-v1.00 公开发布的 120 条标注支持工单,采用 CC BY-SA 4.0 许可。

  3. Reddit · r/LocalLLaMA67

    RTX 4080 32GB 改装卡(AD102)解锁后 FP16/BF16 GEMM 性能翻倍

    /u/Desperate-Sir-5088 在 r/LocalLLaMA 发布了解锁 RTX 4080 32GB 改装卡(AD102)算力的方法。基于 CMP 170HX 研究与此前 GPU 解锁工作,自定义 EFI 在 Windows 启动前应用改动并交还控制权,单卡在 Windows 11 下即可使用,无需 iGPU 或副卡。GEMM 测试中 FP16/BF16 搭配 FP32 累加从约 92 提升到 184 TFLOPS(N=4096 时分别 +99.71% 和 +100.73%),N=8192 时分别 +59.85% 和 +71.48%,FP32 基本不变。

    推荐理由:作者实测给出了修改前后的 GEMM 跑分对比,FP16/BF16 翻倍而 FP32 基本不变,数据具体可复现。

  4. GitHub · 去对齐工具与仓库20

    JDChi 开源 aliyun-acp:大模型方向 ACP 本地刷题题库

    GitHub 用户 JDChi 发布 aliyun-acp 仓库,提供大模型方向 ACP 认证的本地刷题网页与 Markdown 题库,题目按课程内容整理、非官方真题。含 C2—C4 各 75 题(单选 50、多选 25)及综合卷,80 分仅为练习参考线;双击 llm_acp/刷题.html 即可离线使用,错题自动进错题集,进度存于浏览器本地。