跳到正文
10月15日周四
  1. Reddit · r/CharacterAI43

    Character.AI 传将关闭,用户用 OOC 提示词抢救角色定义

    Reddit 用户分享一套从 Character.AI 角色中导出原始定义的方法:配合特定 user persona、选用 pipsqueak 3 等较聪明的模型,发送 OOC 首条消息让 AI 以角色定义解释者身份输出 raw definitions,并保留 {{char}}、{{user}} 等变量与示例对话结构。作者提醒不要按 Continue,以免模型幻觉,应礼貌要求从截断处继续,并反复核对区分幻觉内容。

  2. Reddit · r/SillyTavernAI62

    SillyTavern 角色卡教程第7篇:开场白、示例消息与备选问候的写法

    Reddit 用户 /u/Prudent_Finance7405 在 r/SillyTavernAI 发布角色卡新手系列第7篇,讲解 First Message、Example Messages 和 Alternate Greetings 三个字段的用法。开场白应从角色视角书写、少替 {{user}} 决定言行,并用于确立叙事风格;示例消息建议选三四段展示角色不同侧面的短对话;备选问候可为同一张卡提供不同开局场景,但不能替代 Scenario 或 Lorebook。

    推荐理由:作者用同一角色卡的正反示例对比,说明开场白、示例消息和备选问候各自如何影响对话走向,方法可直接套用。

  3. Reddit · r/SillyTavernAI18

    Reddit 用户分享全本地 SillyTavern AI 部署方案,征求改进建议

    一位 Reddit 用户分享其运行两年的全本地 SillyTavern 方案:一台 9950x3d/64GB/5090 的 PC 在 Ubuntu 上用 Koboldcpp 跑 Glistening-Gem-31B-v2.1 6_K,GPU 全层加载、106496 上下文、Q8_0k 上下文量化;另一台 6700k/16GB/2080ti 机器用 SD Forge 跑 Anima 模型。后端在 SillyTavern 与 Marinara Engine 间切换,并通过 Tailscale 连接 iPad Mini,同时征求 TTS 推荐。

  4. Reddit · r/LocalLLaMA46

    Strata 性能微调实战:调参后解码速度提升 15%-20%

    Strata 部署较新,作者经大量测试分享多项微调参数:--pcie-frac 设为 0.2、--pool-workers 带来 +10% decode、--trim-stage-weights 提升 +8%、--pipeline-windows 设为 6 提升近 15%,双 RTX3060 下通过 "gpu": [1,0] 强制让 PCIe 快的 GPU 做推理再获 +15%。累计后 Qwen Flash Next IQ3_S 从 35 decode 峰值提升到空上下文 60 tps 平均代码生成,满上下文仍比基线快 15%-20%。

  5. GitHub · 灵魂体仓库26

    vvctort1/fine-tuning-llm:用 LoRA 微调 Qwen2.5-Coder-7B 做 Text-to-SQL

    该项目基于开源模型 Qwen2.5-Coder-7B(约 7.61B 参数,预训练超 5.5T tokens),用 LoRA 微调使其将企业业务术语翻译为 SQL 查询。LoRA 冻结原权重、仅训练约 0.25% 参数,最低需 20 GB VRAM。基线 Execution Accuracy 为 26.5%,训练 2 个 epoch(r=16)后提升,并配有 Gradio 界面支持上传 SQLite 数据库与聊天生成 SQL。

  6. Reddit · r/SillyTavernAI15

    SillyTavern 如何与 Obsidian 同步

    一位用户在 Reddit r/SillyTavernAI 询问如何将 SillyTavern v1.19.0 与 Obsidian v1.14.4 同步,希望把笔记、设定和研究资料作为写作背景素材,并问 Deeplore 是否是唯一或最主流的方案。帖子尚在征集社区经验,未给出确定结论。

10月14日周三
  1. Reddit · r/LocalLLaMA30

    用二手件组装双 RTX 3090 本地 LLM 主机,为何速度提升不及预期?

    一位 Reddit 用户用二手硬件组装了双 RTX 3090(24GB)本地 LLM 主机,搭配 Ryzen 9 5950X 与 128GB DDR4 内存,运行 Ubuntu 24.04 和 llama.cpp。第二块 GPU 经 riser 接在 PCIe 3.0 x4,测试 Qwen3.6 35B A3B 的不同 GGUF 量化时发现:能装进单卡的模型加第二卡收益有限,长上下文下 prefill 明显变慢,尚未做受控 benchmark,正在排查 KV cache、内存带宽与 GPU 通信的影响。

  2. Reddit · r/LocalLLaMA41

    Discover AI:含 51 个动手实验的 AI 学习指南应用

    一款离线应用 Discover AI 提供 51 个动手实验,分 6 组讲解 AI 原理,涵盖神经元、梯度下降、attention、RAG、agents、微调、量化与服务部署等主题。attention 实验在应用内运行 1.37M 参数的小型 transformer,训练实验可随滑块实时训练字符级模型;应用离线可用,无账号、无遥测。

  3. GitHub · 3D 生成新仓库25

    char-rnn-handwriting:用字符级 RNN 生成手写风格文字的开源项目

    GitHub 开源项目 char-rnn-handwriting 用 PyTorch 构建字符级 LSTM RNN,从文本文件学习后生成同风格新文本,并将每个字符替换为 English Handwritten Characters 数据集中对应的手写图片(a-z、A-Z、0-9 各 55 张),随机变化大小、倾斜和位置。项目提供 Streamlit 网页应用,支持 AI 生成或用户输入文字并导出 PNG,可免费部署到 Streamlit Community Cloud 或 Hugging Face Spaces。

  4. Reddit · r/LocalLLaMA38

    本地部署 Qwen3.8FN 智能体比云端 API 更便宜:实测成本对比

    一位开发者在 NVIDIA Tesla P40(24 GB)上本地运行 Qwen3.8FN Q4 智能体 Drax,10 轮对话含缓存 electricity 成本为 C$0.0068-C$0.014,低于除 GPT-6 Luna 和 Claude Haiku 5.5 之外的云模型,谷段电价下为全场最低。该智能体支持约 130k 上下文、prompt cache 利用率超 90%,可整天运行至任务完成,虽然速度慢但完成质量更高。

  5. Reddit · r/LocalLLaMA71

    M5 Ultra 256GB 搭配 M3 Ultra 512GB 做预填充/解码分离,GLM-5.3-Flash 首token延迟从约40秒降到约18.5秒

    Reddit 用户 /u/Usual_Tackle5892 不等 512GB 版 M5 Ultra,改用 M5 Ultra 256GB 做 prefill、M3 Ultra 512GB 经 Thunderbolt 5 RDMA 接收缓存做 decode。17.5k token 提示下,GLM-5.3-Flash 4-bit 总耗时从约 40 秒降到约 18.5 秒,缓存交接仅 38 ms 传输 358 MB,M3 上解码 36.8 tok/s 且输出与 M5 一致。作者用 MLX JACCL 后端与 mlx-vlm 0.7.6 搭建,并逐组件分析出 M5 预填充近半时间花在无法用矩阵单元的内核上,限制是 prefill 节点需装下完整模型,仅适用于 256GB 内可容纳的模型。

    推荐理由:作者用真实负载实测拆分前后数据,并逐组件剖析预填充耗时构成,方法可迁移到自己的多机推理调优。

  6. Reddit · r/LocalLLaMA22

    本地 LLM 硬件升级求助:二手 3090、2x 改装 3080 20GB 还是全新 32GB R9700

    一位 PhD 学生在 r/LocalLLaMA 征求 GPU 升级建议,现用 RTX 3060 12GB 跑 Qwen3 14B,想升级到 27B 级模型做智能体编排、会议转录和 Home Assistant 等本地服务。三个选项:二手 3090(€1100–1400,24GB)、2x 改装 3080 20GB(约 €650–900,共 40GB)、全新 R9700(约 €2000,32GB),并询问量化等级对 tool-calling 及 ROCm 在 Proxmox 下的实际表现。

  7. GitHub · 灵魂体仓库22

    supply-chain-ai-for-beginners:面向初学者的供应链 AI 课程

    GitHub 上的 supply-chain-ai-for-beginners 是一门引导式课程,共 19 节课,讲解 AI 在供应链中的应用,从机器学习基础到预测、库存控制、延迟预测等实际用例,再到模型部署。课程面向无编程经验者,可在 Windows 10/11 电脑(8 GB 内存、5 GB 硬盘空间)上学习,使用 Python 3.10 及以上版本和 Jupyter Notebook,仅阅读材料时用浏览器即可。

  8. GitHub · 3D 生成新仓库29

    Expensify/App 仓库开发指南:本地环境搭建、测试与性能监控

    Expensify/App 仓库文档说明如何通过 nvm、watchman 和 npm 搭建本地开发环境,用 npm run web 等命令在 Web、iOS、Android 平台运行应用。测试方面采用 Jest 运行单元测试、Reassure 监控性能回归、CodeCov 跟踪代码覆盖率。另提供可选的 Claude Code /agent-device 技能,可驱动 iOS 和 Android 模拟器进行交互测试与性能分析。

  9. Reddit · r/LocalLLaMA42

    PSA:3090 FE 跑大语言模型会导致 VRAM 过热

    3090 Founders Edition 的 VRAM 散热较差,实测在 Nvidia 默认风扇/功耗曲线下,token 生成开始数秒内 VRAM 温度即达 112C,超过 96C 的持续运行额定值。测试用 qwen3.8-27b 5.1bpw 并开启 MTP(三 token/前向、70% 接受率),结论是将功耗压到 270W 并手动设 100% 风扇可防过热,代价是吞吐量损失 30%;undervolting 无效,因 Nvidia 只在 300W 以上才应用 clock offset。

10月13日周二
  1. Reddit · r/LocalLLaMA54

    伦敦全科医生实测单张 RTX 4090 跑实时临床助手 OpenConsult 的响应提速

    伦敦一位全科医生开发了全本地运行的临床助手 OpenConsult,在单张 RTX 4090 上实测如何把自动提问的响应压到 3 秒内。MedGemma 27B (Q4_K_M) 每轮需 18 秒,Gemma 4 26B-A4B QAT 降至 5 秒且临床评分相当;vLLM 比.Ollama 和 llama.cpp 快至 3.5 秒,但占用 94% 显存;把一轮的两次调用合并发送后 vLLM 降到 2.8 秒。模型输出约 170 tokens/秒,另测了 Qwen3.6-35B-A3B、Nemotron 3.5 Lightning 和 gpt-oss-20b,Gemma 4 仍最快。项目以 AGPL-3.0 开源,作者在征求进一步提速与 CPU offload 建议。

  2. GitHub · 灵魂体仓库31

    edumgt/docker-class:Docker 实战课程仓库

    GitHub 上的 edumgt/docker-class 仓库提供覆盖 01~28 章的 Docker 学习课程,内容从基础命令到 DevSecOps(Jenkins、GitLab CE、SonarQube、Nexus、Drone CI)与本地部署 ERP 方案。课程还包含 AI 环境搭建:Ollama LLM 服务器(RTX 3080)、Qdrant/pgvector/Chroma/Weaviate 向量数据库、Open WebUI 与 RAG 栈,以及 gemma3:2b 的 sLLM 部署。完成全部课程建议 CPU 12 核以上、RAM 32 GB 以上、NVMe SSD 1 TB 以上。

  3. GitHub · 灵魂体仓库22

    freeCodeCamp 教程:用 Python 与 dlt 构建现代化数据管道

    freeCodeCamp 发布教程,讲解如何用 Python 和 AI 辅助工具构建可扩展数据管道。课程先由 Alexey Grigoriev 演示从零构建 ETL 管道的传统难点,再由 Adrian Brudaru 介绍开源库 dlt,涵盖 API 数据抽取与规范化、schema 演进、增量加载、SCD2、用 Crontab、GitHub Actions、Airflow、Dagster 部署,以及用 LLM 生成管道和文档。

  4. AIHOT · 精选42

    用 Claude Opus 5.5、Blender、Unreal Engine 和 Meshy 构建游戏的七步教程

    教程讲解用 Claude Opus 5.5 配合 Claude Code、Blender、Unreal Engine 5 和 Meshy 七步构建游戏:通过 MCP 连接各工具,Meshy 生成道具和角色,Blender 清理放置,Unreal 负责光照物理与游戏本体,Opus 在同一对话中调度。首个完整构建约花 4 小时、消耗约 19% 的每周 Max plan 用量,之后因素材复用会明显加快。

  5. Reddit · r/LocalLLaMA18

    构建阿尔及利亚语音 Agent:如何微调适配阿尔及利亚 Darija 方言的语音模型

    一位开发者计划为阿尔及利亚构建电话语音 Agent,因现有模型对阿尔及利亚 Darija 支持不佳,想用真实通话录音微调自己的语音转文字和文字转语音模型。其寻求四方面指导:选择可商用许可的模型、微调 vs LoRA 及所需硬件、数据量与格式要求,以及如何处理东西部、首都和南部不同口音及法语、柏柏尔语混杂,是否需要按地区均衡数据。

  6. GitHub · 灵魂体仓库22

    AI_Human:面向非开发者的 17 周 AI Engineer 实战课程仓库

    GitHub 仓库 AI_Human 提供一套 17 周、100 天的实战课程,带非专业者和初学者从 Python 基础、ML/DL 一直学到 LLM、提示词工程、LangChain 和 RAG pipeline。系统每个工作日早上 8:00(KST)自动运行,按当前学习章节匹配关键词并筛选相关 AI 新闻,生成 daily/.md 后推送至 Slack 和 Telegram,每周五产出周报。内容采用 CC BY-NC 4.0(curriculum 为 MIT)授权。

  7. Reddit · r/LocalLLaMA42

    unsloth/Qwen3.8-27B-UD-IQ4_XS 在 16GB VRAM 上实现 262k 上下文 + 视觉、80t/s 与 1500pp

    Reddit 用户在 16GB VRAM 上以 Q4 量化运行 unsloth/Qwen3.8-27B-UD-IQ4_XS,实现 262k 上下文、q4_0 KV 缓存和视觉能力,MTP 基准约 80t/s、pp 1500。关键在于修改版 llama.cpp-adaptive-kv-streaming 分支,将 KV 流式传输到系统内存的 1.5GB arena;262k 全上下文时约 20t/s、pp 400t/s,作者称对许多人仍属可用。

  8. GitHub · prompt 工程新仓库45

    ai-study-roadmap:GitHub 上的免费 AI 学习路线图仓库

    GitHub 新仓库 syed-it-ai/ai-study-roadmap 将 AI 学习拆成 14 个按序执行的阶段文件夹,从 LLM 基础、数学、API、RAG 到 agents、微调与部署,每个阶段都有可运行代码和测试。全程零花费:API 调用走 Groq 免费额度,离线部分用本地 Ollama 兜底,密钥存放在不提交的本地 .env 中。

  9. GitHub · 去对齐工具与仓库22

    yknnv/ai-cto-ru:面向 CTO 与研发负责人的免费 AI 开发转型课程

    Юрий Кононов 在 GitHub 发布免费俄语课程 yknnv/ai-cto-ru,讲解如何将研发流程迁移到 Claude Code、Cursor、GigaCode、GitHub Copilot 等 AI 助手与 AI 智能体,同时管控成本、安全与质量。课程共 15 个模块,涵盖 token 经济与回本模型、152-ФЗ 及俄罗斯央行与 ФСТЭК 合规、DORA 指标和 90 天试点计划,并提供 prompts 与模板。内容基于 2026 年数据,可通过网站、Telegram 机器人和 GitHub 仓库获取,采用 CC BY-NC 4.0 许可证。

  10. GitHub · 灵魂体仓库30

    johnxie/awesome-code-docs:深入解析复杂系统底层原理的教程合集

    GitHub 仓库 johnxie/awesome-code-docs 收录以架构图、真实代码走读和生产级模式讲解系统底层原理的教程,每篇统一采用 8 章结构。覆盖 vibe coding 工具、AI agent、RAG、本地 LLM 等方向,涉及 Cline、OpenCode、LangChain、LlamaIndex、Ollama、Vercel AI SDK 等项目。203 篇教程的来源仓库已于 2026-06-01 全部完成核验,共覆盖 214 个独立仓库。

  11. Reddit · r/SillyTavernAI77

    Kimi K3 角色扮演提示词经验分享:节奏规则与预设写法

    Reddit 用户 /u/FR-1-Plan 分享为 Kimi K3 编写私人角色扮演预设的多条实测经验。要点包括:在角色卡中写明角色扮演目标以免模型把开场冲突当全部剧情、给规则加标签并解释理由以提高遵守度、风格要求放角色卡而机制规则放预设、避免每轮在作者注中重复强调导致模型偏执、发现坏输出立即手动删改,以及节奏(pacing)问题的解法。作者还贴出了自己「beat by beat」节奏控制规则原文,定义 beat 为最小变化单元并限制每次输出只推进一拍。

    推荐理由:作者基于自己数周的实测总结了Kimi K3角色扮演提示词的具体写法,还附上了可直接抄走的节奏控制规则原文。

  12. GitHub · 去对齐工具与仓库60

    xbsheng 开源 learn-pi-agent:参照 learn-claude-code 的 pi 智能体中文教程

    xbsheng 在 GitHub 发布 learn-pi-agent 教程,参照 learn-claude-code 的课程结构讲解 pi 智能体框架,核心理念是 Agent 等于模型加 Harness,循环由 pi 实现,学习者负责搭建工具、权限、技能等扩展机制。教程含 12 章,覆盖自定义工具、tool_call 闸门、事件钩子、按需加载 Skill、会话分支、子 Agent、RPC 集成、自定义 Provider 和 Pi Package,每章提供可运行 TypeScript 示例,要求 Node.js 24+,文本采用 CC BY 4.0、代码采用 MIT 许可,并配套中英双语教程站。

    推荐理由:作者参照 learn-claude-code 的结构讲解 pi 的 harness 扩展机制,从自定义工具到 Pi Package 共 12 章都有可运行代码。

10月12日周一
  1. GitHub · 去对齐工具与仓库27

    课程实战项目:用 FastAPI 和 Gemini 构建客户反馈分析器

    这是一个 AI 课程实战项目:用 FastAPI 后端调用 Gemini 分析餐厅客户评价,返回 label、score(1-5)和单词主题字段,Streamlit 前端逐条调用后端并汇总平均分、好评比例与最高频主题。分析结果经 Pydantic 结构化输出,可存入 SQLite 的 feedback.db 表,单条坏评价不会中断批量处理。