跳到正文
10月7日周三
  1. GitHub · 灵魂体仓库66

    reponse_opti:用 12 行规则让 Claude、ChatGPT 等助手写出受控法语

    friteuseb 在 GitHub 发布 reponse_opti 仓库,提供 12 行规则让 Claude、ChatGPT、Codex、Cursor 等助手以受控法语写作,灵感来自 Andrej Karpathy 建议让 LLM 按 80% ASD-STE100 航空维护标准解释。作者用 Claude Sonnet 5.5 在 10 个技术问题上做四条件盲测,由 Claude Opus 5.5 评判,v3 版分场景处理,行动类回答 7/10 更清晰且 8/10 更有用,解释类 10/10 更清晰但丢失 49% 信息,Kandel-Moles 可读性分从 78.5 升至约 84。规则可复制进 CLAUDE.md 等规则文件,或作为 Claude Code skill 按需启用,MIT 许可。

    推荐理由:作者把 Karpathy 提到的 ASD-STE100 受控写作移植到法语,并附上四条件对比实测数据,方法可直接复用到 Claude Code 等工具。

  2. GitHub · 去对齐工具与仓库26

    Text-LLM-Training-from-scratch:从零训练你自己的文本 LLM

    GitHub 项目 Text-LLM-Training-from-scratch 提供从零构建、训练和调优语言模型的教学工具,覆盖 tokenization、预训练、SFT 以及 DPO、GRPO 等对齐流程。项目基于 PyTorch,要求 Windows 10/11、Intel 或 AMD 多核处理器、16 GB 以上内存、显存至少 8 GB 的 NVIDIA GPU 和 20 GB SSD 空间,通过 .exe 安装包在本地运行。

  3. GitHub · 灵魂体仓库65

    alicexl/mini-agent:用 6 个 demo 拆解 Agent 工程底层机制

    alicexl 在 GitHub 开源 mini-agent 项目,用 6 个递进的最简 demo 拆解 Claude Code、Cursor、Devin 这类自动干活工具的底层机制,核心公式为 Agent 效果 = LLM 能力 × Agent 工程。demo1 为 ReAct 循环 base,demo2-6 分别正交叠加记忆、工具扩展、规划、多 Agent 与约束五条轴;每个 demo 附讲稿、约 400-720 行可直接运行的 agent.py 和 README,默认通过智谱 BigModel 的 Anthropic 兼容网关调用 glm-5.2 模型,换官方 API 只需改 BASE_URL 和 MODEL。

    推荐理由:用 6 个递进可运行的 demo 拆解 ReAct、记忆、工具、规划、多 Agent 与约束各轴,适合想从零看懂 Agent 工程底层机制的读者。

  4. GitHub · 灵魂体仓库50

    losophy/llm-finetuning-guide:大语言模型 LoRA 与 QLoRA 微调学习路线指南

    GitHub 仓库 losophy/llm-finetuning-guide 记录大语言模型 LoRA 与 QLoRA 微调的学习路径,分为原理、Unsloth 纯代码跑通 Qwen2.5 微调、LlamaFactory 工业化封装、评估部署四个阶段,并含用蒸馏把 7B 模型知识灌进 0.5B 小模型的实战。仓库整理了 Unsloth(加速 2-5 倍、显存减半)与 LlamaFactory(71K+ Stars)等实战资源清单,强调 70% 时间应花在洗数据、100 条精品数据优先于 10000 条脏数据等心法。

  5. GitHub · 去对齐工具与仓库27

    LLM-from-scratch-Python:用 PyTorch 从零构建大语言模型的分阶段教程

    GitHub 项目 LLM-from-scratch-Python 提供用 PyTorch 从零构建大语言模型的分步教程,分 10 个阶段覆盖从分词、嵌入到注意力机制。内容包含基于 tiktoken 的 BPE 分词(GPT-2 词表 50,257 tokens)、Q/K/V 自注意力、因果掩码与多头注意力,每阶段以独立 Jupyter notebook 呈现,依赖 torch、tiktoken 和 numpy。

  6. GitHub · 去对齐工具与仓库42

    pankajkr23/llm-pretraining-exercises:LLM 预训练实战练习仓库

    GitHub 上的 llm-pretraining-exercises 仓库提供 LLM 预训练实战练习与 capstone 项目,从最小 Transformer block 到真实训练运行。练习涵盖 BPE 分词、面向 India-first 40B 模型的数据收集(145 个数据集)、清洗去重、V5 训练配方、tokenized shards 数据集构建、Kronecker byte embeddings v2,以及从 Bahdanau 2014 到 2026 年 8 月高维 RoPE 的 30 种注意力机制时间线。技术栈为 Python 3.12 + uv workspace,配 ruff、pytest 与 GitHub Actions CI,网页练习零依赖部署到 Vercel。

  7. GitHub · 去对齐工具与仓库35

    intale/learn_llm:用 Rust 从零实现 LLM 的开源课程

    GitHub 上的 intale/learn_llm 是一门通过用 Rust 从第一性原理逐块实现来学习现代大语言模型工作原理的本地化课程,已发布第 0 章导览和第 1–39 章,支持英文和俄文。第 39 章以一个确定性的 1,188 参数训练到生成示例串联各部分,计划中的第 40–85 章将扩展至可用的笔记本级训练与推理路径。课程由 AI agent(codex 5.6-sol ultra)生成,可能存在不准确之处。

  8. GitHub · 灵魂体仓库37

    LLM 聊天界面教程:用 FastAPI 与 Ollama 从零构建聊天应用

    GitHub 上的 Rohan-mgn/LLM-chat-interface-tutorial 是一个 LLM 聊天包装教程,按 8 个阶段拆成多个独立 FastAPI 应用,涵盖会话历史、system prompt、流式输出、Markdown 渲染、SQLite 持久化、聊天搜索与语法高亮等 16 课。教程使用 llama3.2:3b 模型,前端采用 Marked 与 DOMPurify 做 Markdown 转换和净化,全部 8 个阶段标记为完成。

  9. GitHub · 去对齐工具与仓库41

    GitHub 开源项目 project84:12 周从零手写 ML 与 AI 工程(NumPy 到 Transformer 到 RAG)

    GitHub 上的 project84 提供一份 12 周、6 个 sprint 的训练计划,不借助 AI 助手从空白文件手写 ML 与 AI 工程代码,覆盖 NumPy、经典 ML、神经网络、Transformer,直至可运行的 RAG 应用。每个 sprint 为期 14 天、含 6–12 个条目,所有条目配 pytest 测试,输出须与 NumPy、scikit-learn、PyTorch 等库在默认 1e-6 容差内一致。计划面向掌握基础 Python 与核心 ML 概念者,Sprint 5–6 需 API key 或 Ollama 本地模型。

  10. GitHub · 去对齐工具与仓库25

    BabyGPT:从最小神经网络思想逐层重建小型 GPT 的学习路径

    BabyGPT 项目正从最基础的神经网络概念出发逐步重建一个小型 GPT,当前推进到步骤 08-12,包括 Token→Number、Word Prediction、Context→Token、Embedding、Attention 及 Attention v2。各步骤先用简单打分表和查找表实现,softmax、可学习的 Q/K/V 矩阵和多头注意力留待后续;早期词预测实验代码保留在 old_experiment/ 目录作参考。

  11. GitHub · 灵魂体仓库37

    data-engineering-handbook:一站式数据工程知识手册(含 AI/LLM 工程)

    GitHub 上的 data-engineering-handbook 仓库将数据工程知识整理为按学习顺序编号的模块,覆盖 foundations、storage、processing、orchestration、streaming、quality-governance、infrastructure、AI、architecture、interviews 和 reference,全部指南按 Basic → Intermediate → Advanced 分级并附可运行代码示例。

  12. GitHub · 去对齐工具与仓库22

    Anto-87 发布 Enterprise AI Engineer RoadMap 学习路线仓库

    GitHub 用户 Anto-87 开源 Enterprise AI Engineer RoadMap,一个面向软件工程师的实战学习仓库,覆盖 LLM、Prompt Engineering、RAG、LangChain、LangGraph、Agentic AI、FastAPI、Docker、Kubernetes 与 LLMOps 等模块。仓库以项目驱动学习,包含完整 Enterprise Retail AI 案例,用 RAG 和多智能体架构构建 Sales、Inventory、Procurement、Strategy 等智能体。

  13. Reddit · r/LocalLLaMA18

    在 Apple Silicon Mac 上用 SQLite + Ollama 搭建全本地个人笔记 RAG:嵌入模型与混合检索选型讨论

    一位用户在 r/LocalLLaMA 征求全本地个人笔记 RAG 的选型建议:技术栈为 SQLite + sqlite-vec + FTS5,用 Ollama 在 Apple Silicon Mac 上做嵌入与生成,语料为约 512 token 分块的 Markdown 笔记与 JSON 记录。嵌入模型在 nomic-embed-text、qwen3-embedding:0.6b 与 embeddinggemma 之间犹豫,并询问 FTS5 BM25 与向量余弦混合融合的拼写容错与融合陷阱。

  14. Reddit · r/LocalLLaMA60

    Mac Studio M5 Ultra 256GB 单机跑四个开源模型做真实 Agent 工作的实测

    作者在一台 Mac Studio(M5 Ultra,256 GB 统一内存)上同时驻留四个开源模型,按大模型/小文本/小视觉/决策四槽位分工处理真实 Agent 工作。工作档为 Qwen3.8 Flash Next(99 GB)+ Gemma 4 26B 4-bit + Qwen 3.6 35B-A3B + Clef-Flash 9B,留 82 GB 给上下文;智能档为 DeepSeek V4 Flash 4-bit(常驻 128 GB)。实测吞吐:Qwen3.8 Flash Next 生成约 51-58 tok/s(投机解码草稿接受率 55-65%),DeepSeek V4 Flash 生成 27-31 tok/s。

    推荐理由:作者实测了四模型共驻一台 Mac Studio 的内存预算与吞吐数据,还给出本地模型尚不能胜任规划角色的具体分工方案。

  15. GitHub · 灵魂体仓库44

    tal-giladi 发布 frontier-llm-research-course:面向前沿 LLM 研究实验的进阶课程

    tal-giladi 在 GitHub 发布 frontier-llm-research-course,这是 LLM Research Engineer 课程的进阶篇,围绕注意力、长上下文、优化器、后训练、推理 RL、Agent 和可解释性等研究问题,以 DeepSeek、Qwen、Kimi、gpt-oss、Gemma、Llama、OLMo 等公开模型为案例设计实验。主路径需租用 GPU(单卡 48–80 GB 至 8-GPU 节点),全程预计约 650–1,150 H100-hours,每个实验同时提供免费 Colab/Kaggle T4 和 CPU 版本。必修课程共 20 个模块,最终 capstone 要求复现并扩展一篇近期论文。

  16. GitHub · 灵魂体仓库20

    helloworldsmart 开源 awesome-ai-learning-world:按技能分类的 AI 学习资源精选目录

    GitHub 上的 helloworldsmart/awesome-ai-learning-world 是一份按技能分类的 AI 学习资源精选目录,收录课程、论文、书籍与文档,覆盖机器学习、深度学习、NLP、LLM、AI Agents、MLOps、计算机视觉等方向。所有资源须满足官方来源、作者可验证、免费或可旁听、仍在有效期内等收录标准,并提供 Hello AI World 等现成学习路径;同一目录也为 AI Learning World 平台提供数据,用户可将其放入学习看板并追踪进度。

  17. GitHub · 去对齐工具与仓库18

    AI Workflow Navigator:面向非技术人员的 AI 工作流入门指南(GitHub 仓库)

    GitHub 仓库 AI Workflow Navigator 面向非技术用户,将 AI 使用分为三层:无代码工具与提示词、API 集成(OpenAI、Claude)、自动化工作流。仓库承诺首个指南即可让用户每周节省至少 30 分钟,提供提示词模板、零代码 API 配置、成本削减策略(用 Claude Haiku 或 GPT-4o-mini 处理 90% 任务)等内容,支持 Windows、macOS、Linux 等系统。

  18. GitHub · 灵魂体仓库31

    ChatGPT 辅助 SOC 安全运营实验:LLM_Alert_Triage_Investigation 展示告警分诊到升级的全流程

    一个 GitHub 实验仓库演示如何用 ChatGPT 辅助 Tier-1 SOC 分析师开展安全调查,围绕一次模拟身份认证事件展开九个步骤,覆盖告警分诊、证据关联、KQL/SPL 查询生成、MITRE ATT&CK 映射、幻觉检测与事件文档等技能。工作流为"场景/证据 → 提示词 → LLM 输出 → 分析师验证",LLM 仅作调查助手而非最终决策者。示例中 LLM 识别出 j.smith 账户在约 2 分 9 秒内来自 198.51.100.74 的 8 次失败登录后 1 次成功登录,可能符合暴力破解模式但未确认为恶意行为。

  19. GitHub · 灵魂体仓库67

    readytensor 开源从零构建编码 Agent 的系列配套代码仓库

    readytensor 在 GitHub 开源 Building AI Agents 视频系列的配套代码仓库,用纯 Python 和模型 API 从单个 bash 工具的 while 循环逐步构建编码 Agent,逐集加入 tools、skills、subagents 和完成验证门。实战项目为 md2html,最终在同一 Agent 上跑 SWE-bench Verified 评测,兼容 OpenAI、Groq、DeepSeek、Ollama 等 OpenAI 兼容端点;仓库提示 bash 不受沙箱限制,建议在 Docker 或虚拟机中运行自定任务。

    推荐理由:逐集用代码 diff 讲清从 while 循环到 skills、subagents、验证门的 Agent 构建路径,方法可直接迁移到自己的项目。

  20. GitHub · 灵魂体仓库25

    rag-doctor:开源 RAG 流水线诊断工具发布

    GitHub 开源工具 rag-doctor 用于检测 RAG 系统中的常见问题,可扫描代码与配置,发现缺失检索、数据分块不当、嵌入向量不匹配和向量数据库配置错误等缺陷。工具提供分析报告、组件与数据流图视图、日志,并支持导出为 text 或 CSV、兼容 LangChain 和 LlamaIndex,源代码可在 GitHub 获取。

  21. GitHub · 灵魂体仓库20

    blindbench:去除品牌信息的 AI 模型盲测工具使用指南

    GitHub 上的开源工具 blindbench 通过隐藏公司名称和品牌的方式盲测 AI 大语言模型,支持 100+ 模型对比,提供答案真实性评分、推理错误检查和排行榜。应用面向 Windows 10/11,需 4 GB 内存和 1 GB 存储空间,无需编程经验即可使用,且不收集个人数据、不含广告。

  22. GitHub · 去对齐工具与仓库68

    在 macOS Recovery 模式跑 LLM 推理,为 64 GB Mac 多挤出约 2.3 GB GPU 内存

    作者 Dmitriy-Romanov 发布 recoveryos-llm 仓库,介绍在 macOS Recovery 最小系统里启动 LLM 服务器的方法:64 GB M1 Max 上 GPU 可用内存从正常系统的 55.4 GB 提升到 57.6 GB,多出约 2.3 GB。方法是用 sysctl iogpu.wired_limit_mb=59000 提高 wired limit,配合 MLX 系服务器(SUSHI)运行 176B MoE 量化模型 Qwen3.8-Flash-Next-Sushi-3bpw(约 49 GB 权重),并给出挂载磁盘、启动服务器、Wi-Fi 连接的完整命令。

    推荐理由:作者实测在 Recovery 模式下启动 LLM 服务器可多出约 2.3 GB GPU 内存,并给出具体命令和余量经验值,方法可直接复用。

  23. GitHub · 灵魂体仓库61

    yeasy 开源《大模型安全权威指南》:覆盖提示注入、越狱与智能体安全攻防

    yeasy 在 GitHub 开源《大模型安全权威指南》,提供 GitBook 在线版与 PDF 下载,系统梳理提示注入、越狱、数据投毒等攻击手段及防御与治理,采用 CC BY-NC-SA 4.0 许可证。全书以不可靠执行者模型和 CAS 原理为主线,区分只能降低攻击频率的防护与能给后果设上界的机制,并附三个基于合成数据的可运行实验(邮件助手、支付预算、RAG 轨迹),配有变异验收。

  24. GitHub · 灵魂体仓库43

    LLM_wiki_Inteligencia_Artificial:基于 Karpathy LLM Wiki 模式的 AI 课程个人学习 Wiki

    这是一个大学人工智能课程的个人学习 Wiki 仓库,由 LLM 按 Andrej Karpathy 的 LLM Wiki 模式维护。原始资料(幻灯片、论文、作业)由本人管理、LLM 不得编辑,Wiki 层内容由 Claude Code 等 Agent 依据 CLAUDE.md 规范写入并记录在 wiki/log.md。项目附带 lint、搜索、Anki 卡组等 Python 工具,页面为英语术语加西班牙语讲解的双语形式。

  25. Reddit · r/LocalLLaMA71

    Qwen3.8-27B 量化方案:12GB VRAM + 8GB RAM 跑出约 18 tok/sec

    /u/bodhi371 用 ISTA-DASLab 的 Qwen3.8-27B-GSQ-RCO IQ3_S 量化(约 11GB),在 12GB VRAM + 8GB RAM 上以 llama.cpp 跑通 Qwen3.8-27B,64k 上下文下解码约 18 tok/sec、prefill 约 500-600 tok/sec。作者称这是其测过的最佳量化,GSQ-RCO 表现接近全精度;能塞下是因为混合架构只需 16/64 层 KV cache,q4_0 缓存下 64k 仅约 1.1GB。

    推荐理由:作者给出了在 12GB VRAM 上跑通 Qwen3.8-27B 的完整量化方案与参数,附可复现脚本和实测速度数据。

  26. Reddit · r/LocalLLaMA74

    Qwen3.8 27B 如何在 16GB 显存上跑出 131k 上下文:实测经验与指南

    /u/randomgenericbot 在 r/LocalLLaMA 分享在 16GB 显存(RTX 5060 Ti + 单通道 DDR5)上运行 Qwen3.8 27B 的经验:使用 ISTA-DASLab 的 GSQ-RCO IQ3_S 量化(https://huggingface.co/ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF),与朋友在 H200 上跑的 Q8 对比几乎无法区分。

    推荐理由:作者实测了 Qwen3.8 27B 在 16GB 显存下的量化选型与 KV 流式方案,并给出各上下文档位的实测速度数据。

  27. GitHub · 去对齐工具与仓库34

    botextractai 开源 LLM 预训练示例项目:以 TinySolar-248m-4k 演示 continued pretraining

    GitHub 上的 ai-pretraining-llm 项目以 TinySolar-248m-4k 模型为例演示 continued pretraining,通过调整权重让模型更好地预测下一个 token,示例仅跑 30 步训练。项目用 Weights & Biases 监控训练过程,可在 CPU 上运行,GPU 用户可将 main.py 中 device_map 改为 auto 提速。文中指出从零预训练成本可达数十万美元、耗时数周甚至数月。

  28. GitHub · 去对齐工具与仓库32

    佐治亚州立大学 CIS 4394 智能体 AI 课程仓库上线

    佐治亚州立大学 J. Mack Robinson 商学院推出 CIS 4394 智能体 AI 本科课程,由 Dr. Xinyu Fu 讲授,内容覆盖 agent loop、工具调用、MCP 与 A2A、RAG、评测、多智能体与治理,并以个人 capstone agent 收尾。课程每周发布交互式迷你站点,实验使用 LangGraph、LangSmith Fleet、Google Opal、Codex CLI、GitHub Copilot 等生产级工具,全部工具免费层可用,无需付费 API key。

  29. Reddit · r/LocalLLaMA60

    用 Docker compose 加 socat 网关阻止不可信容器外传数据

    Reddit 用户 /u/dtdisapointingresult 分享一种防止不可信 Docker 容器向外上传本地数据的方法:在 docker-compose 中将服务放入 internal 的 isolated_network,并用 alpine/socat 作为网关只转发入站请求,出站连接被阻断。socat 容器仅占约 1.2MB 内存,作者还建议用 docker compose 替代 docker run,并附上 cap_drop、no-new-privileges 等可选加固配置。

    推荐理由:作者给出可直接复用的 docker-compose 配置,用 socat 网关隔离不可信容器的出站流量,额外开销仅约 1.2MB 内存。

  30. Reddit · r/LocalLLaMA62

    llama.cpp 官方 ROCm 预编译版在 AMD 上可能静默回退到 CPU 运行

    Reddit 用户 /u/oppoftemp27 发现,在四台 AMD 主机上,llama.cpp 官方 ROCm 预编译版(b11327)从未真正使用 GPU,服务启动正常、/health 显示绿色,实际一直在 CPU 上运行。原因是预编译版的 HIP 后端需要 libamdhip64.so.7 / libhipblas.so.3 / librocblas.so.5,而装有 ROCm 6.3.0 的 Ubuntu 主机只有 .so.6 / .so.2 / .so.4,后端库加载失败后 llama-server 静默改用 CPU,控制台无报错,-ngl 999 也无效。作者建议用同一提示词集在 CPU 版上对比每条耗时,比值约 1.0 说明在跑 CPU,远低于 0.5 说明 GPU 正常工作。

    推荐理由:作者给出官方 ROCm 预编译版静默回退 CPU 的具体库版本原因,以及用 CPU 对照跑分检测该问题的可复用方法。

  31. Reddit · r/LocalLLaMA12

    在 2B 法律语料上 CPT 微调 Qwen3.5-9B 后,如何恢复 Instruct 与思考能力?

    一位 r/LocalLLaMA 用户计划对 Qwen3.5-9B 在 2B 规模法律语料上做 CPT 继续预训练,询问如何将其恢复为 Instruct 与思考模型:是否通过蒸馏回 instruct 版本、该参数量能否具备 agentic 能力,以及如何用法院判决等原始数据合成训练数据,在其调用 vector_search_laws() 与 graph_search() 的 harness 中做 SFT 和 RL。

  32. GitHub · 灵魂体仓库54

    QLoRA 微调 Qwen3-4B 替代工单分诊中的 Claude 调用实测

    作者微调 Qwen3-4B-Instruct-2507(QLoRA)处理德/英太阳能与热泵支持工单并输出校验 JSON,在 25 张真实工单上 CORE 准确率 0.76 对 Claude Sonnet 4.6 生产调用的 0.72,schema 有效率 100%,每千张工单成本 $0.29 对 $5.11,T4 上延迟慢约 1.4 倍。训练用约 3,500 张 Claude Haiku 4.5 生成的合成工单(约 $1.40),Unsloth + TRL 在免费 Colab T4 上跑 2 个 epoch,合并 fp16 后用 vLLM 部署;盈亏平衡点约每月 48,000-50,000 张工单,未调优的 Qwen 准确率仅 0.28 schema 失败率 28%。

  33. GitHub · 去对齐工具与仓库44

    Transformers From Scratch:从第一性原理拆解现代 LLM 架构与后训练的开源指南

    GitHub 开源项目 Transformers From Scratch 将现代大语言模型拆解为 8 大模块、23 个原子组件,覆盖从 Word2Vec 静态嵌入到 GRPO、DeepSeek-R1、OpenAI o1 等推理强化学习。每个组件按“为什么、定义与架构、数学推导、真实 NLP 案例”四部分讲解,并附完整架构依赖图,内容涉及 RoPE、KV-Cache、RMSNorm、SwiGLU、DPO 等技术。

  34. Reddit · r/LocalLLaMA60

    Qwen 3.8 27B 在 16GB RTX 5080 上用 NInfer 跑出约 96t/s 解码、110k 上下文

    /u/Kernoriordan 在 16GB RTX 5080 上用 NInfer v1.5(Ubuntu 24.04 经 WSL2)运行 Qwen 3.8 27B,分配 110,592 上下文,编码任务实测中位解码 96.45t/s(最低 84.6、最高 131.7),中位首 token 时间 1.4 秒。

    推荐理由:作者给出 32 次真实编码请求的解码速度、TTFT 和显存占用数据,可复现的启动参数对 16GB 显卡本地部署有直接参考。

  35. GitHub · 去对齐工具与仓库58

    LLM_Hub_Linear_Algebra:面向 AI 工程师的 12 套线性代数交互讲义上线

    BrendanJamesLynskey 在 GitHub 发布十二套线性代数演示讲义,覆盖向量、矩阵、SVD 到张量代数,并将每个概念落到 Transformer 具体组件,包括 MLP 上下投影、注意力作为随机矩阵乘、LoRA/MLA 低秩技巧、RoPE 的 2D 旋转、FlashAttention 的分块 GEMM 以及 einsum 与大模型并行。

    推荐理由:十二套交互式讲义把线性代数逐条落到 Transformer 具体组件上,从 LoRA 到 FlashAttention 都有对应可视化,可按需单章查阅。

  36. Reddit · r/LocalLLaMA27

    Reddit 用户 jjusko20 征集需求:为哪些模型制作新的 GGUF 动态量化版本

    Reddit r/LocalLLaMA 用户 jjusko20 表示将在训练 alice 的 SFT 运行间隙,为社区票选的模型制作 GGUF 动态量化版本(如 Q5 K XL),按不同 tensor 类型的影响进行量化。他称不会达到 unsloth 水平,但可做出质量不错的版本,也接受微调、论文实现等其他需求,以提升求职曝光度。