跳到正文

方向

本地部署与推理 最新动态

把模型跑在自己机器上:量化、推理引擎、显存优化、微调与蒸馏,以及让更大的无对齐模型跑得起来的工程进展。

2,011 条精选近 30 天 538 条共收录 7,883 条

更新

精选归档 · 第 96 页

10月6日周二第 1901–1920 条
  1. GitHub · 去对齐工具与仓库59

    chatbot-quality-analyzer:无需人工标注的聊天机器人日志质量分析工具

    ismailmelikic 在 GitHub 发布 chatbot-quality-analyzer,可无需人工标注即可分析聊天机器人日志:用多语言句子嵌入加 KMeans 自动发现话题,用语言规则从回复文本检测失败(含转人工、重复提问等信号),并输出周度失败率趋势与可引用数据的管理报告。

    推荐理由:这个开源工具用多语言嵌入加规则检测来分析聊天机器人日志,README 还给出与 TF-IDF 的 ARI/NMI 对比数据。

  2. Reddit · r/LocalLLaMA58

    Cactus 发布 16.9MB 语音识别模型 Whistle,体积为 Whisper base 的 1/9

    Cactus Compute 发布面向超小型设备的语音识别模型 Whistle,文件仅 16.9MB,官方称多数场景优于 Whisper base,且体积小 9 倍、速度快 6 倍。

    推荐理由:原文给出了与 Whisper base 在 LibriSpeech、FLEURS 等基准上的 WER 对比数据,可据此评估小体积语音识别模型的实际精度。

  3. Reddit · r/LocalLLaMA62

    Reddit 用户自建自托管多智能体平台 Eidon 开源

    Reddit 用户 /u/Quack66 因认为 Grok bot、Muse 等托管 Agent 工具存在隐私问题,且 Hermes、OpenClaw 等本地方案需要拼接过多组件,自建了自托管 AI 平台 Eidon 并以 AGPL-3.0 开源。

    推荐理由:作者因不放心把账号和文件交给托管 Agent 而自建了 Docker 一键部署的自托管方案,数据不出服务器,适合关注本地隐私的读者参考。

10月5日周一
  1. Reddit · r/LocalLLaMA73

    Qwen3.8-Flash-Next (125B) 量化权重与 Kyojin 引擎发布,单台 Strix Halo 迷你主机跑出 44-59 tok/s

    Yamz Labs 发布了 Qwen3.8-Flash-Next(125B MoE,6B 激活)的 95 GB EXL3 量化权重和自研推理引擎 Kyojin 新版本(基于 ExLlamaV3,开放源码),可在单台 AMD Strix Halo 迷你主机(Ryzen AI Max+ 395,128 GB)上运行。

    推荐理由:作者给出了与 FP8 原模型的 top-1 一致率以及和 Halogen、llama.cpp 的同机对比数据,可据此评估这套量化方案的实际取舍。

  2. Reddit · r/LocalLLaMA58

    本科生发布自研 4-bit Qwen2.5 量化模型,fp16 精度保持优于官方 AWQ

    一位本科生在 Claude 辅助下开发了一个 GPTQ 量化器,在 Qwen2.5-1.5B 和 7B 上产出 4-bit 权重,由 M. Federico 在 NVIDIA A10G 上用独立脚本复现结果。

    推荐理由:作者给出自建 GPTQ 量化器的具体改进点,并附 fp16 与官方 AWQ 的困惑度和 HumanEval 对照数据,还坦陈了局限。

  3. GitHub · 去对齐工具与仓库60

    rickyparmar 开源多语言印度政府福利计划匹配工具

    rickyparmar 在 GitHub 发布 multilingual-scheme-matcher,一个完全本地、免费的工具,用英文或 Hinglish 描述个人情况即可匹配可能符合资格的印度政府福利计划,并给出逐条规则解释。

    推荐理由:原文给出了完整架构与数据管线,匹配逻辑是可审计的规则代码而非纯 LLM 判断,可复用的本地部署思路清晰。

  4. GitHub · 灵魂体仓库71

    dawnr v5 发布:带七重数学证明的本地编程助手

    trestoncuzzort 发布 dawnr v5,一个基于 Qwen3.5-4B 微调的本地助手,程序答案由 Dafny、Verus、SPARK、Frama-C、Lean 4、Rocq、F* 七个证明器验证后才输出,否则明确拒绝。

    推荐理由:原文不仅给出发布,还附完整实测数字、三次当日勘误和各模型对照表,读者可据此核验每个结论的来源。

  5. Reddit · r/LocalLLaMA63

    小本地模型自写测试实测:77% 的测试套件拒绝了正确代码

    作者在 GTX 1660 SUPER 6GB 上用 qwen3-1.7b、qwen2.5-coder-1.5b、llama-3.2-1b、smollm2-360m 四个 GGUF 模型搭建"写契约-写测试-写代码-修复"流水线,6 个编码任务共 785 次调用。

    推荐理由:作者用已知正确解法检验小模型自写测试,并修正了统计口径,给出了可复现的流水线与仓库。

  6. Reddit · r/LocalLLaMA67

    Project Athena 开源:用 Git 版本化 Markdown 把本地编码 Agent 的 KV cache 压到 2K token 内

    作者开源了 Project Athena v9.9.9 内核(MIT 协议),用 Git 版本化的 Markdown 文件把状态存磁盘而非上下文窗口,/start 只加载检查点和核心约束,使 KV cache 保持在 2K token 以内,90% 以上上下文留给代码与推理。

    推荐理由:作者用 1900 多个真实会话验证了把状态放磁盘的做法,给出了 KV cache 压到 2K token 内和 prefill 延迟的具体变化。

  7. Hugging Face · 新模型:uncensored58

    Qwen3.5-2B 去审查量化版 Q4_K_M 发布,附 Pareto 最优配方与复现配置

    作者发布基于 Abliterix SOM 方法对 Qwen3.5-2B 去审查后的 Q4_K_M 量化版本,选用综合表现最优的 Trial #107,拒绝率 0.49%(2/408),KL 散度 0.2686 nats/token。

    推荐理由:原文给出各拒绝率档位的 Pareto 最优解及 KL 散度数据,读者可据此比较不同去审查配方的拒绝率与知识损伤权衡。

  8. Hugging Face · 新模型:uncensored64

    jessedye90 发布 Qwen3.8-Flash-Next Swift 1.5 微调版的无对齐量化权重

    jessedye90 发布 qwen3.8-flash-next-swift-uncensored,在 UkisAI Swift 1.5 对 Qwen3.8-Flash-Next 的 INT4 W4A16 微调权重内投影掉拒绝方向,文件布局、大小和推理速度与基座一致。

    推荐理由:原文给出量化网格内消融的具体做法和 AdvBench、代码任务等前后实测对比,可据此评估去对齐的代价。

  9. Hugging Face · 新模型:abliterated66

    Qwen3.8-Flash-Next GSQ-RCO 消融版 GGUF 发布,144 个张量移植保留 GSQ 量化

    KilltheSniper 发布 Qwen3.8-Flash-Next-GSQ-RCO-abliterated-GGUF,在已量化的 ISTA-DASLab GSQ-RCO 权重内直接移植 144 个张量(覆盖全部 48 层)实现去对齐,不重算任何 GSQ 学到的量化值,消融源为 orcarouter 的 Uncensored 版本。

    推荐理由:原文给出逐张量 blake2b 校验和 Strata 实测速度对比,读者可以据此判断这种免重量化的张量移植方案损失了多少。

  10. Hugging Face · 新模型:uncensored74

    jessedye90 发布 qwen3.8-27b-swift-uncensored 无对齐版本

    jessedye90 发布 qwen3.8-27b-swift-uncensored,在 UkisAI 的 Swift 1.5 对 Qwen3.8-27B 的 NVFP4/FP8 量化微调基础上,将 OrcaRouter 消融得到的拒绝方向从权重中投影移除,编辑在原量化网格内完成,文件布局、大小和推理速度与基座一致。

    推荐理由:原文给出消融方向、量化网格内编辑方法和 AdvBench 拒绝率 100% 到 0% 的实测对比,可据此评估该去对齐版本的实际改动幅度。

  11. Reddit · r/LocalLLaMA62

    OntoPrune 开源:神经符号上下文剪枝让 Ollama 本地 CPU 的 TTFT 快 6.7 倍

    作者发布开源中间件 OntoPrune(MIT 协议,https://github.com/vigmarcarlo/OntoPrune),通过把源码转为内存知识图谱、用 SPARQL 提取所编辑函数的 1-hop 闭包并渲染成类型化 Python stub,压缩上下文并校验生成代码。

    推荐理由:作者给出完整基准数据,展示用神经符号上下文剪枝在本地 CPU 上把 TTFT 从 22.4 秒降到 3.3 秒的可复现做法。