跳到正文
今天10月27日周二1 条
  1. Reddit · r/LocalLLaMA63

    Qwen3.5-4B 神经元转向交互式 playground 发布,可在浏览器 WebGPU 本地运行

    Reddit 用户 /u/xenovatech 受 X 上神经元转向玩法启发,发布了交互式 playground,模型完全在浏览器内通过 WebGPU 运行。转向 Qwen3.5-4B 的两个神经元即可让模型谈论伤害、支配和毁灭用户,其他组合可让模型过度道歉、全大写写作或扮演动漫角色。工具地址:https://huggingface.co/spaces/webml-community/neuron-studio

    推荐理由:作者把 X 上流行的神经元转向玩法做成了可在浏览器本地运行的交互工具,读者可以自己动手复现这些组合。

10月26日周一
  1. GitHub · 去对齐工具与仓库44

    a9lim/llmoji:让 AI 编程智能体每条消息开头用颜文字的 CLI 工具

    GitHub 开源项目 llmoji 是一个 CLI 工具,可配置 Claude Code、Codex、Grok 等 agent 在每条消息开头使用 kaomoji(颜文字),并将本地记录汇总后上传至共享 HuggingFace 数据集 a9lim/llmoji。2.2.0 修复了三处记录漏洞:codex-cli 0.144–0.158 新会话格式导致 Codex 停止记录、Claude Code 常漏记每轮最后一条消息、OpenClaw 插件安装位置错误,并新增 Grok Build 与 Antigravity 支持;1.2.0 之前的版本存在隐私问题,需通过 pip install --upgrade llmoji 升级后才能上传。

  2. GitHub · 3D 生成新仓库12

    开源项目:基于 Hugging Face 深度学习模型的多模态文本生成图像方案

    GitHub 开源项目 A-Multimodal-Approach-to-Text-to-Image-Generation-Using-Deep-Learning-Models 探索基于 Hugging Face 文生图模型的多模态生成。项目用 Python 和 React.js 构建交互界面,实验了 100+ 提示词变体,评估 500+ 张生成图像,从提示词遵循度、语义相关性和视觉质量三方面对比不同模型的输出。

10月24日周六
  1. GitHub · 去对齐工具与仓库45

    QFF:量化 Hugging Face 模型发布方声称数据的对照工具库 quant-fidelity-frontier

    GitHub 上的 Quant Fidelity Frontier(QFF)按发布方自己的声称指标(KLD、perplexity、top-1、benchmark、体积)排列各模型的 Hugging Face 量化版本,标注哪些量化更高效,所有数字逐字取自模型卡并附来源链接,不重新测量。项目覆盖 Qwen3.8-Flash-Next(481 个仓库)、DeepSeek-V4.1-Flash、GLM-5.3-Flash 等模型,提供只读 MCP server 供智能体查询量化声称与效率前沿,代码 MIT 许可、数据集 CC BY 4.0。

  2. GitHub · 灵魂体仓库62

    Heretic Directory 上线:可浏览的 Hugging Face abliteration 模型索引

    instax-dutta 发布 Heretic Directory,一个可浏览的 Heretic abliteration 结果索引站,快照收录 8,388 个仓库、6,320 个已验证、1,066 个上游基座模型、1,014 条消融配方,覆盖 64.8M 下载。站点通过爬取 README 卡片提取 KL 散度与拒绝数,按基座链路归类分组,得分 = 100 × (0.5 × (1 − 拒绝率) + 0.5 × 1/(1+KL));未上传权重的 unverified 卡片不得排第一,KL 低于 1e-4 的 27 条配方标记为不可信。所有指标均为自报、未复测,每日自动刷新,以静态导出部署在 Netlify,代码 MIT 许可。

    推荐理由:原文说明了如何把 Hub 上数千个 abliteration 仓库去重、验证并按 KL 与拒绝率排名,并写明所有数字均为自报未复测。

10月23日周五
  1. Hugging Face Blog44

    Hugging Face 推出 torch-neuronx 模型支持查询 Space:你的模型能否跑在 AWS Trainium 上一查便知

    Hugging Face 推出 torch-neuronx model support Space,可查询 Hub 上热门模型能否在 AWS Trainium 上原生运行,并提供可复现的 run.py 脚本。每条记录包含 Trainium core 分片数、含编译的总运行时间和峰值显存,结果来自公开数据集 aws-neuron/torch-neuronx-model-support,用户可通过 NEFF cache bucket 跳过编译。

  2. GitHub · 灵魂体仓库35

    raguram-3398 的 AI-engineer 仓库:如何通过一个个经过测试的项目构建可靠的 AI 软件

    GitHub 仓库 raguram-3398/AI-engineer 通过一系列自包含、带 README 的可测试项目,展示如何构建可靠的 AI 软件,包含两个已上线的 AI 产品。Sales Call Intelligence 每通电话约 $0.06,代码测试覆盖 95%,隐私测试移除 27/27 项个人信息;Multimodal RAG Engine 基于 52 份 FDA 文档(2,313 页)问答,92% 的答案声明可由引用页面支撑,20/20 道陷阱问题被拒答,每次回答约 $0.001。

  3. Hugging Face Blog70

    Microsoft 与 Hugging Face 发布 ThinkingBox-Training:用数据库评分作 RL 奖励后训练 Agent

    Microsoft 与 Hugging Face 发布 ThinkingBox-Training,在 GitHub 开源了将数据库终态可执行检查转化为 RL 奖励的后训练流程。用离线策略相对难度筛选出 187 个训练任务,对 Qwen3.8-27B 做 50 步 GRPO 后,ThinkingBox-Bench 507 个任务中每次都成功的任务从 38(7.50%)升至 107(21.10%),pass@1 从 51.70% 升至 60.78%,pass@20 略降 7 个任务;单个可靠任务成本从 $24.36 降至 $8.00。

    推荐理由:把数据库终态检查直接用作 RL 奖励的完整训练配方,任务筛选方法和成本变化都给了数据,可迁移到有状态 Agent 训练。

  4. GitHub · 灵魂体仓库64

    千问杯多模态大赛第3名方案开源:Qwen3.5-0.8B 蒸馏 SFT + GRPO 小剂量 RL 全流水线

    参赛队「广州智行科技」开源千问杯多模态推理大赛最终第3名(获2万元奖金)的完整方案:在 Qwen3.5-0.8B 上先蒸馏 Qwen3.6-27B 的 113K 样本做 SFT(初赛 41.8 分压线晋级),再用 GRPO 30 步小剂量 RL(决赛榜 20.2 分,第 9/20),答辩后终评第 3。仓库公开训练/导出脚本、真实日志与技术报告,权重托管于 Hugging Face;核心发现包括 RL 剂量轴在 30 步达峰、同权重 ZIP CRC 消融证明采样解码白送约 3 分、0.8B 模型 RL 池内学习量与平台分强反相关。

    推荐理由:作者用同权重 CRC 消融和剂量轴实验分离出每个增量的因果证据,0.8B 小模型 RL 剂量与遗忘的权衡刻画对类似场景可迁移。

10月22日周四
  1. GitHub · 灵魂体仓库31

    tech-news-rag-assistant:基于 RAG 的科技新闻问答助手

    GitHub 开源项目 tech-news-rag-assistant 是一个回答近期科技新闻问题的 RAG 助手,每个答案均基于真实文章并标注引用来源。系统采用 dense(BGE-large 嵌入)+ BM25 混合检索,经 RRF 融合和 cross-encoder 重排,由 Cerebras 上的 gpt-oss-120b 生成答案,并设防幻觉检索分数门槛。在 15 题的 golden set 评测中,Recall@5 达 1.000、MRR 0.967,忠实度与相关性均为 5.00(1–5 分)。

  2. GitHub · 3D 生成新仓库21

    rag-hr-policy-chatbot 开源:基于 RAG 的 HR 政策问答聊天机器人

    GitHub 上开源的 rag-hr-policy-chatbot 是一个 RAG 问答聊天机器人,可从 HR 政策文档中检索并回答问题。它用 Sentence Transformers 生成嵌入,以 ChromaDB 存储和检索文档块,并通过 Ollama 运行本地 llama3.2:3b 模型生成答案,无法检索到相关政策信息时会拒绝作答。项目还提供检索评估、阈值校准脚本及基于 Streamlit 的深色主题聊天界面。

  3. GitHub · 灵魂体仓库41

    SharpAI 2.0 发布:.NET 本地 AI 推理库,兼容 Ollama 与 OpenAI API

    SharpAI 2.0 发布,这是一个 .NET 本地 AI 推理库,支持嵌入、文本补全和聊天补全,仅使用 GGUF 模型,基于 LlamaSharp 构建,可提供 Ollama 兼容和 OpenAI 兼容的 REST API。新版本默认按各模型 GGUF 内置聊天模板渲染请求,重建了 React 19 仪表盘,新增多租户认证与 RBAC(默认关闭)、四种数据库支持、Prometheus/OTLP 可观测性,以及 C#、JavaScript/TypeScript、Python SDK。所有推理均在本地完成,无需云端依赖。

10月21日周三
  1. GitHub · 3D 生成新仓库19

    MGFlow 开源项目网站发布:单步视觉生成分布式训练统一框架

    shihaoyang0423 发布 MGFlow 项目网站,用于论文 "Unifying Distributional Training for One-Step Visual Generation",提供交互式 demo、模型权重下载与样本浏览。站点为无构建依赖的静态页面,内置原生 interactive ImageBench 排行榜(2026-10-21 快照:76 个 All models / 37 个 Local),支持查看指标、切换视图和导出 SVG,通过 GitHub Pages 部署。

10月20日周二
  1. Hugging Face Blog59

    Hugging Face 推出 TorchTPU 原生支持,Transformers 与 Diffusers 可直接运行在 TPU 上

    Hugging Face 官方宣布通过 TorchTPU 原生 PyTorch 后端,Transformers、Diffusers 和 Kernels 无需 torch_xla 或 JAX 即可原生运行在 TPU 上,用 device_map="tpu" 即可加载模型。附 Pallas kernel 与 torch.compile 支持,batch 64 下 Qwen3-30B-A3B 解码提速 21.5×、Gemma 4 26B-A4B 提速 12.8×;transformers 测试套件在 TPU 上 96.5% 通过,已报告 34 个问题并修复 19 个。

    推荐理由:官方给出了从 torch_xla 迁移到原生 PyTorch 后端的具体写法,还附带 kernel 加速倍数和 CI 通过率等实测数据。

  2. Hugging Face · 新模型:uncensored46

    hotocooo 发布 Qwen3.8-Flash-Next 专用 DFlash2 草稿模型(Uncensored 版)

    hotocooo 发布针对 DavidAU/Qwen3.8-Flash-Next-Abliterated-Uncensored-Turbo-Brilliance-50x-Reasoning-Instruct-GSQ-RCO-GGUF(IQ3_S)微调的 DFlash2 草稿模型,基于 incoai/Qwen3.8-Flash-Next-DFlash2 训练 3000 步,每 7-token 块接受草稿数从 3.568 提升至 3.796。该草稿模型非独立语言模型,输出与目标模型 greedy 结果完全一致。

  3. Hugging Face Blog58

    Hugging Face 发布 AnyLanguageModel 1.0,一年来本地模型接入 Apple 平台的成果

    Hugging Face 发布 AnyLanguageModel 1.0,它是 Apple Foundation Models 框架的 drop-in 替代,可让同一套 session 代码使用系统模型、llama.cpp/MLX/Core ML 开源权重模型及托管服务。1.0 版所有 provider 均支持工具调用与引导式生成,托管端支持 OpenAI、Anthropic、Gemini、Ollama、Hugging Face Inference Providers 等端点;同日发布 swift-huggingface 1.0 与 swift-xet 1.0,并可运行于 Linux。

    推荐理由:官方回顾了一年迭代脉络,并给出本地与托管推理共用一套 Foundation Models 风格 API 的具体做法,对 Swift 开发者有直接参考价值。

  4. Hugging Face Blog73

    Hugging Face 介绍 PyTorch 2.15 的 MPS 后端改进:FP8 登场,MoE 解码最高提速 6.5 倍

    Hugging Face 的 PyTorch 团队介绍 PyTorch 2.15 对 MPS 后端的改进:新增 float8_e4m3fn 张量与 F.scaled_mm,MoE 模型解码比 2.14 提速 5 到 6.5 倍,M3 Ultra 上 Qwen3.6-35B-A3B 从 9.4 升到 61.3 tokens/s,LFM2.5-8B-A1B 从 23.6 升到 123.6 tokens/s。线性层走专用 GEMV 内核(几何平均 1.23 倍),词表 softmax 约 8 倍加速;Wan2.2 视频 VAE 解码的驱动内存峰值从约 270 GiB 降到 8 GiB,并修复了 Qwen-Image-2.1 VAE 编码器在 MPS 上损坏图像的问题。

    推荐理由:Hugging Face PyTorch 团队亲述 MPS 后端改进细节,给出各模型的实测吞吐数字,Mac 上跑模型的读者可以对照评估升级收益。

  5. GitHub · 灵魂体仓库27

    Alibaba 开源 LLM 推理加速引擎 RTP-LLM(alibaba/rtp-llm)

    RTP-LLM 是阿里巴巴基础模型推理团队开发的 LLM 推理加速引擎,已在淘宝、天猫、闲鱼、菜鸟、高德、饿了么、AE 和 Lazada 等业务中广泛使用。2025 年 9 月发布 0.2.0 版本,增强性能并新增功能;2025 年 1 月支持 Prefill/Decode 分离,并在 Yitian ARM CPU 上支持 Qwen 系列模型与 bert 嵌入模型。引擎采用 PagedAttention、FlashAttention、FlashDecoding 等 CUDA kernel,支持 WeightOnly INT8/INT4 量化、自适应 KVCache 量化、Speculative Decoding,以及多机多 GPU 张量并行和单实例多 LoRA 服务。

  6. Hugging Face Blog57

    Hugging Face 发布 TorchNeuron:Transformers 等库原生支持 AWS Trainium

    Hugging Face 宣布 TorchNeuron 为 PyTorch 在 AWS Trainium 上的原生后端,自 2026 年 10 月 20 日起开放公测,可通过 pip install torch-neuronx 安装。

    推荐理由:官方给出了 TorchNeuron 与 Optimum Neuron 的模型支持率对比和可直接复用的推理与训练脚本,便于评估是否迁移到 Trainium。

  7. Reddit · r/LocalLLaMA62

    Blockway 自研 Agens Engine 让 32B 模型在 16 GB 显存预算内跑 262K 上下文

    香港小团队 Blockway 发布自研推理引擎 Agens Engine(MIT 协议)和 Volundr 32B 模型权重,72 层中 54 层用固定大小状态替代随 token 增长的 KV cache,长上下文溢出到系统内存。实测视频显示 110K token 小说冷读取约 69 秒,后续提问 0.5 秒内回答,GPU 显存峰值约 15.6 GiB;社区用户在 24 GB 卡上测得 86.4–106.7 tok/s。团队计划探索 MoE 变体、Windows/Apple Silicon 支持和紧凑桌面整机。引擎:https://github.com/BlockWayz/agens-engine

    推荐理由:香港小团队公开自研推理引擎的实测数据与设计取舍,长会话显存占用和后续提问延迟都有具体数字可查。

10月19日周一
  1. GitHub · 3D 生成新仓库58

    SwiftVinetas 开源:在 Apple Silicon 上用 FLUX.2 本地生成漫画分镜

    intrusive-memory 开源 SwiftVinetas,可在 Apple Silicon 上完全本地运行,通过 MLX 上的 FLUX.2 Klein 4B 和 PixArt-Sigma XL 从文本提示生成连续漫画分格,并提供 Swift 库和 vinetas CLI。Klein 4B 约每格 26 秒、需 16 GB 内存,PixArt-Sigma XL 约 10 秒、需 8 GB;支持 LoRA 风格、最多 3 张参考图保持角色一致性、YAML 批量提示词和从剧本解析 GLOSA <shot> 生成 storyboard。v0.23.0 加入九个按用户自己 API key 计费的云端模型,与本地引擎通过 EngineRouter 并存;所有生成的 PNG 都内嵌元数据。

    推荐理由:这个仓库给出了在 Apple Silicon 上纯本地生成连续漫画分格的完整方案,含内存占用与每格生成耗时,方法可迁移。

10月18日周日
  1. GitHub · 3D 生成新仓库36

    Media Workbench 0.2.0-alpha.10 发布:本地 Stable Diffusion 1.5 图像生成与局部重绘 Windows 应用

    开源实验性项目 Media Workbench 发布 0.2.0-alpha.10 预览版,这是一款基于 WinUI 3、C# 14、.NET 10 与 Rust 核心的 Windows x64 本地图像工具,支持从 Hugging Face 安装隔离的 Stable Diffusion 1.5 环境进行文生图。新版支持局部重绘:只重绘涂抹区域、其余像素不变,图片最长边最高 4096 像素,并提供 2×/4× 离线放大和可搜索 Library。图像生成需 NVIDIA GPU 至少 6 GB 显存和约 5 GiB 下载,视频生成仍在计划中。

  2. GitHub · 灵魂体仓库9

    sultanbekkazakov03 发布 financial-news-sentiment-market-modeling:用 FinBERT 与 LLM 建模金融新闻对市场的影响

    一个名为 financial-news-sentiment-market-modeling 的 GitHub 项目基于 FinBERT 与 LLM,结合多元回归等统计模型,分析金融新闻和股市公告对股价走势的影响,并面向投资者提供交互式风险看板。项目使用 Python 3.10+,技术栈包括 Pandas、Scikit-learn、Statsmodels、Hugging Face Transformers 和 Streamlit,由五名学生团队在数据挖掘与商业智能课程框架内开发。

10月17日周六
  1. GitHub · 3D 生成新仓库23

    XREPORT:本地优先的 X 光放射报告生成研究应用开源上架 GitHub

    GitHub 新仓库 XREPORT 是一款本地优先的研究应用,可从 X 光影像生成可编辑的放射报告草稿,支持数据集准备、本地模型训练与评估,并提供四个精选公开报告生成模型(前三个专注胸部 X 光,第四个为更广医学影像选项且需接受提供商条款下载)。应用还支持 MIMIC-CXR 数据集和本地训练的 Custom XReport 模型,生成结果须经合格专业人员独立审阅,定位为研究评估工具而非诊断设备。

  2. GitHub · 灵魂体仓库55

    minicpm-webapp:基于本地 MiniCPM-V 4.7 的图像分析与网站健康监控工具

    shank15217 在 GitHub 发布 minicpm-webapp,一个用本地 llama.cpp 运行 MiniCPM-V-4.7-1B 多模态模型的 FastAPI 应用,可描述分类图像并通过与基线截图比对检测网页篡改。判定由确定性的 dHash64+MAE 像素比对拥有,VLM 只对被标记的波段做单图旁白;支持 detail(f16,640×480 约 832 token)和 fast(-4x 下采样,约 223 token)双视觉模式,附 U1–U6 测试计划和 W1–W11 已知弱点清单(如亚 1% 面积改动可过阈值、存在 SSRF 缺陷建议仅限局域网部署)。

    推荐理由:用确定性像素比对拥有判定权、VLM 仅做旁白的架构做网站篡改检测,还公布了已知弱点清单和实测 token 数,部署细节可迁移。

10月16日周五
  1. GitHub · 3D 生成新仓库35

    SleepTCN 睡眠质量分期检测项目:用 31.4 万参数模型自动生成睡眠报告

    一个开源睡眠分期项目用自研 SleepTCN(Temporal Convolutional Network,314,019 参数)读取原始 EEG 和 EOG 信号,将每 30 秒 epoch 分类为 Wake、NREM 或 REM。在 SHHS2 的 52 名留出受试者上验证准确率达 87%,Wake 与 NREM 的 F1 分别为 0.91 和 0.90,REM 仅 0.70。指标经 Mistral 7B Instruct v0.2 以 4-bit 量化生成结构化临床摘要,整个流程可在单个免费级 GPU 上训练。

  2. Reddit · r/LocalLLaMA53

    开源框架 OpenUI 1.0 发布,让 AI 智能体实时生成可交互 UI

    Reddit 用户转发开源项目 OpenUI 发布 1.0 版,让 LLM 用自有 DSL「OpenUI Lang」实时生成可交互界面,据称比 JSON 方案省约 67% token,且组件可流式渲染。框架 MIT 协议、模型无关,可通过 Ollama、LM Studio 接本地模型;同团队还发布了基于 diffusiongemma、4B 激活参数的开源权重模型 OUI-1,Apache 2.0 协议,在其生成式 UI 基准上得 71.7%。

10月15日周四
  1. Hugging Face · 新模型:abliterated26

    Huihui-Qwen3.8-27B-abliterated 发布 RBLN 编译版,适配 16× RBLN-CA25 NPU

    iAcloud 发布 huihui-ai/Huihui-Qwen3.8-27B-abliterated 的 RBLN 预编译版本,使用 optimum-rbln 0.11.2 针对 16 块 Rebellions RBLN-CA25 NPU 编译,支持 262,144 上下文长度和 batch-1 解码,编译耗时 990.9 秒,产物约 55.8 GiB。该版本为编译验证版而非推理基准,运行时加载、生成与长上下文精度尚未测试,需 RBLN NPU 和 RBLN SDK,采用 Apache-2.0 许可。

  2. GitHub · 去对齐工具与仓库56

    Hugging Face 开源 swarmlab:异构 LLM 智能体群协作实验测试床

    Hugging Face 开源了 swarmlab,一个用于研究异构 LLM 智能体群协作原语的科学测试床,通过控制通信拓扑、可见性策略和角色等变量来检验群体共识、准确率与极化。实验由 World、Participants、Medium、Metrics 四部分组成,支持混合 Anthropic、OpenAI、Hugging Face Inference Providers、自托管 vLLM 等模型,内置信念探针、中途干预、配对运行与日志重放,可改一行 YAML 换假设。

    推荐理由:原文给出了实验框架的完整构成和真实运行数据,读者可以据此评估多智能体协作研究是否值得迁移到这个测试床上。

10月14日周三
  1. Hugging Face · 新模型:abliterated48

    Qwen3.8-Flash-Next GSQ-RCO-abliterated IQ3_S 的 Strata pack 发布

    minpei 发布 Qwen3.8-Flash-Next-GSQ-RCO-abliterated IQ3_S 的 Strata pack,包含 dense 权重与张量索引,绑定 GGUF revision eec4e10a,dense.bin(1.5 GB)仍在上传,可用 tools/iq_pack.py 9 秒自建。在 RTX 3060 12 GB + GTX 1080 Ti 11 GB、64 GB RAM 参考配置下,上下文 131,072 tokens,解码速度 21.9–24.6 tok/s。该模型已 abliterated(移除拒绝方向),无内置护栏,需自行提供内容审核。

  2. Hugging Face · 新模型:abliterated28

    TokForge 发布 Qwen3.5-4B-Claude-4.6-Opus-abliterated 的骁龙 NPU 加速包

    TokForge 为 Qwen3.5-4B-Claude-4.6-Opus-abliterated 模型发布 NPU catalog pair 资源包,让骁龙 8 Elite Gen 5 与 8 Gen 3 手机在 TokForge 应用内用 Hexagon NPU 读取长提示词,CPU 负责生成回复。资源包按芯片分为两个文件夹,分别约 3.67 GB 和 3.65 GB,含 49 个 QNN context binary 及 MNN 配置,须搭配指定 commit 的 MNN 转换模型使用,NPU 部分加载约需 6.3 GB 内存。

10月13日周二
  1. Hugging Face · 新模型:uncensored50

    Ternary Bonsai 2 27B Uncensored Heretic v2:MLX 2-bit DFlash2 推测解码包发布

    Hugging Face 上发布的 Ternary Bonsai 2 27B Uncensored Heretic v2 是一个自包含 MLX 2-bit 包,为原版 Heretic v2 添加 DFlash2 推测解码,保留 FP16 视觉塔(8,595,478,392 字节)和 3.85 GB BF16 drafter,不重量化不重训。在 Apple M1 Max 上,temperature 0 的代码和数学任务速度为普通解码的 1.07-1.23x,工具调用 1.16x,13 个提示中位数 0.90x,需约 4 GiB 额外内存。通用聊天、长文档和采样建议改用普通解码的 serve.py。

  2. Hugging Face · 新模型:uncensored43

    Ternary Bonsai 2 27B Uncensored Heretic v2:带 DFlash2 投机解码的 MLX 2-bit Compact 打包发布

    Hugging Face 上发布 Ternary Bonsai 2 27B Uncensored Heretic v2 的 Compact MLX 2-bit 打包,内置 BF16 DFlash2 草稿模型(3.85 GB)与自定义运行时,模型权重未被重新量化或再训练。在 Apple M1 Max 上,temperature 0 的贪心解码下代码、数学与工具调用提速 1.07-1.24x,聊天、长文档等场景反而慢至 0.74-0.96x,13 条测试提示的加速中位数为 0.96x,且需额外约 4 GiB 内存。该打包仅支持 Apple Silicon Mac 与 mlx 0.32.2、mlx-vlm 0.7.2,文件夹内也保留原 serve.py 供普通推理使用。

  3. GitHub · 去对齐工具与仓库22

    EpsteinFiles-RAG:基于 Epstein Files 20K 数据集的 RAG 问答工具

    GitHub 上的 EpsteinFiles-RAG 是一个基于 RAG(检索增强生成)的问答工具,可对 Hugging Face 用户 Teyler 提供的 Epstein Files 20K 数据集(含 20,000 份相关文档)提问并返回基于事实的回答。工具无需编程基础,支持 Windows 10+、macOS 10.14+ 和多数 Linux 发行版,要求 8 GB 内存和 2 GB 磁盘空间,部分功能支持离线使用。

  4. GitHub · 去对齐工具与仓库27

    lychee:在本地运行大模型的开源工具,支持 Ollama 与 HuggingFace

    lychee 是一款在 Windows 上本地运行大模型的工具,数据无需发送到外部服务器,需先安装 Ollama 并满足 Windows 10/11(64 位)、8GB 以上内存和 10GB 可用空间。它集成 HuggingFace 一键下载模型,提供 Model Composer 自定义角色、Agent Sandbox 沙箱和 Anthropic API 云端模型接入,并通过浏览器仪表盘管理。

10月12日周一
  1. GitHub · 3D 生成新仓库41

    Accio-Studio 开源 Web 应用:本地运行 Krea 2 图像生成与 Qwen Image Edit 2.1 图像编辑

    GitHub 新仓库 Accio-Studio 是一个可在自己电脑上运行的 Web 应用,用 Krea 2 生成图像、Qwen Image Edit 2.1 编辑图像,内置便携版 ComfyUI 0.38.0 引擎,无需安装 Python、Node 或 Git。它支持创建与编辑两类任务,包括 Multi-edit(最多 9 张图)、Inpaint 和 Outpaint,可选用 Flux2 Klein 9B(约 19 GB)作为第二编辑模型。安装需约 45 GB 磁盘空间,建议 Nvidia RTX 20 系列及以上 GPU,支持本地及 Cloudflare、zrok、Tailscale 等多种连接模式。

10月11日周日
  1. Reddit · r/LocalLLaMA57

    OpenMed 3.0 发布:Apache-2.0 临床 AI 工具包全本地运行并新增 Patient Journey 时间线

    OpenMed 维护者发布 3.0 版本,这是一个 Apache-2.0 开源医疗 AI 工具包,坚持患者数据不出本地、无 API key、不回退云端,Hugging Face 上有 2200+ 开放模型,可用 Transformers、ONNX、GGUF、llama.cpp、WebGPU/WASM 或手机运行。3.0 新增 Patient Journey,把临床笔记、FHIR、HL7、化验 CSV 和影像报告整合为单个患者时间线,约 0.07 秒完成演示;设计上拒绝猜测,99% 身份匹配也不自动合并,诊断冲突和修正值均保留并标记待人工审核,日期缺失不补造,本地模型未下载时拒绝摘要而非调用云端 API。作者说明演示患者为合成数据,摘要管道 3.0 仅支持合成数据。