Ocean82 开源能自我解释的 AI 表格工具 smartsh!t
Ocean82 在 GitHub 开源 MIT 协议的表格分析工具 smartsh!t,导入 .xlsx 或 .csv 后自动给出要点总结、标记公式错误并支持自然语言问答。
推荐理由:README 写清了规则型 auditor 与混合 AI 架构,确定性分析在浏览器本地完成,仅开放问题交给 LLM,适合自部署参考。
新闻、仓库与研究,按时间排列。
Ocean82 在 GitHub 开源 MIT 协议的表格分析工具 smartsh!t,导入 .xlsx 或 .csv 后自动给出要点总结、标记公式错误并支持自然语言问答。
推荐理由:README 写清了规则型 auditor 与混合 AI 架构,确定性分析在浏览器本地完成,仅开放问题交给 LLM,适合自部署参考。
GitHub 上的 LocalAI 是一个完全无审查的本地 AI 工具包,通过 Ollama 运行 Dolphin-Mixtral(Mixtral 8x7B)实现文本生成,并内置 Stable Diffusion v1.5 图像生成、all-MiniLM-L6-v2 嵌入向量、Python 代码执行和流式聊天 Web UI。
GitHub 开源项目 Ollama Hub 提供一个直接对接本地 Ollama 模型的 Web 聊天面板,聊天记录完全保存在内存中、不写盘不上传,刷新即消失。
GitHub 上的 -ETHER 0.2.0 是一个本地优先的智能体编程系统,采用 MIT 许可,要求 Python ≥3.11 与 Ollama 加不超过 4B 的 coder 模型(默认 qwen3.5:4b)。
atlas-institute 在 Hugging Face 上发布 abliterated 版 Qwen3 14B orchestrator 模型,提供 Q4_K_M 量化的 GGUF 格式。
开发者在 Reddit r/LocalLLaMA 展示了基于 Ollama 和 Open WebUI 的本地项目 Neco,通过只读系统层感知 uptime、内存占用、系统负载、电池状态和温度,并以后台 daemon 在对话之外生成 idle thought。
rickyparmar 在 GitHub 发布 multilingual-scheme-matcher,一个完全本地、免费的工具,用英文或 Hinglish 描述个人情况即可匹配可能符合资格的印度政府福利计划,并给出逐条规则解释。
推荐理由:原文给出了完整架构与数据管线,匹配逻辑是可审计的规则代码而非纯 LLM 判断,可复用的本地部署思路清晰。
作者发布开源中间件 OntoPrune(MIT 协议,https://github.com/vigmarcarlo/OntoPrune),通过把源码转为内存知识图谱、用 SPARQL 提取所编辑函数的 1-hop 闭包并渲染成类型化 Python stub,压缩上下文并校验生成代码。
推荐理由:作者给出完整基准数据,展示用神经符号上下文剪枝在本地 CPU 上把 TTFT 从 22.4 秒降到 3.3 秒的可复现做法。
GitHub 上的 JOA 是一个 CPU-only、离线优先的终端 AI 编程 Agent,默认通过 Ollama 运行本地 LLM(qwen2.5-coder:0.5b/1.5b/3b/7b),代码不出本机,也可选切换 Google Gemini 后端。
GitHub 仓库 BachtiarAH/lana-ai 提供一套 100% 本地运行的语音链路:麦克风采集后经 Silero VAD 做语音检测,再用 faster-whisper 转写,无需 API key 或 token。
GitHub 上的 llm-cybersecurity 是一个聚焦大语言模型(LLM)安全风险的动手实验室项目,采用增量式设计:每个实验室演示一个可复现的攻击场景并分析缓解措施。
作者在双 RTX 5070 Ti 16GB + Ollama 的本地 agent 上,把日常模型从 Qwen3.8 27B UD-Q4_K_XL(55-70 tok/s)换成 Ornith 1.5 35B-A3B(Q4_K_M),自建两项测试(9 步长会话和 10 个编码任务)两者均 9/9、10/10,而生成速度约 180 tok/s,约为原来的 3 倍。
GitHub 开源项目「ひだまり村」上线,让用户以神的视角观察 AI 村民在像素风村庄中劳作、交易、集会并形成个性与社会。应用基于 Ollama 本地运行,默认模型 qwen2.5:7b-instruct,可选约 4.7GB 标准版或约 1.9GB 轻量版模型,需 8GB 以上内存与约 7GB 空间,支持 macOS 11+ 与 Windows 10/11,MIT 许可。
作者开源了 HA_Automation_Pi 项目,将 Raspberry Pi 5 变成完全本地运行的 Home Assistant 智能家居 AI,断网时灯光、门锁、温控和语音播报仍可工作。
推荐理由:作者给出了在树莓派 5 上跑本地 LLM 智能家居的完整架构与实测数据,包括 18 实体下 70-85% 的工具调用可靠性和备选模型切换方案。
作者开源了一个完全本地运行的 AI Agent 项目 local-ai-agent,支持浏览网页、执行代码和分析图像、视频与文档。
推荐理由:作者完整公开了本地 Agent 的架构、工具清单和 8GB VRAM 下的模型切换细节,可复现也可借鉴到类似项目。
ISTA-DASLab 发布 Qwen3.8-27B 的 GSQ-RCO 非均匀量化 GGUF 权重,提供 2.50 至 3.50 bpw 四个档位及 BF16 视觉投影器。
推荐理由:仓库给出各量化档位与 Unsloth Dynamic 的完整基准对比,并附可审计的逐张量分配文件,读者可据此评估是否采用。
HauhauCS 发布 Qwen3.8-27B-Uncensored-Aggressive 的 imatrix 优化 NVFP4 量化版本(Q5_NVFP4),体积从 Q5_K_P 源文件的 18.83 GiB(5.92 BPW)降至 14.74 GiB(4.63 BPW),约缩小 22%。该版本保留了原生 MTP/NextN 头、视觉能力和完整 Aggressive 去审查配置,LM head(output.weight)首次做了 imatrix 优化。模型针对 Blackwell(sm_120)GPU 原生加速构建,但文件为标准 GGUF,可在任意当前 llama.cpp 版本上加载。
jingamin 在 Hugging Face 上提供 Qwen3.6-27B-Heretic2-Uncensored-Finetune-Thinking 的 i1-Q5_K_M GGUF 量化模型,该模型为无审查微调版本且支持思考(Thinking)。
Hugging Face 新增模型 AX1Y2JP/UniPercept-abliterated-GGUF,提供 Q4_K_M 量化版本。该 GGUF 格式模型可通过 llama.cpp、Ollama、Docker Model Runner、Lemonade 等工具本地运行,也支持在 LM Studio、Jan 中加载。llama.cpp 可启动 OpenAI 兼容的本地服务器并提供 Web UI,也可直接在终端执行推理。
mradermacher 在 Hugging Face 上发布 Qwopus3.8-27B-Flash-V2-abliterated 的 i1-GGUF 量化版本。
Ollama 0.35 新增基于 TypeSafe Jev API 的决策模型支持,通过 /v1/systemone 端点在本地一次请求回答多个命名问题,适用于工单分诊、模型路由和内容审核等快速决策场景。
推荐理由:官方给出了本地决策模型的延迟数据、三个可用模型和 API 用法,读者可以直接照着在本地跑起来。
Ollama 宣布 Pro、Max、Team 订阅改为透明按 token 计费,每月附带用量池:Pro $20/月含 $60 用量,Max $100/月含 $300,Team $500/月含 $1000 共享用量、不限席位数。
推荐理由:官方公布了各档订阅价与含额明细,并解释了从 GPU 时长计费转向按 token 计费的原因,老用户可留在原计划。
Ollama 宣布支持将 Claude Desktop 配置为经 Ollama 的第三方网关。在 Ollama 中开启 Claude 即可自动配置,可选用 Ollama 内本地或云端模型,关闭后恢复原设置;默认关闭遥测并执行零数据保留政策,也可在设置中配置本地模型。
推荐理由:官方说明了 Claude Desktop 接入 Ollama 的配置步骤、数据保留政策和本地模型用法,便于按需切换云端与本地模型。
NVIDIA Nemotron 3.5 Lightning 现已可在 Ollama 上下载并完全在本地设备运行。该模型为 30B 总参数、每 token 仅 3B 激活的混合 MoE 架构,面向长时运行的 Agent 任务,支持最高 1M token 上下文,通过 MTP、DFlash 或 DSpark 投机解码实现最高 4x 于同类开放模型的吞吐,任务完成时间快 30%。
推荐理由:原文给出了 MoE 架构、1M 上下文和 4x 吞吐等具体配置与对比数据,读者可据此评估其本地 Agent 部署价值。
Meta Superintelligence Labs 首个发布的开放模型 Muse Glimmer 现已登陆 Ollama。该模型为 30B 多模态模型,专为本地运行的 Agent 工作负载构建,支持 128K+ 上下文,采用 Apache 2.0 许可证。
推荐理由:官方说明了在 Ollama 上运行该模型的具体命令、MLX 引擎的 DFlash 加速倍数和图像输入用法,可直接照做。
Ollama 宣布获得 8800 万美元融资,投资方包括 Benchmark 的 Peter Fenton、Theory Ventures 的 Tomasz Tunguz、8VC 的 Alex Kolicich、Docker 创始人 Solomon Hykes 及 Y Combinator 等。
推荐理由:官方融资公告披露了投资方名单、金额和 Ollama 的用户规模数据,可了解这家开源模型平台下一步的混合推理方向。
Ollama 0.31 通过多 token 预测(MTP)让 Gemma 4 在 Apple Silicon 上生成速度平均提升近 90%,基于 Aider Polyglot 基准在 M5 Max 上实测。
推荐理由:原文讲清了 MTP 投机解码的三个实现环节和 Aider polyglot 实测数据,并指出新内核可被其他模型复用。
Ollama 更新其 MLX 引擎,称在 Apple Silicon 上实现迄今最高性能,支持 NVIDIA 的 NVFP4 量化格式:在 Gemma 4 12B 上相对 q4_K_M 大约将 4-bit 量化的质量损失减半,输出速度在 8,300-token 输入下快约 20%。
推荐理由:官方给出了 NVFP4 相对 q4_K_M 的困惑度对比和快照缓存对 Agent 工作流的处理方式,数据与方法都可直接参考。