neoconference:面向教育者的下一代虚拟教室项目上线 GitHub
GitHub 新仓库 neoconference 是一款面向教育者的虚拟教室应用,基于 Next.js 14 + TypeScript 构建,提供 HD 视频会议、录制、实时字幕、AI 转录(OpenAI Whisper,可选)和可分享活动页面。录制以 MP4 存于 Cloudflare R2,并支持协作白板、实时投票、Stripe 付费活动门票等功能,目前仍在积极开发中。
新闻、仓库与研究,按时间排列。
GitHub 新仓库 neoconference 是一款面向教育者的虚拟教室应用,基于 Next.js 14 + TypeScript 构建,提供 HD 视频会议、录制、实时字幕、AI 转录(OpenAI Whisper,可选)和可分享活动页面。录制以 MP4 存于 Cloudflare R2,并支持协作白板、实时投票、Stripe 付费活动门票等功能,目前仍在积极开发中。
一位用户在 r/LocalLLaMA 发帖求助:他目前用 llama.cpp 在 4GB VRAM 的 RTX 上跑本地模型,想找推理速度更高(tokens/sec)且不依赖 PyTorch 等重型库的替代方案。他表示调研后仍未找到合适选择——许多方案基于 Python 和 PyTorch,会在模型加载前就耗尽显存,其余或只支持非量化模型、已过时、面向 MNN 等其他设备,或只是没有实际实现的论文。
swdq 在 Hugging Face 放出 huihui-ai/Huihui-Qwen3.6-35B-A3B-abliterated 的 MLX affine 4-bit 权重,并把检查点自带的 MTP 头量化为 mtp-4bit.safetensors,供 TensorFold 的 Qwen3.6 MoE CUDA 家族使用。在一台 NVIDIA DGX Spark(GB10)上用 TensorFold 0.6.6、--mtp-drafts 2 --prefill-f8 实测,8k tokens 预填充 5,700–7,200 tok/s、解码 98–128 tok/s;相比之下 BF16 检查点在 vLLM 0.29 加 FP8 在线量化加 MTP 2 下解码约 53/69 tok/s。
推荐理由:原文给出了完整的量化方法、实测吞吐数据和复现命令,读者可以直接拿来在单机上部署这个 4-bit 版本。
作者 /u/A-Rahim 发布免费开源 Mac 应用 DigUp,本地运行 Google DeepMind 的 EmbeddingGemma 2,用一句描述搜索文件中的文本、图片、音频和视频内容。应用使用 ggml-org 的 Q8_0 GGUF 模型(865 MB)跑在 llama.cpp Metal 上,搜索只加载约 250 MB 文本编码器,停止输入约十分之一秒出结果,索引峰值低于 2 GB,支持孟加拉语和阿拉伯语搜索,MIT 协议,需 Apple Silicon 和 macOS 14+,仓库为 https://github.com/ARahim3/DigUp。
推荐理由:作者开源了基于 EmbeddingGemma 2 的本地多模态文件搜索 Mac 应用,内存占用、延迟和隐私细节都写得具体,便于本地部署参考。
TalosAI 是一个自托管的自主渗透测试智能体项目,通过 Ollama 运行本地 LLM 实现自动化安全审计。项目基于 Docker Compose 部署,要求 NVIDIA 驱动与 NVIDIA Container Toolkit 支持,文档涵盖智能体编排逻辑、GPU 工作流及全部 REST API 规范,采用 MIT License 开源。
neo1777 发布自托管网关 vps1777,可将自建 MCP 服务器通过单个 HTTPS 端点接入 claude.ai、Claude Code 和桌面应用,提供 OAuth 2.1 认证、图形化安装器和签名更新。项目基于 Docker 部署在用户自有 Linux VPS 上,内置 archive-mcp(FTS5 多库检索,15 个工具)、nb1777-mcp(NotebookLM,40 个工具)和 Telegram bot 等服务,支持自动更新与失败回滚,当前为 Pre-1.0 状态。
PostTrainLLM 发布 MIT 协议的 Mac-first LLM 训练工厂、运行时与浏览器 playground,完全本地运行、零云端。项目含 76 个实验的最终处置、18 份保留配方契约、九个学习阶段产出十三件工件,并给出实测结果:单 Mac 上用约 99 条 frontier rollout 蒸馏的 4B 模型在多轮 agentic 工具调用硬门槛上得 100%,与 DeepSeek-V4-pro 持平,高于 Gemma-4-12b-qat 的 83% 和原版 4B 的 75%。作者同时披露了局限,如 v11 到 v12 迁移中域外广度从 60% 回退到 42%,sealed V1 评测 57.1% 的意图路由器被标记为 production reject。
推荐理由:作者整理了完整的实验台账、方法文档与 Mac 单机实测数据,读者可以按配方复现这条本地训练与蒸馏路线。
Bobcat 开源 llm-pool,一个通过单一 API 运行本地与远程大语言模型的 FastAPI 服务,支持模型加载卸载、GPU 状态查询与多模态输入。它适配 CT2、ExLlamaV3、llama_cpp、vLLM、llama_server、trtllm_serve、sglang_serve 及 OpenAI 兼容远程后端,内置按模型的客户端公平调度队列,并在 RTX PRO 6000 上给出 vllm_serve MTP 推测解码约 430+ tok/s 等本地实测吞吐数据。
推荐理由:README 详列多种后端接入方式、公平调度与本地实测吞吐数据,适合自建多模型统一推理服务时参考迁移。
KazKozDev 在 GitHub 开源 book-translator,可基于 Ollama 在本地电脑翻译整本小说,支持 TXT、EPUB、PDF、DOCX 输入和 11 种语言互译。流程分 Prepare、Start、Continue、Review 四步,先全书扫描生成术语表锁死人名地名,分块翻译时携带类型、术语表和上文,改写由独立验证器对照原文校验,质量检查用 chrF、LaBSE、COMET-Kiwi 等指标标记漏译与错误。
推荐理由:原文给出全书术语表、分块校验和质量检查的完整做法,读者可以借此理解用本地模型翻译整本小说时保持人名一致和防漏译的思路。
一位 Reddit r/LocalLLaMA 用户晒出 llama.cpp Vulkan 配置,在 AMD RX 6700 XT 12GB + R5 5600x、ctx 100,000 下运行 Tiel-Coder-35B-A3B 达到 30tps,希望在不改 q8/q4_k_xl 量化的前提下冲到 40tps。其测试显示 threads=6 优于 4/8/12,配置已开启 flash-attn、q8_0 KV cache、draft-mtp 推测解码与 DIO 加载,向社区征求进一步优化建议。
Corbenic AI 作者发布 galahad-kv,将每块约 16,000 token 的 KV 状态加密存到本地 NVMe,之后字节级精确重载而不再重算。实测基于 50,000,000 token 公开文本,经 vLLM 在单张 NVIDIA H100 上运行 Gemma 4 12B 与 Gemma 4 31B,论文见 https://huggingface.co/papers/2610.10845,代码见 https://github.com/corbenicai/galahad,单 GPU 非商用免费。
作者 /u/msalsas 制作了一个完全本地运行的对话 AI 毛绒玩具,所有计算留在局域网内:STT 用 Whisper,LLM 用 Hermes 3 Llama 3.1 8B(Q8_0),TTS 用 Kokoro,记忆按人区分(LangGraph),并通过 dlib 人脸识别和 FER+ 情绪识别辨认说话者并适应其情绪。毛绒本体只是搭载麦克风、摄像头、扬声器和头部舵机的 Pi Zero WH 终端,经 WebSocket 连到笔记本上的本地推理 API。无云端、无 API keys,仓库以 MIT 协议开源,完整教程见 hackster.io。
GrenTeaBot 是一款基于小型神经网络、可在 Telegram 频道中对话的聊天机器人,支持英文和俄语,通过官方 Telegram bot API 连接,并能在对话中实时学习。它在 Windows 10 及以上系统本地运行,需 4 GB 空闲内存和 300 MB 磁盘空间,用户无需手动安装 Python。用户可将机器人添加到频道直接聊天,并通过 config.ini 或 settings.json 调整 Telegram API token、语言、回复速度和人设风格。
edgebites 在 Hugging Face 发布 MiniCPM5-2B-Abliterated 的 IQ4_XS 量化 GGUF 版本。该模型可通过 llama.cpp、Ollama、Docker Model Runner、LM Studio、Lemonade 等工具运行,支持以本地 OpenAI 兼容服务器或终端推理方式使用,也可接入 Pi、Hermes、OpenClaw 等 Agent。
CommitBrief 发布了一个本地 LLM 代码审查 CLI,可审查 staged/unstaged 变更、任意 git diff 范围或 GitHub PR。支持 anthropic、openai、gemini、ollama、deepseek、mistral、cohere 及 claude-cli、gemini-cli、codex-cli 等提供商,输出彩色 markdown、文件 markdown 或严格 JSON,可用仓库的 COMMITBRIEF.md 定制审查规则,diff 可完全留本地;项目状态为 stable 并承诺 API 按 semver 冻结,许可证为 GPL-3.0-or-later。
Micro-Novelty 在 PyPi 发布 AbstractIntegratedModule v1.2.5,一个开源(MIT License)的非 LLM 专用 AI Agent 框架,面向从消费级设备到高端嵌入式系统的边缘 AI,针对 ARM64 架构优化。框架内置采用 AWE 几何权重编码的 MLP、QAT 量化感知训练,以及针对小样本环境的 Transformer 和 LSTM 架构,支持持续学习并用 SQLite 保存权重以防止灾难性遗忘,可选安全的 P2P 多智能体协调。提供 pip install AbstractIntegratedModule 安装,支持 manylinux、musllinux、Windows 64 位及 macOS,Python 3.10-3.13 可用。
该项目构建了一个用于 LoRA 微调开源权重 LLM 的 MLOps 平台,覆盖数据准备、训练、部署、监控、回滚与版本化,技术栈为 MLRun 编排框架加 AWS 基础设施及 PyArrow、Hugging Face 等开源库,输入提示词最长可达 11,000 tokens。模型任务是从 Contract NLI 数据集的多页 NDA 合同中理解、抽取并分类风险/限制/义务条款。CI/CD 采用 MLRun 官方推荐的部署到现有平台的方式,而非每次运行临时搭建 Kubernetes 集群。
GitHub 项目 Lotuses-robot/Summarizing 开源,一条个人信息流水线:群通知、随手记、聊天碎片由 AI 消化成带日期、要素和来源的完整事项,整理不了的进存疑库等人工决定。功能包括四段看板、群机器人接入、逐字引文证据链、全量快照修改留痕,SQLite 单文件单机自托管,AI 走 OpenAI 兼容接口可接本地模型,AGPL-3.0 许可。
推荐理由:这是一个可自托管的碎片信息整理工具,证据链和存疑库设计让 AI 整理结果可回溯到原话,适合想本地管理通知流的人参考。
anlord 在 Hugging Face 发布 gemma-4-E2B-it-abliterated 的 GGUF 量化合集,原模型消融拒绝行为后每 100 条有害提示的拒绝数从 99 降到 4。提供 bf16 到 Q4_0 共 12 个量化文件,全部由同一 F16 源用 llama-quantize 转换,8 GB 显存的 GPU 可完整容纳 Q4_K_M 至 Q8_0,仅含文本塔,多模态推理需用父仓库 safetensors,许可沿用 Gemma 条款。
推荐理由:原文给出拒绝率前后对比和各量化档位的实测说明,读者可按显存预算直接挑选合适档位。
作者花了约一天半写出非官方 MLX 引擎 strata-mlx,直接读取 Strata 的 GGUF 文件、不改权重,在 Mac 上运行 Qwen3.8-Flash-Next 这个 125B 参数 MoE 模型。内存不足以装下整个模型时按需从 SSD 读取专家;模拟测试中 66 GB 的 Q2_0 文件在 16 GB、24 GB、32 GB 内存档位分别跑出 6–7、19–23、28–47 tokens/秒,提示词读取约 273–287 tokens/秒。代码与实验日志在 https://github.com/yibie/strata-mlx。
推荐理由:作者用限内存实测给出不同 Mac 内存档位的运行速度数据,对想在 Mac 上跑超内存大模型的人有参考价值。
HauhauCS 在 Hugging Face 发布基于 Qwen3.8-27B 的 Uncensored Aggressive 无对齐变体 GGUF 量化,实测 0/465 次拒绝,无前导客套地直接回答。所有文本 GGUF 保留原生 NextN/MTP 头,并附带 HauhauCS FastMTP 32K 加速 sidecar,在 RTX PRO 6000 上对比关闭 MTP 时文档 TG 最高达 3.02x、推理 TG 最高 1.93x,Q8_K_P 档位比标准内嵌 MTP 快 35.2%/21.1%;提供 Q2 至 Q8 及 IQ 系列量化、BF16 视觉 projector、llama.cpp 补丁与部署命令,附 Ed25519 签名清单校验。
GitHub 上线的 ai-copywriter 是一款 Windows 本地 AI 文案生成工具,可撰写邮件、网站内容和社交媒体帖子,免费使用且生成在本地运行以保护数据隐私。用户需下载 .exe 安装包,系统要求 Windows 10/11、8GB RAM、500MB 存储空间和双核处理器;首次启动需联网下载基础词典,之后可离线生成,草稿可保存为文本文件,生成内容归用户所有。
botextractai 在 GitHub 发布 ai-simple-rag 项目,用少量 Python 代码实现对一个或多个文本文档的 RAG 问答。项目使用 Meta 的 FAISS 库和 Mistral Instruct (7B) 开源大语言模型,调用 Lamini API key(可免费获取),仅需 CPU 即可运行、无需 GPU,附 Windows/Python 3.11 的 Wheel 包,也可下载其他系统版本或自行构建。
ash4d-local-ai-agent-hub 是一个在个人电脑本地运行的私有 AI 助手系统,基于面向家用优化的轻量级 Kubernetes 集群 k3s 构建,提供本地 Qwen3 模型推理、向量 RAG 文档问答、AI Agent 框架和硬件加速图像生成,并通过 GitOps 工作流自动更新和自修复。项目面向注重隐私的家庭用户、小企业和研究人员,号称完全免费、数据不出本机,最低要求 Windows 10/11、16 GB 内存、50 GB 存储和 4 GB 显存 GPU,典型问答响应 3-10 秒,100 页文档分析需 1-2 分钟。
作者发布了 Qwen3.8-27B-Uncensored 的 GGUF 量化版本(IQ2_M 到 Q8_0),用 Heretic 移除拒绝方向,保留 MTP 头,拒绝行为显著减少但未消除,从 100 个有害提示中的 98 个降至 12 个。权重编辑带来约 0.043 的困惑度增加(相对约 0.7%),MMLU、ARC-Challenge、HellaSwag、Winogrande 四项基准平均下降 0.5 分且均在标准误内。模型卡同时给出 imatrix、自建低比特量化方法和 MTP 投机解码实测(n_max 1 时约 1.19x-1.28x 加速)。
推荐理由:作者给出了 Heretic 消融方法、拒绝率从 98/100 降到 12/100 以及困惑度和基准的前后对照数据,可以据此判断权重编辑的实际代价。
PalOntEr 在 GitHub 发布 LLM-CMD-Game,一个通过 Ollama 在本地运行大语言模型的终端文字冒险游戏框架,默认模型为 gemma4:e2b。框架支持实时 ASCII 角色动画、9 种情绪状态、JSON schema 校验的 StoryPoint 剧情推进,以及后台线程自动压缩的滚动记忆,仅依赖 Python 3.10+ 标准库。内置“老巫师”示例游戏,采用 MIT 许可证开源。
kg912 开源了 Desktop Intelligence,一款 macOS 原生桌面聊天应用,可经 LM Studio 或 Ollama 本地推理,也可连接 NVIDIA Build、OpenRouter 云端后端。应用基于 Electron 31 + React 18,支持 PDF 解析与 RAG 检索、matplotlib 图表、Mermaid 11 图形和 MCP 服务器管理,可完全离线运行。本地跑大模型建议 48 GB 以上内存,当前版本为 2.6.0-alpha-6,由 Claude Code 构建。
speculcom/ai-quantized-llm 是一个帮助用户选择本地部署量化模型的开源索引站,只从 Hugging Face 公开 API 读取许可、体积、架构、上下文等元数据并整理成可横向对比的表,不跑 benchmark、不托管模型文件。项目实测覆盖 11 个系列、16 个模型仓、132 个量化档、1253 个 GGUF 文件和 55 位量化者,每个数字都标注出处,并把数据分为客观事实、参数推导、主观判断三级加以区分。
thetahealth 在 GitHub 开源了 Mirobody,一个自托管 AI 健康数据引擎,将化验报告、可穿戴设备和基因文件整合为标准化记录,每项数值可追溯至原始文件。支持 Docker 一键部署加一个模型 key(OpenRouter、OpenAI、Gemini、Anthropic、DeepSeek 等),也可通过 llama.cpp 纯本地运行,无需 GPU 时首答约 2–3 分钟(Apple 芯片笔记本原生 llama-server 约 30 秒)。
推荐理由:项目给出了完整的部署路径、本地模型内存与耗时数字和术语解析测试通过数,读者可以照此评估自托管健康数据引擎的落地成本。
GitHub 用户 ceke567 开源了 10 周大模型训练实操仓库 Hands-on-LLM-Training,包含可复现的训练代码、实验配置与每周结论。计划覆盖从零训练 Mini GPT、100M–300M 模型训练工程、DDP/FSDP/ZeRO 多卡对比、7B LoRA/QLoRA SFT、DPO 偏好优化、评估 pipeline 到模拟万卡 Scaling 问题,每周投入 10–18 小时。当前第 1 周实际使用 1 张 BW 异构加速卡(PyTorch 2.9.0 已识别该设备),各周实验均未开始。
微软与 NVIDIA 推出的 Surface 和 RTX Spark 本地 AI 笔记本起售价 $2.6k,128GB 统一内存型号接近 $7k,高内存成本正在把普通开发者挡在门外。发帖者称测试了 qwen3.6-27b 和 Kimi K2.5 配合 sumus 在本地管理代码仓库,本地推理有利于隐私和摆脱云端,但这样的价格让自建设备或购买笔记本都不容易。
haileyok 在 GitHub 发布 Victrola,一个单操作者个人 agent 运行时,通过本地 Web 界面或 Discord 聊天,agent 可持久记忆、调度任务并自行编写 TypeScript 工具,运行在受限的 Deno 沙箱中。工具通过单一 execute_code 原语让 agent 在一轮内链式调用多个工具;记忆系统基于 SQLite,结合 FTS5 关键词与本地 Ollama 嵌入向量做混合搜索和 RAG 召回,支持 Anthropic、OpenAI 或 Ollama 等 OpenAPI 兼容端点。
GitHub 开源项目 voice_assistant_llm 是一个本地语音助手,流程为 STT→LLM→TTS:用 faster-whisper 转写英语或印地语,Ollama 运行 qwen2.5:3b 生成回复,Piper 合成语音,不依赖付费 API。浏览器端 Silero VAD 检测语音结束,经 WebSocket 发送 16 kHz PCM;LLM 与 TTS 重叠执行以降低延迟,并支持打断了语音的 barge-in。Piper 语音约 126 MB,配置通过 .env 设置模型、历史轮数等参数。
开源项目 invoice-agent 接收 JSON 或纯文本的结账信息,纯文本时用 Gemma 3 4B(通过 Ollama 兼容端点)提取结构化数据,用 decimal.js 在 Node 中计算金额,PDFKit 内存生成 PDF,并经 Nodemailer/SMTP 发送,部署在 Vercel Functions 上。项目提供 POST /api/invoices、/api/a2a、/api/mcp 及健康检查等端点,支持 x-api-key 认证、限流(默认每分钟 20 次)与 Idempotency-Key 防重复发送,也可配置 Groq 等 OpenAI 兼容服务商替代 Gemma。
GitHub 项目 shavakkar/llm-Web-RAG 开源了一套本地 RAG 方案,通过 ai/config.py 可在本地下载的 LLM 与 Ollama 之间选择执行提供者。使用本地 LLM 与嵌入模型时需修改 LOCAL_EMBED_PATH 和 LOCAL_LLM_PATH 路径,并在 .env 文件中设置 RAG_PROVIDER=local,最后运行 python test_rag.py 即可。
Homeport 是一个本地 LLM API 网关,可为 Ollama 中运行的自有模型提供 OpenAI 兼容 API,并用 API key 保护。它通过 LiteLLM 做协议转换和密钥校验,可选经 Cloudflare Tunnel 免费隧道将服务暴露到公网,支持任意 OpenAI 兼容客户端按自定义 base URL 调用,提示词在本地处理、无按 token 计费。限制是仅在本机与 Ollama 运行时可用,属自托管网关而非托管服务。
Gugo 是一个开源免费的本地优先 Windows 桌面 Agent,通过 Electron 应用提供工具调用、子代理、Goal 计划审批、记忆中心与知识图谱,模型端点由用户自行配置,项目本身不内置任何计费系统。工具链覆盖文件、Shell、Git、图片、音视频(需 ffmpeg)、PDF 和归档处理,支持 MCP 客户端与服务端;README 明确说明默认 host Shell 模式的信任边界、Docker 隔离配置、APPROVAL_MODE 审批策略及 AES-256-GCM 凭据加密等安全设计。
推荐理由:README 详细交代了审批门控、Shell 沙箱与凭据加密等安全边界,读者可据此评估这个本地 Agent 的实际部署风险。
GitHub 用户 Raja0sama 发布 openbrain 项目,用固定的 Qwen 2.5 7B 负责对话、3B 负责判断,知识全部存在 SQLite 记忆图中,通过 Ollama 在本地运行。模型只回答被教过的内容,超出记忆时如实拒绝,并可通过 teacher.py 借用 Claude Code 登录向前沿模型提问补缺,每天上限 20 次、全部留日志且不发送个人内容;人格从经历中形成,叠在一个不可被对话侵蚀的固定价值核心上。自建基准中直接召回 8/8、多跳 5/6、诚实拒绝 6/6,Napoleon 泄漏控制测试中底座 7B 答对 5 题、该系统全部拒绝;项目以 Apache-2.0 协议开源。
推荐理由:开源仓库给出了架构拆解和基准数字,包括泄漏控制测试,读者可以据此评估固定小模型加外部记忆这条路线的可行边界。
Apache Maka(Incubating)发布 0.2.0 版本,定位为高性能 Agent 工作区,核心设计是把每次运行的模型消息、工具调用、权限决策和终止记录为只增的 RuntimeEvent,UI、提示词和崩溃恢复都视为该日志的投影。评测使用同一模型和官方 verifier 与其他 harness 对比,逐任务结果随 docs/eval/ 发布;会话和密钥留在本地,用户自带云 API 或本地模型,最新 Apache 签名源码包为官方发布,项目仍在孵化阶段、数据格式和 CLI 命令可能变动。
开源项目 Pseudonym Gateway 提供一个 OpenAI 兼容的隐私网关,在用户数据到达 LLM 前将邮箱、电话、卡号、Aadhaar、PAN、UPI ID、IFSC 代码等敏感值替换为占位符,并在回复(含流式响应)中还原。它通过本地 Ollama 模型转发请求,应用只需修改 base URL 和模型名即可接入,目前为进行中的工作(8 个阶段完成 6 个),尚不可用于生产环境。