DongFengPo1412 推出 Intelligent-Lighting-Control-System-Pro:基于异构协同的多模态具身光影交互系统
GitHub 开源项目 Intelligent-Lighting-Control-System-Pro 采用 PC 上位机加 ESP32-S3 单片机的异构协同架构,在 16×16 WS2812B 矩阵上实现多模态具身光影交互。系统在 RTX 4060 上本地部署 Qwen2.5-7B-Instruct 牧濑红莉栖 Agent,集成 Mem0 记忆与 MCP 函数调用,并支持 MediaPipe 3D 手势追踪、视线追踪与面部情绪识别。项目使用 ESP-IDF 原生 RMT DMA 驱动,目标实现 60FPS 渲染、灯控 CPU 占用率低于 2%、视觉延迟小于 35 ms、大模型 TTFT 小于 250 ms,遵循 MIT License 开源。