Zeshawn
返回博客

慧感云瞻：基于嵌入式AI的空间感知调控系统

这是慧感云瞻的项目介绍

2026-03-222 min 阅读

一、前端视角

慧感云瞻 — 基于嵌入式AI的空间感知调控系统

技术栈：Vue 3 + TypeScript + Vite 6 | Element Plus | ECharts + ECharts GL | Three.js | Leaflet | Pinia | Axios | WebSocket

项目简介：面向智慧校园场景的全栈IoT系统前端，涵盖数据大屏、实时监控、远程设备管理、AI智能助手等多个功能模块，服务于校园人流检测与环境感知的可视化呈现与交互管理。

核心工作：

  • 设计并实现资源服务工厂模式（ResourceManager + ResourceServiceCreator），统一封装 RESTful CRUD 操作与多级缓存（Map 缓存 + 过期降级策略），一套代码自动为 10+ 资源类型生成完整的增删改查服务，缓存粒度可按资源类型独立配置（30秒 ~ 5分钟）
  • 实现 SSE 流式对话界面（LLMView），基于 fetch + ReadableStream 手动解析 Server-Sent Events 协议，支持 Agent 多步推理过程的实时可视化（规划→工具调用→观察→重规划→生成），并通过 requestAnimationFrame 节流合并高频 token 的 DOM 更新，避免过度重渲染
  • 构建 3D 热力图可视化组件（ThreeDHeatMap），基于 Three.js 实现校园区域人流密度的三维可视化展示；同时集成 Leaflet 地图热力图与 ECharts 多维度数据图表（历史趋势、环境数据、区域对比等）
  • 开发远程终端管理面板（TerminalView / TerminalForPi），通过 WebSocket 实时展示边缘设备状态（CPU/内存/磁盘/帧率），支持远程启停检测、切换工作模式、下发配置、查看日志、控制蜂鸣器与灯光旋转等操作
  • 实现完整的用户认证流程，集成 JWT（Djoser）认证体系，封装 AuthService 单例处理登录/注册/令牌刷新/验证/登出，路由守卫实现三级权限控制（普通用户/工作人员/管理员）
  • 搭建后台管理系统（AdminView），基于 BaseManager 泛型组件 + 9 个资源管理器子组件实现通用表格增删改查，减少 80%+ 重复代码

二、后端视角

慧感云瞻 — 基于嵌入式AI的空间感知调控系统

技术栈：Django 5 + DRF | Django Channels + Daphne (ASGI) | MySQL + Redis | Celery + Beat | LangChain + SiliconFlow API | WebSocket | Nginx + Gunicorn

项目简介：面向智慧校园的分布式IoT后端系统，采用"云-边-端"架构，负责多终端设备接入、实时数据处理、告警管理、LLM智能分析等核心服务，支撑多个边缘计算节点的数据汇聚与管理。

核心工作：

  • 设计双协议通信架构：HTTP（Gunicorn WSGI）处理 40+ RESTful API 路由，WebSocket（Daphne ASGI）维护与检测终端的长连接，实现状态上报、命令下发、检测结果实时推送的全双工通信；设计离线命令队列（Redis 缓存），终端断线重连后自动下发积压命令
  • 实现 LLM Agent 智能对话系统：基于 LangChain 构建意图路由链（stream_route_and_respond），支持规划→执行→观察→重规划的多步推理循环；采用 SSE 流式输出架构，配合批量缓冲策略（规划 80 字符 / 内容 40 字符刷新），降低前端渲染压力
  • 搭建双层记忆与会话持久化机制：Redis 存储实时上下文（快速读写），PostgreSQL 持久化完整对话历史（ChatSession + ChatMessage），支持跨会话的上下文恢复与管理
  • 设计多维数据模型与 Redis 缓存体系：17 个数据模型覆盖设备管理、区域监控、环境数据、告警体系、用户权限、LLM 分析等维度；核心查询（终端状态/热门区域/系统概览）使用 Redis 分级缓存（30秒 ~ 30分钟），数据变更通过 Django Signal 自动失效缓存
  • 开发 Celery 异步任务体系：定时任务（每分钟终端心跳检测）+ 按需任务（LLM 区域分析、告警智能分析、使用模式挖掘、个性化推荐生成），异步处理耗时 AI 推理避免阻塞请求
  • 实现 WebSocket Consumer 全生命周期管理（TerminalConsumer）：连接鉴权、心跳检测、状态缓存同步、多类型消息路由（状态上报/命令响应/检测结果/环境数据/日志/配置）、异常自动重连与优雅断开
  • 部署架构设计：Nginx 反向代理（静态文件 + HTTP + WebSocket 分流）→ Gunicorn（3 Workers）+ Daphne → MySQL + Redis，配置 Systemd 服务实现自动重启

三、全栈视角

慧感云瞻 — 基于嵌入式AI的空间感知调控系统

技术栈：Vue 3 + TypeScript + Vite | Django 5 + DRF + Channels | Flask + YOLO + OpenCV | ESP32-CAM + Arduino | MySQL + Redis + Celery | LangChain | WebSocket + SSE | Three.js + ECharts + Leaflet | Nginx + Gunicorn + Daphne

项目简介：独立设计并开发的智慧校园IoT全栈系统，采用"云-边-端"四层架构（ESP32传感器采集 → 树莓派边缘AI推理 → Django云端服务 → Vue前端展示），实现校园空间人流实时检测、多维环境监控、远程设备管控与AI智能分析的完整闭环。

核心工作：

  • 架构设计 — 四层分布式体系：

    • 感知层（ESP32-CAM）：基于 Arduino 开发数据节点（OV2640摄像头 + DHT22温湿度传感器，HTTP multipart 上传）和控制节点（舵机灯光旋转控制），自主设计 SolidWorks 3D 外壳模型
    • 边缘层（树莓派5）：基于 Flask 构建检测服务，集成 YOLO 模型实现本地人员检测推理（隐私优先），支持 Push/Pull 双工作模式，管理多摄像头节点 + SGP30 CO2 传感器，WebSocket 长连接实时同步云端
    • 服务层（Django）：REST API（40+ 路由）+ WebSocket（终端长连接）双协议并行，Redis 多级缓存 + Celery 异步任务，支撑设备管理/数据汇聚/告警体系/用户权限的完整后端
    • 应用层（Vue 3）：TypeScript 类型安全，资源服务工厂模式统一数据管理，3D 热力图 / 数据大屏 / 远程终端管理 / AI 对话等 13 个页面模块

  • LLM Agent 智能分析系统：基于 LangChain 实现意图路由 + 多步推理 Agent，SSE 流式输出推理过程；后端批量缓冲优化 + 前端 RAF 节流，实现高性能实时打字机效果；Celery 异步执行区域分析、告警诊断、使用模式挖掘、个性化推荐、AI 自动公告生成等智能任务

  • 全链路实时通信：WebSocket 贯穿四层架构（ESP32 → 树莓派 WebSocket Client → Django Channels Consumer → Vue 前端），实现毫秒级检测结果推送、设备状态同步、远程命令下发；设计离线命令队列确保弱网环境下的命令可靠送达

  • 工程化实践：

    • 前端：资源服务工厂 + 分层缓存（30s~5min）+ Markdown 渲染（marked + DOMPurify XSS 防护）+ 路由权限守卫
    • 后端：Django Signal 自动缓存失效 + 环境变量安全配置 + JWT 三级权限 + OpenAPI 自动文档
    • 边缘端：WebSocket 自动重连 + 事件循环异常恢复 + GPIO 硬件安全清理
    • 部署：Nginx 反向代理分流 + Gunicorn/Daphne 双服务 + Systemd 自动重启 + HTTPS 全链路加密

评论

0/1000
返回博客列表