激光与视觉传感智能盲杖系统JHDMZ-A

产品简介

激光与视觉传感智能盲杖系统包含三大子系统——多源融合SLAM与目标检测传感系统、物联控制系统、移动端后台系统，其中多源融合SLAM与目标检测传感子系统为本项目的核心系统，物联控制系统、移动端后台系统为辅助系统。本产品研发的激光雷达多源融合智能导盲系统能搭载在盲杖和头戴式导盲设备等载体上，视力受损的用户能够通过语音向智能导盲设备上的多源融合SLAM与目标检测传感核心系统输入目的地，实时在室内外实现定位、避障、导航、目标识别等功能。搭载了导盲系统的智能导航盲杖通过物联控制系统引导视力受损的用户绕过路上行人以及障碍物，到达目的地。视力受损用户及其家人可以通过移动端后台系统实时了解用户所在的地理位置，以及记录用户的出行足迹。激光雷达多源融合的智能导盲系统的探测距离半径为0-25米，障碍物识别范围为0.15-10米，探测角度为360°（激光雷达探测角度），探测视场角为H71.0°xV56.7°（深度相机探测视场角），响应时间为1秒以内，能有效提高视障者20%的行走速度。本产品不需要在室内外铺设新盲道以及特定的电子位置信息收发装置，在陌生环境下能主动为视障者提供方向指引以及避开前方障碍物，为视障者出行提供便利性，能够有效地提高使用本产品的视力受损者用户的出行速度和出行效率，保障用户的出行安全。

激光与视觉传感智能盲杖系统各模块技术包括以下内容：

中央处理模块为Jetson Nano B01微型处理器以及USB增强型无线网卡，能够接受数据采集模块的环境信息数据，并对数据进行分析处理。数据分析处理后将指令传输给驱动模块，从而驱动智能盲杖。再通过WIFI模块实时将智能盲杖四周的环境数据以及智能盲杖的行动轨迹数据传输到智能盲杖移动端后天系统。

数据采集模块，主要包括激光雷达、深度相机、IMU模块、GPS模块、压力传感器。激光雷达选用对人眼安全的红外探测二维激光雷达，激光雷达可以获取前方障碍物的位置以及距离信息，实现同步定位与构图（SLAM）功能，能让智能盲杖按照小范围规划的路线避开障碍物去往目的地。深度相机选用奥比中光Gemini 深度相机，深度相机通过YOLOv5算法识别智能盲杖前方的障碍物是什么物体，识别视障者四周的盲道、斑马线、红绿灯和道路交通标志，以及能检测出激光雷达检测不到的地面坑洞、台阶和高度较低的障碍物。IMU模块选用轮趣科技公司N100N惯导模块，IMU模块能检测智能盲杖运动过程中的姿态信息，防止智能盲杖在运动过程中产生累计误差而导致发生偏移。GPS模块选用Adafruit MTK3339 GPS模块，GPS模块能实时检测智能盲杖的地理位置，为智能盲杖提供大范围和长距离的导航信息。压力传感器选用澄科DF9-16柔性薄膜压力传感器，压力传感器可以检测到智能盲杖手柄上的压力，当压力达到设定的阈值范围可以判定视障者在使用智能盲杖，从而打开的电源为智能盲杖供电。

驱动模块，主要包括微型控制器、编码电机、防滑车轮、全向轮。微型控制器选用STM32F407VETb单片机，用于接受中央处理模块传输的指令，驱动GMR高精度编码电机以此来带动防滑车轮和全向轮，以及驱动语音模块。

语音模块，主要包括科大讯飞通道麦克风阵列模块模块和扬声器。能实现语音导航、语言播报、语音交互、报警等功能。

供电模块，主要包括内嵌在智能盲杖杖身体内的可充电式聚合物锂电池，以及可以为智能盲杖充电和摆放的充电座。

移动端后台系统，主要包括智能盲杖移动端后台数据系统和WIFI模块。WIFI模块可以接受中央处理模块传输的数据，并将数据发送至智能盲杖移动端后台数据系统。智能盲杖移动端后天系统会记录下视障在外出行的时间节点以及出行轨迹，并且后台会存储视障者自设定的地理位置地址（如家、公司、常去的商店和公园），以及存储到常去地方的路径规划信息。

实验内容

1、同步定位与构图（SLAM）

2、YOLOv5目标检测

3、监测智能盲杖姿态信息

4、GPS定位

5、语音模块控制与播放

6、驱动智能盲杖车轮

7、WIFI模块传输数据

8、中央处理器与单片机通信

9、单片机控制

10、压力传感器检测压力数据

主要配置

智能盲杖、充电器、实验讲义等。

辅助配置

本系统需要搭配电脑使用，如需配置，价格另计