人工智能物联网（AIOT）综合实验平台是一款集***工智能、物联网、嵌入式、移动互联技术于一体的教学科研平台。整个教学平台包括物联网（IOT）部分和人工智能（AI）部分，两部分互相支撑、互为补充。人工智能部分的硬件平台基于嵌入式的Arm开发板，具备语音、视觉等传感器数据采集能力，及适用于多种场景的控制接口；物联网部分的硬件平台基于物联网教学平台，该套件基于zigbee无线传输技术实现，具有低功耗、低速率、自组网等特点，可适用于人工智能物联网的多种学习和应用场景。软件平台支持人脸识别、语音识别、无线通信、传感器原理等应用的基础平台和主流开源算法。提供完整的配套教学教材，实训案例的源码、开发手册等，满足AIamp;IOT教学实训、应用开发等需求。EAI610的嵌入式Arm硬件平台使用高1性能ArmSoC（瑞芯微RK3399），搭载OPENAILAB嵌入式AI开发平台AID（包含支持异构计算库HCL、嵌入式深度学习框架Tengine、以及轻量级嵌入式计算机视觉加速库BladeCV），为AI应用开发提供简洁、高1效、统一的API接口，加速终端AI产品的场景化应用落地。物联网教学平台中传感器采用模块化设计，方便扩展和替换。其中包括温度、湿度、光敏、加速度、压力、可燃气体、雨滴、酒精、红外、超声波、DA输出、继电器、LED点阵显示屏、数码管显示、玻璃破碎检测、直流电机、步进电机、可调光LED灯、振动、霍尔、火焰、等二十多种可换传感器/控制模块组件；所有涉及到的相关技术均提供教材或实验指导书，同时提供印刷版实验手册。1.1、EAIDK-610边缘计算网关EAIDK-610边缘计算网关使用高1性能ArmSoC（瑞芯微rk3399），搭载OPENAILAB嵌入式AI开发平台AID（包含支持异构计算库HCL、嵌入式深度学习框架Tengine、以及轻量级嵌入式计算机视觉加速库BladeCV）。为AI应用提供简洁、高1效、统一的API接口，加速终端AI产品的场景化应用落地实现。Tengine是由OPENAILAB开发的针对于Arm嵌入式的轻量级的AI推理计算框架，配合异构计算库HCL，支持CPU，GPU,以及DLA的异构计算。提供兼容Caffe/MXNet/TensorFlow训练模型和API，可在嵌入式Arm平台上更高1效的实现人工智能（可以参考https:///OAID/Tengine）。BladeCV是由OPENAILAB开发的针对于Arm嵌入式的计算机视觉优化库，支持常用的图像处理、计算机视觉、模式识别的算子/算法，能对常见格式的图像和视频文件读写、解1码视频码流，同时支持图形化界面的图像/视频显示和信息叠加，可在嵌入式Arm平台上更高1效的开发和调试视觉类算法。教学平台所提供的源代码级别的算法（包括人脸检测、人脸识别）可以让学生对计算机视觉的流程、处理方式等有更好的了解，熟悉人脸检测和人脸识别等相关算法，更好的了解实际应用场景，贴近工程化应用。基本规格参数主控SoCRockchipRK3399CPU2xCortex-A724xCortex-A53GPUARMMali-T8604核GPU内存4GBLPDDR3，Flash16GBUSB接口2.0*2、3.0*2、TypeC（OTG）*1有线网络RJ45，10/100/1000M自适应WIFI802.11ac/a/b/g/n,2.4G/5GHz蓝牙Bluetooth4.1板载接口MIPIDSI：4L，1080p@60HzeDP：1.3，4lanes，10.8Gbps相机接口MIPICSI2×4lanesHDMI2.0，1*Type-A，4Kx2K@60Hz电源12V，2A高清显示屏基本硬件参数物理分辨率1920*1080面板类型LED-IPS信号接口双HDMImini屏幕比例16:10刷新频率60-75HZ电源DC12V-2A响应时间小于12ms外观尺寸375*234mm1.2、无线传感器节点及传感器模块无线传感器节点由底板、ZigBee模块和传感器模块三部分组成，3个功能模块均可拆装，方便更换和升级。3.传感器组件n标配：温度/光敏/蜂鸣器一体传感器模块、高1精度温湿度传感器模块、两路继电器模块、可调LED灯光模块、振动传感器/蜂鸣器一体模块、超声波测距传感器模块、4位LED数码管显示模块、直流/步进电机一体模块、火焰传感器模块；n选配：压力传感器模块、红外感应传感器模块、雨滴传感器模块、可燃气体传感器模块、酒精传感器模块、DA输出模块等、8*8LED点阵模块、霍尔传感器模块、玻璃破碎检测模块、红外转发模块、门磁检测模块、声控模块等。1.3、MQTT物联网私有云平台l用户能够将物联网感知层设备（数据网关、传感器、执行器等）接入物联网云服务系统。l系统能够接收并存储传感器和执行器的实时数据，模块在线状态，并实时显示；也能够向执行器发送控制命令；系统能够实现模块的在线监测。l提供后台管理系统，能够设置账号类型和使用权限。支持多用户管理及权限控制，分为父用户和子用户，父用户可以创建多个子用户，并且可以为每个子用户分配增、删、改几种权限，子用户创建的资源相互隔离。l系统提供丰富的接口，支持MQTT，CoAP或HTTP协议进行数据采集，同时也支持websocket协议订阅数据更新，用于数据可视化或实时分析。l平台可以分为公有云和私有云，公有云可以部署在阿里云之上，使用MongoDB服务器集群作为大数据存储，学生老师申请账号后即可使用；私有云可以为客户提供本地化部署，客户具有完全的控制权限。私有云支持Cassandra、PostgreSQL数据库。l提供物联网规则编辑器，无需编写代码即可编辑复杂的自动化控制策略，实现移动互联网系统的自动化控制。l提供丰富的可视化控件库，通过拖拽、简便配置即可完成美观的UI设计。支持GIS地图、曲线图、柱状、饼图、图表、按钮、仪表图等控件。1.4、IPC摄像机分辨率400W低照度0.002Lux(彩色模式);0.0002Lux(黑白模式);0Lux（红外灯开启）宽动态120dB信噪比＞56dB白平衡自动强光***支持镜头焦距2.7~13.5mm镜头光圈F1.6~3.13视频编码标准H.265;H.264;H.264B;H.264H;MJPEG1.5、麦克风阵列4麦克风线性阵列子板采用业界高1性能、超低功耗DSP，支持4路高1质量数字麦克风输入，2路模拟音频输入，2路模拟音频信号输出；采用USB1.1协议进行数据传输，可同步采集传输6声道数字音频信号。三、教学资源介绍1、实验项目列表：1.1、视觉实验案例图像采集实验：学习从硬件设备采集图像数据并熟悉图像格式（YUV，RGB）转换，理解V4L2的概念；图像处理实验：学习图像处理的基本方法，了解各种图像处理方法的功能视频编码实验：学习视频编码的概念和方法，掌握使用硬件编码器的方法，了解H264编码标准视频解1码实验：学习视频解1码的概念和方法，掌握使用硬件解1码器的方法，了解H264和H265编码标准，了解RTSP协议视频分析之背景提取实验：学习视频分析的概念，了解视频中背景提取的方法人脸检测（传统机器学习方法）实验：学习人脸检测的概念，了解adaboost人脸检测方法目标检测（深度学习方法）实验：学习目标检测的概念，了解Mobilenet-SSD目标检测方法人脸特征提取（深度学习方法）实验：学习人脸特征提取的概念，了解LightCNN人脸提取方法人脸识别系统实验：学习人脸识别系统的搭建方法，理解1:1，1:N等概念双目立体视觉实验：学习立体视觉的概念，掌握用双目相机计算深度信息的方法目标检测（深度学习方法）实验：学习目标检测的概念，了解Mobilenet-SSD目标检测方法1.2、无线传感器网络实验案例ZigBee基础实验：GPIO、定时器、中断等实验传感器驱动实验：温度/光敏/蜂鸣器一体传感器模块、高1精度温湿度传感器模块、两路继电器模块、直流/步进电机一体模块等实验Zstack基础实验：SampleAppGenericAppSimpleAppSensorDemoSerialApp等实验Zstack进阶实验：ZigBee组网实验、ZigBee传感器采集及数据传输实验、ZigBee网络综合实验Zstack综合实验：智能家居演示1.3、语音实验案例语音前处理实践录音实验播放实验阵列麦克风实验降噪实验回声消除实验语音活性检测实验语音编码语音变速变调语音识别以及语音唤醒自然语言处理基于云端平台实现自然语言处理自然语言处理实践语音合成语音案例：NLP智能对话实验1.4、综合实验案例语音智能家居实验：语音命令控制zigbee继电器实现灯光风扇控制、语音命令获取zigbee温湿度传感器数据、语音命令获取zigbee光照度感器数据等人脸门禁系统实验：通过与门锁等设备的联动，学习和实践人脸识别在实际场景中的使用)