产品展示

人工智能深度学习实验平台是力宏伟业科技基于英伟达Jetson Nano开发的一款深度学习机器视觉分拣平台，该平台采用YoloV5作为神经网络框架，可开展Python基础教学、机器学习、深度学习、神经网络、大模型推理、Opencv机器视觉、物联网传感器等丰富的人工智能课程。

一、实验平台具有如下特点：

1.平台一体化设计，包含AI主控模块、功能扩展模块、应用交互模块、机械臂执行模块、红外测温模块、视频采集模块、识别与应用扩展模块等组成。

2.平台基于模块化设计。

3.视频采集模块配置USB接口摄像头及支架，支架支持360度任意角度调整功能。

4.应用交互模块配置11.3吋IPS显示屏，分辨率1920*1080，支持多点触摸，HDMI输入。

5.配备智能仓储模块，配置5单元的仓储栅格。

6.配备物品分拣模块，配置红外功能单元。

7.配备红外测温模块，支持人体体温检测。

8.配备超声波模块，支持障碍物距离检测。

二、硬件系统

1.AI主控模块

1）四核ARM Cortex-A57 MPCore处理器，最大频率为1.43GHz；

2）具有128个NVIDIA Maxwell架构的CUDA核心；

3）配备WiFi/蓝牙接口，支持5G/2.4G双频，配备千兆以太网接口，提供HDMI、Display Port显示接口、2路MIPI摄像头接口，4路USB接口；

4）可实时处理8个高清全运动视频流，具有图形加速功能，支持TensorFlow、PyTorch、Caffe/Caf2、Keras、MXNet等多种主流深度学习框架，可实现图像识别、目标检测和定位、语义分割、视频增强和智能分析等人工智能应用。

2.功能扩展板

1）板载LED灯，支持开发板的IO口信号输出控制；

2）板载按键，支持开发板的IO口信号读取输入；

3）板载有源蜂鸣器，支持开发板的IO口信号输出控制；

4）板载风扇，支持开发板的IO口信号输出控制；

5）板载数字式光照传感器，支持开发板的I2C总线通讯；

6）板载位数8位，速度10KHz的AD/DA芯片，支持开发板的I2C总线通讯，支持扩展功能；

7）板载开关信号插座，配置外接红外线检测光关，支持IO口开关量信号读取。

3. 机械臂执行模块

1）6自由度活动机械臂；

2）支持PC,手机，鼠标、遥控器方式控制机械臂动作；

3）支持各关节电机温度、电压、位置参数读取；

4）支持掉电保存用户设置；

5) 支持电机堵转保护和过温保护；

6) 支持电脑编程、离线动作组编程；

7) 支持UART串口指令；

8) 提供串口控制协议，支持二次开发；

9）机械臂末端配备夹持工具；可夹持多种形状物体。

10）最大负载：480g；

11）重复定位精度：0.5mm；

12）工作范围：400 mm。

三、 深度学习模型训练和部署平台

1.功能要求

1）项目配置

①支持用户根据项目属性自定义新建项目及项目目录，项目保存后，应在自定义的目录下自动生成项目所需的文件目录；

②支持新建多个项目，支持对已创建项目进行编辑，包括删除、修改以及切换至使用状态等操作；

③支持CPU、GPU等多种训练模式，使用户可以根据硬件要求自行选择合适的算力模式。

2）数据采集

①平台支持通过网络爬取和视频抽帧的方式采集原始图像数据，通过Web界面进行可视化的功能呈现，用户通过选择功能选项及简单配置，可快速进行数据采集工作。平台开放数据采集插件，能够编写自定义代码并运行，进行数据采集。

网络爬取的采集方式支持从数据靶站和浏览器采集图像数据，爬取数据可能产生的风险，平台内置数据靶站，提供多种行业应用数据，用户通过配置数据源的URL地址，模拟用户网站并进行数据采集工作；浏览器采集模式能够支持通过关键词检索进行目标图片的采集，支持数量的自定义设置。

视频抽帧的采集方式支持通过在本地视频流中截取图像和基于摄像头进行实时采集图像，图像采集时，支持按键截取、间隔提取、帧提取等多种方式。

3）数据处理

①平台支持通过数据清洗与数据增强等技术对原始图像数据进行处理，通过Web界面进行可视化的功能呈现。数据清洗支持数据去重、数据过滤、数据修复等功能，数据增强支持通过几何变换、色彩变换、图像擦除等方式进行图像数据扩充。每个功能模块开放功能插件，用户能够编写自定义代码并运行，进行相关的数据处理操作。

②数据去重模块配套默认算法，能够将相似度高的图像视为重复图像进行删除，同时支持编辑插件进行自定义代码的编写，以实现个性化的数据去重功能；

4）数据标注

①平台需配套多种通用的数据标注工具；

②支持矩形标注方式；针对图像分割任务，支持多边形、矩形、圆形、直线、点、线带等多种标注方式；

③平台提供数据格式转换工具，能够进行json转xml、json转txt、xml转txt等多种数据格式的相互转换，支持默认功能的运行使用以及通过编辑插件更新代码的方式进行功能自定义；

④支持数据集快速配置，能够配置自定义训练数据集路径、验证数据集路径、类别数量、类别名称。

5）模型训练

①支持自定义搭建神经网络模型进行训练以及基于TensorFlow、Pytorch等预训练模型进行训练；

②支持数据模型的快捷化训练，通过填写相关训练参数能够一键启动模型训练任务；

③支持对训练参数的配置与调优，算法的训练参数全部开放，能够调整相关训练参数；

④支持模型训练过程的可视化呈现，能够实时显示模型训练的各项指标；

⑤支持查看训练日志，能够记录模型训练过程，监控模型的核心指标。

6）模型验证与部署

①支持模型的验证功能，能够自定义修改模型名称以及加载任意路径下的模型进行运行测试，支持摄像头实时验证、本地图片/视频验证，模型的验证可通过Web界面进行可视化的功能呈现；

②支持加载本地摄像头进行实时的视频验证；本地图像/视频验证方式支持自定义验证数据（图片或视频）的输入路径，以及验证结果的输出路径；

③支持模型的部署功能，支持模型的手动部署和自动推送；手动部署方式支持将训练好的模型导出至本地计算机；自动推送方式通过填写目标设备的IP地址及与远端路径，可将模型部署至边缘终端，模型的部署可通过Web界面进行可视化的功能呈现。

四、课程资源配置

1.Python基础

1）流程控制：组成3位数，数字三角形

2）数据结构和文件：学生管理系统

3）面相对象：三维向量类，日期类

2.Python嵌入式开发

1）GPIO操作：控制LED灯，读取按键状态，控制蜂鸣器、风扇，按键控制LED灯、风扇、读取超声波测距模块数据。

2）串口通信测温

3）I2C通信测光照

4）网络通信远程控制LED灯。

3.OpenCV图像处理

1）图像和视频：显示图片，摄像头捕获视频，播放视频文件，视频截图

2）颜色处理：灰度图片，滑块控件使用，图像阈值，颜色过滤

3）图像平滑

4）图像合成

5）图像特征提取：边缘检测、轮廓提取，直线检测

6）人脸识别：识别人脸特征，并在屏幕标注

7）颜色识别：识别颜色，并在屏幕标注

8）二维码识别：识别二维码内容，并在屏幕显示

4.机器学习实战：

1）K近邻识别手势

2）线性回归预测PM2.5

3）贝叶斯分类判断垃圾短信

4） SVM识别手写数

5.深度学习理论与实战：

1）环境搭建

2）实时目标检测

3）使用YOLOV5自定义模型

4)  综合案例:物品分拣系统、广告推荐系统、疫情防控系统、智能仓储系统、明星撞脸系统、病害识别系统。

7.面向机器人技术、控制与仿真、智能控制、程序设计、机器学习、深度视觉等相关课程，设计相关实验。

提供所有实验项目的详细使用说明书、实验指导书、实验例程源码。