关键词:
深度学习
果园水果
嵌入式系统
目标检测
YOLOv4
摘要:
随着商品经济的快速发展以及人们物质生活水平的日益提高,水果产品的供给量也逐年增加,与之相对的是我国水果产品处理效率,包括采摘,筛选,和包装等处理过程,在很大程度上依赖人工作业,这样直接导致人工成本高,以及生产效率低下的弊端。因此,使用自动化采摘机器人代替人工采摘具有重要的意义和应用价值,而在自动化采摘水果过程中,首要任务是准确、高效识别水果果实的位置,而在果园复杂环境背景下,存在小尺寸水果漏检问题以及果实被遮挡问题,同时还存在现场光照强度不均的情况,这会极大地限制了检测的精度。故果园水果的识别研究具有一定的理论价值和实际意义,准确率高、实时性能好的果园水果识别算法亟待解决。针对以上问题,本文所做的主要工作如下:
(1)针对果园水果的识别问题,本文分别采用YOLOv3、YOLOv4、SSD、Faster-RCNN等4种不同算法,比较分析其识别速度与精度,得出YOLOv4识别综合性能最佳,其m AP达到93.57%,FPS达到13.23帧/秒,YOLOv4虽然有较高的识别精度,但还存在识别速度低下问题,无法达到实时性效果。
(2)针对YOLOv4实时性效果不佳问题,本文采用YOLOv4-Tiny检测算法,在该算法基础上进行了改进,将YOLOv4-Tiny主干网络CSPDarknet53-Tiny改进成Mobile-Net-V3,并采用深度可分离卷积来减少网络计算量,采用bneck线性瓶颈逆残差结构提高模型的训练速度,采用SE轻量级注意力机制调整每个通道的权重,使得特征提取更具有效性。采用K-means算法来聚类得到OFD-V1果园水果数据集中的anchors,同时还改进主干特征提取网络输出尺度来提取更适合OFD-V1数据集的语义信息,在输出层26×26、52×52尺度上获取的特征图传入特征金字塔中进行预测图像的位置和类别。实验结果表明,相较于YOLO-Tiny,改进的YOLOv4-Tiny网络模型推理速度更快,实时性效果更好,精度更高,泛化能力更好,具有良好的鲁棒性能。在OFD-V1果园水果数据集上进行推理,FPS有所提高的同时,m AP提高了3.58%。相较于Mobile-Net-V3 YOLOv4网络m AP相差不大的同时,FPS提高了7.37帧/秒。
(3)针对果园水果识别机器人计算资源限制的问题。本文采用Jetson nano嵌入式平台进行识别。使用其对训练好的深度学习模型进行推理,同时进行了视频解码和tensor RT模型加速。当采用int8数据类型时推理速度为32.24帧/秒,达到了预期的检测目标。