关键词:
嵌入式系统
全景成像
视频拼接
目标检测
深度学习
摘要:
自动驾驶技术的基础是环境感知,即采用多个图像传感器对周围环境信息进行采集,然后再进行分析和决策,但是针对多来源的视频信息,不易同时进行观察和分析,进而导致分析缓慢和决策失误,因此,针对自动驾驶中的多源视觉信息的快速获取与分析,本文进行了全景视觉成像及目标检测技术研究,设计了一套对于多源视觉信息进行全景拼接融合和目标检测的实时图像处理系统,提高了自动驾驶中对于多源视觉信息的获取效率和分析能力,减少了决策失误。
首先,针对于多源视觉信息的快速获取与分析,本文对国内外全景视觉技术、图像拼接技术和目标检测技术的研究现状进行了研究,基于研究现状和系统实时性需求制定了拼接成像目标检测系统总体设计方案,结合设计方案和各模块性能要求进行了图像信号处理的电路设计和PCB的绘制,完成了图像处理核心板的自主研制。
然后,分别对全景图像拼接技术和目标检测技术进行了研究,在全景图像拼接技术研究中,先对图像拼接相关理论进行了阐述,并提出了一种基于特征块匹配的全景图像拼接算法,该算法通过选取特征块进行图像匹配,采用树状图像序列合成,基于最佳缝合线进行拉普拉斯图像融合,再采用客观评价指标进行实验分析,经分析,该算法在四个评价指标上皆优于APAP和SURF算法,其中峰值信噪比PSNR达17.94,较高于对比算法,可得出结论为本文算法优异,实现了较好的全景图像拼接效果。在目标检测技术研究中,先介绍了基于深度学习的目标检测算法原理,并基于YOLOv3目标检测算法进行了改进,包括卷积层的优化、多尺度特征融合的增强,预测尺度的增加,再使用自制的混合数据集进行算法训练,对训练后的算法进行实验分析,分析得出本文算法m AP为67.4,FPS为45,皆高于YOLOv3和YOLOv3-tiny,表明改进算法无论在检测速度还是检测准确度上都得到了较大提升,有效的提升了算法检测性能。
最后,基于拼接成像目标检测系统进行了算法移植和系统实现,以视频数据流为导向,先介绍了视频输入的预处理,再进行了全景图像拼接算法和目标检测算法的硬件平台移植,还对串口通信和网口推流进行了实验,最后对系统输出和性能进行测试分析,经分析,FPGA和HISI3559资源使用率皆不足65%,系统各模块延时较小,表明系统符合设计要求且性能较好,满足实时性。