课程文献中心 更多>>

关键词： 图像融合   目标检测   嵌入式系统   FPGA  

摘要： 针对军事复杂环境下坦克目标检测研究,其目标易被遮挡、特征淹没在背景中以及传统单一传感器采集图像在复杂背景下目标检测识别能力差等难点问题,提出了异源图像融合系统中的目标检测算法,对算法进行系统的比较分析并进行仿真验证。采用Xilinx Zynq-7020开发平台对所提算法进行移植优化设计,搭建嵌入式异源图像融合的目标检测系统。主要研究内容包括异源图像数据采集、红外可见光图像融合算法和目标检测算法在嵌入式平台的实现。如下所述:研究红外与可见光传感器的成像原理,根据两种图像的不同优势,采用小波变换的融合方法进行红外与可见光图像融合,通过融合规则对图像中相应的高频分量以及低频分量进行融合,将红外图像中热辐射信息与可见光图像中的细节纹理信息相结合,增强目标轮廓,为目标检测提供有效的目标特征。提出了基于滑动窗口的DPM+SVM目标检测方法,在HOG基础上建立组件模型,丰富目标特征。还提出基于改进SSD+DSST的目标检测算法,对传统SSD(Single Shot Multi Box Detector)改进,在基础卷积网络架构中结合特征金字塔FPN算法,增强深层网络的语义信息,优化目标感受野,充分利用卷积计算目标特征信息来增强目标的检测能力,加入通道-空间注意力机制,通过尺度判别的DSST(Discriminatiive Scale Space Tracker)方法,解决目标丢失问题,实现连续多帧目标的稳定检测。利用Zynq 7000系列开发板,搭建双目摄像头的以太网无线传输系统,通过PC端的定制软件,实现开发板与上位机的视频无线传输。在FPGA端定制算法IP核模块实现硬件加速设计,进行硬件工程Block设计,在ARM端建立硬件驱动程序的设计以及模块时序控制和构建SVM分类器模型,实现红外与可见光融合图像的嵌入式目标检测系统。PC端和ZYNQ平台联合搭建了能够进行目标融合、目标轨迹设定、目标识别与跟踪的小目标模拟系统,通过目标在不同复杂背景下的叠加融合实现预设场景的高效模拟与算法性能测试。

关键词： 旋转导向钻井   姿态测量   嵌入式系统   姿态解算   FIR滤波  

摘要： 随着我国石油资源对外依存度的不断攀升,迫使我国需尽快在石油勘探和钻井技术领域做出巨大提升,从而提高自主钻采效率。旋转导向钻井技术是应用最为广泛的自动化钻井技术,导向钻具姿态参数(井斜角、工具面角以及方位角等)的精确实时测量是旋转导向钻井系统的关键技术。钻井工程中,针对姿态传感器输出信号中混杂大量干扰导致姿态参数测量不准确,以及将PC作为上位机观测姿态参数存在诸多弊端两方面问题,提出将嵌入式系统应用到导向钻具姿态测量中,设计一种ARM+DSP双MCU的嵌入式钻具姿态测量系统,并在系统中加入滤波算法滤除干扰噪声,提高姿态解算精度。本课题所设计的姿态测量系统包括井下姿态采集电路和井上人机交互软件两部分。其中上位机开发平台采用ARM嵌入式设备Exynos4412替代传统PC,实现姿态数据接收、Qt人机交互界面显示、SQLite3姿态参数存储以及提供功能扩展等;下位机采用TMS320F28335作为姿态采集电路的主控制器,负责姿态传感器数据的快速采集、滤波、姿态解算以及姿态参数传输等任务。在实验室环境下借助TX-3S测斜仪进行系统模拟测试,对本系统的可行性与有效性进行验证。实验结果表明本课题设计的姿态测量系统稳定可靠,具备良好的抗干扰能力;系统滤波前后的姿态解算误差对比分析表明本系统采用的滤波算法具有良好效果,姿态解算精度显著提高。本课题创新性地采用嵌入式设备Exynos4412替代传统PC作为系统上位机,设计了一套高精度、低成本的ARM+DSP嵌入式姿态测量系统。该系统具备较强的实际应用价值,经拓展,可将其应用于野外钻井试验现场。

关键词： 水下三维重建   结构光   计算机视觉   嵌入式系统   激光条纹中心点提取  

摘要： 随着计算机视觉技术和电子半导体技术的不断进步,各种嵌入式设备的计算能力迅速提高,计算机视觉技术也开始向嵌入式设备部署。在水利工程设施水下检修中,水下环境复杂,存在各种干扰因素,制约着计算机视觉技术在实际工程中的广泛应用。本文对基于结构光的水下三维重建技术进行研究,并将其部署至高性能、低功耗、便携的嵌入式设备上,建立基于Jetson Nano的嵌入式视觉系统,实现工程实际应用。(1)设计并搭建基于Jetson Nano的嵌入式视觉系统硬件平台。提出嵌入式视觉系统的功能需求,设计系统的硬件组成;考虑系统精度要求,兼顾计算性能和成本等因素,对嵌入式核心板、工业相机、镜头、线激光发射器、一维线性平移台等硬件设备进行选择,并对视觉系统硬件环境安装调试。(2)设计适合嵌入式的水下视觉系统算法。实现了水下结构光的三维重建算法;针对水下图像存在的成像缺陷问题,提出了一种图像增强算法,提高图像的质量,同时改善光条图像的灰度分布;改进基于传统灰度重心法的激光条纹中心点提取算法,在保证提取精度的条件下,完成了算法在嵌入式系统中的实现;优化了相机成像模型以及相机标定、光平面标定以及拼接向量标定算法。(3)设计并实现嵌入式视觉系统软件。对Jetson Nano进行系统安装以及环境配置,安装视觉系统开发以及界面设计软件Qt;基于视觉系统的功能需求,设计视觉系统软件的功能用例、系统数据交换以及对象设计;采用C++编程实现视觉系统软件,并介绍嵌入式视觉系统软件界面功能设置。(4)进行了水下三维重建实验。对视觉系统整体进行调试运行。在实验室中模拟水下环境,对相机、光平面以及拼接向量进行参数标定,并对模拟水下裂缝以及海螺外壳进行三维重建实验;实验结果验证了视觉系统的可行性,同时重建结果具有一定的精度;最后对影响重建精度的因素进行分析,找到不足并提出改进方法。

关键词： 调频连续波激光干涉   运动平台   嵌入式系统   拍频信号   增益控制  

摘要： 调频连续波(Frequency Modulated Continuous Wave,FMCW)激光干涉是一种将频率调制和干涉相结合的新型光学测量技术。它能够实现大动态范围的高精度测量,可以被应用于军工和现代光刻机制造领域。现有的三维运动平台要求传感器具有高精度。因此,本文的主要任务是设计用于三维运动平台的FMCW激光干涉测量嵌入式系统,实现对被测物体高精度的位移测量。本文分析了调频连续波激光干涉测量原理,采用了Fabry Perot调频连续波激光干涉仪的结构,并以锯齿波线性频率调制为例,利用光纤器件搭建了干涉光路。由于光电探测器探测到的拍频信号可能过强或者过弱,二者都会影响FMCW激光干涉仪的测量精度。因此,本课题重点是设计和制作自动增益控制电路,实现拍频信号电压幅值的程序控制。通过对现有增益控制电路分析比较,并考虑到嵌入式数字电路系统的特点,本文采用程控数字电位器与光电探测器的跨阻放大电路相结合的方案,实现FMCW干涉信号的自动增益控制。该方法噪声小、精度高、响应速度快,有效解决了运动平台测量过程中的信号强度变化问题。另外,考虑到实际应用中系统参数的保存问题,本文又采用flash进行数据动态保存与读取的方案。基于STM32F405VGT6微处理器,进行了调频连续波激光干涉的嵌入式系统设计和开发。硬件部分主要是STM32最小系统、I-V转换电路、光电转换和处理电路、增益控制电路、串行通信电路和PCB布局测试。通过拍频信号解调算法可以实现高精度位移测量,为调频连续波光纤位移传感器打造一个可靠的硬件平台。最后,搭建了实验平台,对本课题进行实验验证。实验结果表明,在一维运动平台的测量环境下,整个系统工作在0～600mm的范围内,采用增益控制后,可以将拍频信号电压幅值控制在1.2V到1.4V的范围内,位移测量结果的标准差在5nm以内。整个系统精度高且结构简单,对用于三维运动平台具有重要意义。

关键词： TL-5728   ARM   DSP   实时图像处理   嵌入式系统  

摘要： 自1971年第一款微处理器面世以来,嵌入式系统从以功能简单的专用计算机或单片机为核心的可编程控制器形式的第一阶段,快速发展到以高端嵌入式CPU和嵌入式操作系统为标志的第二阶段。与此同时,人们也愈加的认识到图像处理技术是帮助人类认识世界的重要手段。嵌入式数字图像处理系统将两者结合,提高了数字图像处理的能力,更好的满足了数字图像处理的需求。本篇论文介绍了一种基于ARM+DSP架构的实时图像处理处理系统,该系统以创龙公司的TL-5728开发板为开发工具,实现了基于GStreamer的视频采集、编解码、算法处理、显示以及存储等功能。首先本文研究了基于AM5728的嵌入式图像处理系统的设计方案和实现方法,选择了基于ARM15的AM5728处理器为硬件平台和嵌入式Linux操作系统来完成图像处理技术的开发。在宿主机上安装虚拟机并在虚拟机上创建Linux系统的交叉编译环境,以此作为后续项目开发的软件环境。其次本文通过针对四种不同视频采集方法,分别进行了图像的采集、保存以及时延测试。使用Gstreamer API通过ARM端获取视频,通过Open CL调用DSP端对图像进行Sobel(边缘检测)算法处理。测试结果显示该系统不仅拥有很好的设备兼容性,同时具有良好的图像处理实时性。最后总结了本论文的所取得的成果以及不足之处,提出了本论文需要完善的地方以及未来需要研究的方向。

关键词： 手势识别   目标检测   关键点检测   轻量级卷积神经网络   嵌入式系统  

摘要： 手势识别是通过计算机技术捕捉并进一步分析人类手部所做出的动作和姿态,将手势转换为相应的计算机信息。随着神经网络在机器视觉领域的快速发展,出现了很多基于神经网络算法的手势识别应用,但目前神经网络模型的参数量和计算量往往都比较庞大,难以有效地运行在计算资源有限的嵌入式设备上。为此,一些研究人员进行了轻量级神经网络的设计或部署工作。轻量级神经网络在保证模型表达能力的前提下有着较少的参数量和计算量,这使得在嵌入式设备上运行神经网络应用成为可能。但在目标或关键点检测任务上,部分轻量级神经网络与大型神经网络的检测精度难免存在一定差距,需要进一步提高轻量级神经网络的检测精度。同时,部分研究人员往往选择特定的硬件平台进行神经网络的部署,神经网络的推理过程严重依赖这些平台特有的硬件环境,导致神经网络算法难以便捷地移植到其他嵌入式平台中,其硬件平台的价格也过于昂贵,限制了神经网络应用的推广。针对以上问题,本文基于现有的两种轻量级神经网络,主要从预测方式上对网络进行改进,并提出一种实时性和通用性都较高的嵌入式平台手势识别方案。具体而言,主要研究内容如下:(1)针对YOLO-Fastest V2轻量级网络中基于锚框(Anchor-Based)预测方式的缺陷,研究了一种基于无锚框(Anchor-Free)的轻量级手部检测网络,该网络负责框选出RGB摄像头图像中手部的位置,网络的参数量仅有0.227 M,千兆浮点运算数(Giga Floating-point Operations,GFLOPs)为0.222。Anchor-Free能够有效缓解Anchor-Based中引入锚框带来的负面影响,同时采用简易最优传输分配作为训练过程中的正负样本匹配策略。针对手势交互场景建立了专用数据集Lite Gesture Dataset,并使用Mosaic数据增强对网络进行训练。实验表明,改进后的网络在参数量和计算量上都略有降低,同时在Lite Gesture Dataset数据集上的m AP(mean Average Precision)提升显著。(2)针对轻量级高分辨率网络中基于热力图的关键点预测方式在低分辨率输入下会产生较大的量化误差,从而影响精度这一问题,研究了一种基于简易坐标分类的轻量级手部关键点检测网络,该网络负责对手部区域进行21个手部关键点的定位,网络的参数量仅有0.955 M,GFLOPs为0.111。本文在热力图输出层之后加入两个额外的全连接层,把输入图片的每个像素划分为横坐标和纵坐标上的若干个子像素,将关键点定位任务变为子像素坐标的分类任务,根据最大分类概率在子像素级别进行关键点横坐标和纵坐标的定位,以弥补热力图预测方式中分辨率降低导致的精度下降问题。实验结果也充分印证了该改进方案对原网络的手部关键点定位精度有着明显的提升。(3)针对目前研究人员在神经网络应用部署工作中使用特定硬件平台,而忽略软件通用性和可移植性的问题,提出了一种通用性和可移植性都较高的嵌入式平台手势识别方案。利用NCNN推理框架将神经网络模型进行转换并部署在搭载国产RK3568 So C(System on a Chip)的Rock pi 3A嵌入式平台上,仅使用CPU进行推理时,手部检测网络的推理耗时为23.85 ms,手部关键点检测网络的推理耗时为31.35 ms,达到了较高的实时性要求。手部检测网络和手部关键点检测网络构成了一套适用于嵌入式平台的手势识别方案,该方案通过手部关键点实现静态手势的识别,通过部分关键点轨迹和动态时间规整算法实现动态手势的识别,并根据手势检测结果实现不同的人机交互功能。并且该方案并不依赖特定的硬件,通过不同的编译方式可以方便地部署到其他硬件平台。

关键词： 扭振分析   扭振标定   频域分析   嵌入式系统  

摘要： 扭振会对广泛应用于各个行业的旋转机械造成严重损害,进而会造成重大经济损失甚至人员伤亡。扭振导致的轴系断裂等重大事故时有发生,为提升旋转机械运行的安全性和稳定性,本论文在脉冲时序扭振测量方法的基础上研究了时域结合频域的轴系扭振分析方法及其相应的扭振信号模拟方法。为提升便携性,本文基于嵌入式技术开发了轴系扭振分析及其标定综合系统,具体包括扭振分析仪及其扭振标定器。扭振分析仪针对扭振信号进行采集、分析、记录,为旋转机械提供运行状态监测及后续故障诊断依据。扭振标定器为扭振分析仪提供研究阶段的验证和应用阶段的标定以保证扭振分析仪的准确稳定运行,两者相互配合共同促进旋转机械更安全、更稳定地运行。 其中,扭振分析仪是在ARM处理器搭建的硬件平台上以Keil5作为开发软件,在Free RTOS实时操作系统的基础上完成的软硬件开发。其采用扭振信号直接频域转换和扭振脉冲时序转换为扭振角信号再进行频域转换相结合的方式进行扭振信号分析。实现了模拟通道扭振信号的时域波形显示和频域幅值谱分析功能、数字通道扭振角信号解调和时域波形显示功能、轴系转速测量功能、扭振角信号频域幅值谱分析功能、分析数据实时保存功能,解决了大多数扭振测试分析系统便携性较差等问题。针对扭振分析仪研究及应用阶段的标定和校准需求,本文基于脉冲时序扭振测量方法和解调原理设计了数字式多通道扭振标定器。具体包括扭振标定器的软硬件设计及其外壳和面板设计,并完成了扭振标定器的样机制作,解决了传统机械式扭振标定方法的复现能力差、体积大、价格昂贵等问题。相较于传统电子式扭振标定器而言,本论文中的扭振标定器具有通道数多、参数设置更灵活等特点。 轴系扭振分析及其标定综合系统中的扭振标定器和扭振分析仪依次通过了设计试验的验证。扭振标定器输出的扭振标定信号波形、方波交替个数符合预期设定,信号频率相对误差在0.2%以内,转速相对误差在0.5‰以内,扭振角相对误差在5%以内。然后利用经过验证的扭振标定器对设计的扭振分析仪进行验证。其模拟通道的时域和频域波形显示均符合预期设计要求,频域幅值相对误差在5%以内。数字通道的扭振角信号波形与理论一致,轴系转速相对误差在0.5‰以内,扭振频率相对误差在5‰以内,扭振角信号的频域幅值和时域幅值的相对误差均在5%以内符合预期设计要求。扭振标定器和扭振分析仪的测试结果与理论数据交叉验证,证明了本论文中的轴系扭振分析及其标定综合系统的准确性与可靠性。

关键词： 桥梁安全监测   嵌入式系统   远程升级  

摘要： 桥梁作为我国交通基础设施建设的重要组成部分,掌握着国家经济、社会发展的命脉。根据统计,国内已经拥有超过90万座大小型公共桥梁,其中许多大型桥梁修建时间较晚,在设计时就会进行“定制化”健康监测,而中小型桥梁大多修建于较早年代,服役时间长,在愈发复杂的外部环境的影响下,可能会出现桥梁构件老化等情况而影响正常运营,因此需要增加对中小型桥梁健康监测的关注和研究。基于现阶段的问题和实际应用需求,进行桥梁健康监测系统的功能分析,设计通用的无线桥梁健康监测系统,主要工作包括: (1)根据桥梁实际应用环境的特点确定监测的参数对象,分析对比不同类型传感器的性能特点后进行前端传感器的最终选型,并根据前端传感器设计了信号调理模块,确定嵌入式一体化采集终端设备的硬件方案。在采集终端的硬件设计上,利用可裁剪、模块化的理念分模块开展具体的硬件设计,具体以STM32F429系列微处理器和SIM7600通信模组为核心,并配置电源转换部分、信息采集部分及本地存储部分,设计具有完备功能的终端实时采集设备,可以稳定地监测桥梁结构健康相关的主要参数,并利用通信模组将桥梁结构数据传输到远端服务器以供远程实时观测。 (2)对于桥梁监测系统的应用功能,选择移植国产RT-Thread操作系统进行终端系统开发设计,利用实时操作系统中高效的系统调用机制合理规划各功能线程的执行流程,实现对于桥梁结构数据采集、处理与远程传输的实时控制。同时为了实现对布设在实际桥梁工程中健康监测系统的灵活维护,开发设计了桥梁健康监测终端的远程升级功能,桥梁采集终端通过移动网络接收新版固件后完成应用功能的升级,降低了后期系统软件的维护难度。最后上位机的开发可以为桥梁管理人员提供可视化的实时数据情况。 (3)最后对于整个桥梁监测系统进行了功能测试和实际桥梁工程验证,并对实际现场的桥梁结构数据信息进行分析,评估桥梁运营状态,为桥梁提供养护建议。 本文从实际需求出发,设计并实现了桥梁监测系统的软硬件功能,经过多次调试及实际桥梁工程验证,证明系统的硬件性能及软件功能均达到了预设要求,能够有效地为中小型桥梁提供可靠的健康状态评估。本方案可以广泛应用于中小型桥梁的施工工程和安全监测工程,对桥梁的安全运行具有一定的工程应用价值。

关键词： 嵌入式系统   性能分析   性能监测单元  

摘要： 随着计算机硬件工业和软件工业的蓬勃发展,嵌入式系统开始广泛地应用于工业控制、智能家居等诸多领域。嵌入式软件一般固化在相应的硬件设备上不易更改,且随着嵌入式软件规模的逐渐增大,功能越来越强大,因此嵌入式软件的性能成为了嵌入式开发中必须要考虑的问题之一。 在这样的背景下,本文设计了一种面向国产嵌入式系统的性能瓶颈分析工具,主要应用在嵌入式集成开发环境中,目的是为了使开发人员及时发现嵌入式系统的性能瓶颈,提升软件性能方便开发。 本文先是分析了目前工业界和学术界主要的性能分析方法,以及现在主流的性能分析工具,针对其性能信息获取的方法进行了深入探讨,分析了它们的优缺点和各自的应用场景,再结合以上研究的基础上,开发了一种全新的性能瓶颈分析工具。 在性能信息数据获取上,本文根据不同的应用场景设计了三种不同性能信息获取方式。第一种,通过访问CPU性能监测单元获取相关的性能事件次数,诸如缺页次数、cache未命中数和分支预测失败数等事件。第二种,对相关的应用代码进行静态插桩,统计嵌入式应用相关的函数运行时间,或者通过分析编译器的编译信息,获取函数运行时间和调用路径等相关信息。第三种,通过计算一段时间内CPU上运行的任务所占比例确定性能瓶颈。在性能信息的传输上,本文充分研究了美国风河公司Eclipse TCF框架,在此基础上设计一种宿主机和目标机的通信模式。最后将性能瓶颈分析工具集成到嵌入式集成开发环境上,能够更直观地获取相关性能瓶颈信息,方便在开发的过程中及时发现程序中的性能瓶颈,并进行定位。

关键词： 数字化核酸检测   电化学阻抗谱(EIS)   无标记核酸检测   微阵列芯片   嵌入式系统  

摘要： 数字化核酸检测在现代医学和生物学研究中扮演着重要的角色。它是一种快速、高效、精确的核酸分析方法,可以用于基因诊断、遗传学研究、疾病筛查、个性化医疗等领域。目前,主流的数字化核酸检测方法主要是数字PCR(Polymerase Chain Reaction),检测单个DNA分子扩增之后的荧光信号。这种光学检测方法通常需要荧光成像装置,设备较为昂贵,且体积较大,不利于即时检测(Point of Care Testing,POCT)等场景的应用。因此,人们一直在寻找新的核酸检测方法,以克服这些缺点。电学检测具有易芯片化、集成度高、量产成本低等特点,尤其是随着半导体技术与生物技术的快速融合发展,近年来在生物检测领域引起了广泛的关注,特别是在POCT、可穿戴传感器等领域。基于电化学阻抗的核酸检测技术,因其无需标记物和操作简便的特点,被认为是数字化核酸检测技术的一种重要发展方向。 因此,本研究的目标是设计并制作一种基于电化学阻抗谱(Electrochemical Impedance Spectroscopy,EIS)的无标记核酸检测芯片,该芯片通过测量核酸扩增前后的阻抗谱变化来判断扩增是否发生,从而实现非标记的核酸检测,为PCR和等温扩增产物的检测提供了一种方便、低成本和实用的检测方法。本文的主要研究内容如下: (1)设计了不同尺寸和形状的电化学阻抗检测微电极,并通过光刻工艺将其制备在微孔中。对不同浓度核酸溶液、不同扩增次数PCR产物、不同扩增温度的等温扩增产物进行电化学阻抗谱检测,结果表明电化学阻抗谱检测可以实现对核酸浓度的响应,且不同电极均能满足宏观Nyquist曲线。 (2)制作了不同尺寸和形状电极的电化学阻抗检测微阵列芯片,通过流动腔的设计与石蜡油的使用,将核酸溶液分隔成液滴并密封在微孔中。对皮升级PCR和等温扩增产物进行电化学阻抗检测,结果表明电极过程由电荷传递和扩散过程控制,且可以明显区分核酸非标记扩增。 (3)依托STM32F429IGT6嵌入式芯片,以微阵列芯片为主体设计了具有选通开关电路、电源电路的嵌入式系统,用于辅助核酸溶液的高通量阻抗检测,并对微阵列连接端点进行了线性伏安扫描。结果表明辅助系统的阻抗相对误差在1%以内,在保证稳定性的同时为微阵列电化学阻抗检测提供了自动化和便利性。 本文主要介绍了基于EIS的核酸非标记扩增检测的研究,包括电化学阻抗微电极的设计与制作、电化学阻抗微阵列芯片的设计与制作以及用于微阵列阻抗检测的系统开发。在完成不同检测的同时,本研究成功通过阻抗谱区分出了核酸扩增前后的阻抗差异。该研究为数字化核酸电化学阻抗谱检测提供了一种可行性的验证方案,并提供了可靠的硬件和软件支持,有望未来发展一种数字化非标记核酸检测技术。