课程文献中心 更多>>

关键词： 机器视觉   PCB缺陷检测   深度学习   嵌入式系统   实时性  

摘要： 印刷电路板(Printed Circuit Board,PCB)是电子类产品的核心部件,其质量直接影响整个产品的性能和可靠性。然而生产过程中难免出现PCB缺陷,从而导致电子产品无法正常工作,甚至出现安全隐患。因此电路板缺陷自动检测在提高企业良品率、保证高效生产力、提升品牌声誉等方面显得尤为重要,对促进我国在智能制造和产业数字化方面保持竞争力具有现实意义。目前PCB缺陷检测方法中存在人工检测主观性大,无法适应复杂的电路检测和光学检测系统中的激光成像初始成本高、使用维护问题多、系统电路复杂的问题。为了减少PCB缺陷检测系统的造价成本和使用维护问题,实现嵌入式检测系统的实时性、自动化和便捷性的需求。为此本文分别提出了基于深度学习算法的Centernet-SPMFF和YOLO＿AD网络,通过实验对比,将最优改进模型采用MVC架构进行硬件迁移,最终构筑一套实时在线PCB缺陷检测系统样机。具体工作如下:(1)首先介绍了PCB缺陷检测系统的研究意义与现状,分析了当前光学系统对PCB缺陷检测技术的优缺点。结合深度学习目标检测应用,以有无先验框和网络参数量的特征,选择了不同类型的Centernet和YOLOv5网络模式为PCB缺陷测试的基本网络模型。(2)通过TX2硬件平台解决PCB缺陷检测系统中的硬件选择与搭建问题,采用MVC(Model View Controller)架构实现了一个完整的缺陷检测的嵌入式神经网络系统。研究硬件网络迁移部署并分析造价成本,GPU性能,运行内存和计算参数,以TX2采用MVC架构进行系统开发部署。(3)针对PCB缺陷检测系统成本高、检测单一等问题,提出了改进的Centernet和YOLOv5网络模型,并采用空洞残差卷积结构、串并联多尺度特征融合(Series and Parallel Multi-scale Feature Fusion,SPMFF)以及Ghost模块等技术来优化网络结构,提高检测效率和压缩模型,从而实现模型的对比迁移。Centernet网络只改变缺陷特征的感受域并不增加运算量,再结合SPMFF获得高分辨率和小目标缺陷特征信息;YOLOv5将轻量型Ghost模块作为骨干特征网络,融合通道注意力机制,引入空洞残差网络,从而避免了对网络模型的卷积计算量,提高了网络计算效能。(4)通过进行消融实验对比改进的Centernet-SPMFF网络和YOLO＿AD网络,从模型容量、检测速度和检测精度比较最终选择YOLO＿AD模型应用于PCB缺陷检测系统中。前者提升了检测精度且减少了模型容量,后者网络容量和网络参数量与原网络相比下降了约64%,极大的提升了网络的目标检测速度。(5)最后建立了图像采集,模型识别,检测结果可视化功能为一体的实时性检测样机,此智能检测系统装置检测PCB各类缺陷识别率高达92.80%,检测速度为30FPS。

关键词： 嵌入式系统   可信计算   可信执行环境  

摘要： 随着智能网联汽车的发展,汽车电子化程度的不断提高,车载电子控制单元(ECU)系统的功能越来越复杂,需要不断升级以满足新的需求。车辆智能化技术的快速发展带来了新的车辆空中下载技术(OTA)。OTA升级过程快捷方便,已成为汽车行业中的热门话题。然而由于车载ECU系统的特殊性质,升级过程中存在着一定的安全风险,因此如何保证OTA升级的安全性已成为一个很重要的问题,需要一种高可信的嵌入式平台来保障系统的安全性和可靠性。本文针对目前车载ECU升级存在的安全问题,通过分析和研究现有的OTA升级防护技术,设计了一个软硬件结合的基于可信执行环境的高可信嵌入式平台。相对于传统的OTA升级防护技术,本文提出的基于可信执行环境的嵌入式平台更安全可靠。该平台有效地隔离了不同的执行环境,防止了潜在的攻击和破坏,同时通过软硬件结合的设计提供更加安全可靠和高效的OTA升级服务。本文主要分为以下几个部分:(1)软件架构设计:本文基于可信执行环境设计了一种适用于车载ECU系统升级的高可信嵌入式平台。本文设计中将车载系统分为安全区域和普通区域,并采用了多种技术手段,包括硬件加密、安全启动、可信存储及安全更新,以确保系统的安全性和可靠性。通过使用数字签名技术对升级文件的完整性和真实性进行验证,确保升级文件的正确执行。(2)硬件架构设计:本文基于FPGA平台设计了一种适用于嵌入式系统的加解密模块。通过硬件级别的加速,实现对加解密算法的快速实现,配合可信执行环境完成系统安全认证,对系统的关键数据进行加密保护,防止数据被非法篡改或窃取。进一步提升高可信嵌入式平台的安全性。(3)安全验证分析:对本文设计的软硬件结合的安全平台进行模拟安全验证。结果表明,本文提出的车载ECU升级高可信嵌入式平台同时具备安全性、完整性、保密性和可靠性,可有效抵御车载ECU系统升级可能遭受的威胁,达到了预期设计目标。

关键词： 激光加工   振镜校正   图像处理   嵌入式系统   软件代码优化  

摘要： 激光加工技术的加工能量密度高,同时具备极高的加工稳定性、良好的控制性以及无接触加工等多方面优势,在社会的各行各业得到了愈发广泛地应用。振镜则由于具有标刻效果好,效率高,加工快等特点,在高精度领域有着广泛应用。而目前传统的基于PC(Personal computer)上位机控制的激光振镜加工平台存在携带不方便、使用不灵活等问题,无法满足当前工业领域对设备的智能化、小型化的要求。因此本文旨在使用一套嵌入式控制端替代原有的PC上位机,将原有的基于PC上位机平台搭建的激光控制模块移植到嵌入式系统中,并且针对性进行性能优化和功能整合,完成一套可实用的激光振镜加工控制系统。本文的主要工作如下: (1)对当前已有的激光加工平台进行分析,设计并搭建激光振镜加工控制端系统。同时对PC上位机已有的软件系统进行功能分析并且进行嵌入式移植,以保证系统可以在嵌入式平台正常工作; (2)针对嵌入式平台作为控制端的算力限制,提出一种将GUI模块与管理计算模块分离的架构方案,并且选取了合适的工具对各模块进行开发。通过串口通信的方式构建起GUI模块与实际的控制管理模块的通信桥梁;同时在控制端对PC上位机的代码完整移植到了GD32为核心的控制板上,并基于该平台进行了乘除法优化,飞动加工优化等一系列代码优化,从而使得激光加工平台能在嵌入式控制的情况下有良好的表现; (3)对比已有的各种校正方案,将校正结果固化为校正表与实际加工平台一一对应,避开嵌入式平台的性能问题。同时引入迭代校正方案,并通过该方案在尽量降低资源使用的情况下增加校正精度,令校正效果在资源受限的情况下也足够优秀; (4)设计开发了嵌入式设备中的人机交互界面。做到所见即所得,满足各种复杂场景的需求。

关键词： 水下图像   工艺品检测   模型压缩   嵌入式系统  

摘要： 水下机器人是智能控制技术的一个重要载体,也是当下的研究热点之一。水下古董打捞机器人作为民用机器人的代表,在文物保护、历史传承等方面具有重要的社会意义。本文所研究的“水下工艺品检测嵌入式系统”依托于“水下古董打捞机器人”项目。作为实施打捞作业的第一步,对工艺品的识别与检测是后续机器人定位、水下导航、抓取控制、年代鉴别的必要前提。现阶段,基于深度学习的目标检测算法逐渐成为主流。针对现有方法在水下工艺品检测领域存在的一些不足(例如:水下图像退化、小目标漏检等),本文首先采集并完善了数据集,然后设计了一种专门面向水下工艺品优化的检测模型,最后将上述模型压缩部署到边缘设备中。完成了一整套基于视觉驱动的水下工艺品检测嵌入式解决方案。本文的研究内容涉及“数据集”、“检测模型”、“嵌入式部署”三个方面:(1)制作了一套水下工艺品数据集。针对互联网上有关水下古董数据的空缺,自行采集并标注了6300余张包含11种类别的水下工艺品样本(例如:铜钱、宝剑、青花瓶等);从“类别分布”、“真值框高宽比分布”、“真值框中心点分布”定量分析了本文数据集的合理性和不足之处;针对上述不足,逐一给出解决方案:提出VELA算法来校正水下图像偏色,提出RMU增强方法来平衡类别分布,引入DCP算法来进行水下图像去雾等。(2)提出了一种面向水下工艺品优化的检测算法UWAYOLO。针对现有方法在小尺寸工艺品上检测效果不佳的问题,首先提出了多尺度浅层特征提取器MSFE,融合高分辨率下的多尺度细节特征,扩大感受野范围,充分利用上下文信息;其次提出了融合特征去噪模块MFDM,通过对Neck部分的输出特征图进行双重注意力增强,从而达到背景去噪、突出有效目标的直观效果。针对现有方法在高宽比失衡的工艺品上检测效果不佳的问题,在Backbone中引入了可变形卷积模块DBS,使得网络在特征提取过程中,采样点更加聚焦于工艺品本身。通过对比实验可知:在水下工艺品检测方面,本文所提的UWAYOLO要优于现有方法。(3)设计了一套基于深度学习的水下工艺品检测嵌入式系统。结合通道剪枝和知识蒸馏对UWAYOLO进行模型压缩,得到轻量化检测模型UWAYOLO-tiny;将精简模型部署到Jetson Nano嵌入式板卡中,并完成配套的软硬件设计。在模拟浑浊水体中验证了嵌入式系统的有效性,能够满足水下古董打捞机器人检测准确性和实时性的需求。

关键词： Web   JavaScript   智慧车列   嵌入式系统   嵌入式GUI   交叉编译  

摘要： 智慧车列车载终端是实现智慧车列信息交互的重要车载部件,既是乘客、驾驶员以及调度管理人员的联系中介,也是车辆、卫星、调度服务系统以及车外传感器的联系中介。智慧车列车载终端应具有数据交流、通讯交流、安全警示等功能。目前,市面上流行着许多款面向嵌入式车载终端的GUI系统,这些系统经过多年的发展已经日趋成熟。常见的有Qt/Embedded、Windos CE和Android automotive。但是,这些车载嵌入式系统对于智慧车列项目来说都存在着明显的不足。所以,需要定制开发一款适合智慧车列项目的车载终端。 本文从项目背景、车载终端国内外发展现状、关键技术研究、智慧车列车载终端GUI系统设计方案、智慧车列车载终端GUI系统实现和智慧车列车载终端GUI系统测试等方面介绍智慧车列车载终端GUI系统的设计以及开发过程。首先,本文对智慧车列车载终端系统进行设计,该系统主要分为智慧车列车载终端前端页面和本地JT808解码与编码服务器两个部分。然后,本文选择了Java Script语言,结合element UI框架和***编写了智慧车列车载终端前端页面;而本地JT808解码与编码服务器作为与远程调度平台沟通的桥梁,负责对智慧车列车载终端GUI系统和远程调度平台之间基于JT808协议通信的部分进行解码与编码,该服务器基于***,采用***框架进行开发。最后,本文对开发完成的智慧车列车载终端系统进行实车测试,测试结果表明本文所开发的智慧车列车载终端系统基本满足了智慧车列项目组的需求。 本文通过使用JavaScript语言以及相关框架,成功地完成了对智慧车列车载终端GUI的开发。实现的嵌入式GUI系统不仅为智慧车列车载终端项目组提供一个满足车列运营需求、简洁美观的人机交互界面,还可以为UI Web化提供一些思路。通过使用Buildroot工具,本文成功地将Chromium源码进行交叉编译,实现了嵌入式浏览器的移植。这项工作为未来开源浏览器作为嵌入式浏览器的移植提供了有价值的参考,同时也更好地促进了嵌入式GUI和Web技术的结合。

关键词： 放射源   WiFi室内定位   嵌入式系统   WinForm  

摘要： 随着核技术的快速发展和广泛应用,放射源的监管成为保障公共安全和保护环境的重要任务。但是,由于放射源的丢失、被盗或非法转移等原因,已经发生过多起放射性事件,对环境和人类健康造成了严重的危害。因此,放射源监控系统的设计和建立是确保公共安全和环境保护的重要措施。通过实时准确获取放射源位置和辐射剂量值,监控系统能够提前预警和采取必要措施,最大程度地减少事故风险和潜在危害,为保障社会的可持续发展和核技术的安全应用作出贡献。首先,本文介绍了无线定位技术在放射源远程监控系统中的应用方案。当放射源处于室外开阔区域时,采用技术成熟、精度高且由我国自主研发的北斗卫星导航系统来获取其位置信息;但当放射源处于室内区域时,卫星信号对建筑外壁的穿透力受到限制,卫星导航系统不能在室内提供定位服务。针对这一问题,本系统采用基于WiFi网络的室内定位技术,该技术具有成本低、部署方便和信号覆盖面广等优点,适用于室内场所的定位需求。然而,由于WiFi室内接收信号强度的时变波动性所带来的定位误差大的问题,提出了一种改进的位置指纹定位方法,以提高室内放射源在复杂环境下的定位精度。其次,利用研究的无线定位技术及算法,将网络通信、嵌入式开发、传感检测与数据库等技术相结合,设计开发了一款放射源远程监控系统。该系统中的监测终端可以实时获取放射源的剂量值以及周围的温度、湿度和地理位置信息,利用GPRS网络的TCP/IP协议将这些数据打包发送至远程监控中心。监控中心软件可以同时处理安装于不同位置的多个放射源的监测终端数据,并对放射源的实时监测数据处理存储和可视化展示。管理人员使用该系统设备可以实现对放射源的远程实时监控。最后,对设计出的放射源远程监控系统进行实际功能测试,提出的改进室内指纹定位算法在系统应用中的定位精度在2～3米内,而基于北斗的室外定位精度为5～10米,满足放射源定位精度要求。系统的放射源环境剂量监测值与标准工具检测值平均相对误差为6.12%。监控中心软件功能及数据库运行正常稳定,放射源远程监控系统满足对放射源监控的有效性、便捷性和实用性要求。

关键词： 喷涂监测   汽车内饰   荧光图像处理   嵌入式系统  

摘要： 随着乘用车的普及,汽车已经成为人们第二个“家”。然而,因汽车内饰生产缺乏除醛监管,车内空气质量问题频发。论文瞄准汽车内饰生产过程中的在线除醛监测需求,针对汽车内饰形态复杂多样、缺乏除醛剂喷涂质量客观评价标准等问题,开展了除醛剂喷涂检测方法研究,并设计开发了一套面向汽车内饰的除醛剂喷涂质量在线监测系统,旨在通过对汽车内饰生产过程中的除醛剂喷涂质量进行监管以改善车内空气质量。论文主要工作包括:实地调研了多个汽车内饰生产厂,从检测区域、评价指标等方面细化了系统研发需求,并据此设计了系统总体方案,开展了除醛剂喷涂检测方法研究,搭建了系统硬件平台实现荧光图像采集、外设控制和串口通信等功能,基于嵌入式Linux系统设计了检测终端软件实现喷涂检测、结果评价和数据上传等功能,基于前后端分离的思想设计了后端数据管理系统、数据库模块和前端网页实现了数据管理、数据存储以及用户交互等功能,最终完成了一套面向汽车内饰生产的除醛剂喷涂质量在线监测系统的开发和测试。论文的主要创新点有:(1)针对监测对象形态复杂多样的问题,论文基于模板定位的思想,提出了待检测区域提取算法,实现了对内饰工件喷涂检测区域的快速准确分割;(2)针对当前缺乏除醛剂喷涂评价标准的问题,论文基于层次分析法的思想,构建了喷涂质量评价体系,并提出量化评价指标计算方法,实现了对除醛剂喷涂质量的客观量化评价。论文设计的除醛剂喷涂质量在线监测系统已在项目合作方的工厂上线使用,能有效基于导入的内饰模板实现准确的检测区域分割和喷涂质量量化评价。检测结果与有经验的工程师客观评价结果吻合度超过96%,且平均每次检测耗时1.99秒,系统能满足实际应用需求。

关键词： 嵌入式系统   混合关键系统   虚拟化   虚拟机调度器   微内核  

摘要： 随着嵌入式系统的大力发展、广泛应用于各行各业,其使用场景变得日益复杂,在最小化尺寸、重量、功率和成本的压力下,越来越多的操作系统需要被集成整合到同一硬件平台上。在这种场景下,传统单一的系统只能通过不断的增加功能来驱动整个硬件平台,这导致系统变得十分臃肿,在安全性、兼容性等方面存在较大的问题,并且普通的调度算法难以满足大量混合关键系统的调度需求。在上述背景下,为了解决嵌入式领域的复杂问题,嵌入式虚拟化技术以及混合关键系统迅速成为行业的研究热点。本文以基于微内核的嵌入式虚拟化技术为基础,通过重构电子科技大学自研的mginkgo微内核操作系统,在ARMv8平台实现虚拟机管理器原型,并对CPU虚拟化技术进行重点研究,主要创新点如下:(1)重点研究ARM架构中的虚拟化相关技术、多操作系统运行加载、缓存隔离机制以及混合关键系统及其调度算法,最终提出了应用于混合关键系统领域的嵌入式虚拟化方案设计,并且基于微内核架构进行原型机的构建与实验。实验结果表明,本文所设计的虚拟机管理器具有高性能、低开销、高安全的特性。(2)为了应对混合关键系统,本文提出了新的混合关键系统模型,研究并实现了面向混合关键系统的实时虚拟机调度器。本文以虚拟机调度器开销作为基准进行评估,实验表明,所实现的混合关键系统开销较低,可以满足多种应用场景的需求。(3)为了降低虚拟机之间内存争用所带来的性能损耗与不确定性,本文引入了缓存隔离机制,针对内存进行染色,消除了虚拟机之间在缓存级别的干扰。实验表明,缓存隔离机制有利于消除共享缓存的争用带来的性能损耗,也有利于提高虚拟机的安全性。综上所述,本文基于微内核架构,利用ARM在硬件层面对虚拟化技术的支持,设计并实现了虚拟机管理器。在虚拟机管理器中引入了内存染色机制、混合关键系统模型及其调度算法,其具有实时性、低开销和高安全以及可扩展性强等特点。

关键词： 盲区检测系统   嵌入式系统   深度学习   目标检测算法   目标跟踪算法  

摘要： 目前家用汽车的普及率逐年呈上升趋势,交通事故发生的频率也随之提高,而随着人工智能领域中深度学习的快速发展,车载安全辅助设备的智能化得以快速发展。本文提出了基于数字图像处理的汽车盲区检测系统,将后视单目相机的实时画面作为输入,通过基于深度学习的目标检测算法和目标跟踪算法,结合测距模型,实现自车盲区内车辆的精准识别、定位与报警。为保证能够在算力有限的嵌入式设备中部署,使其能够快速而精准的检测,需要对以上核心的模型或算法进行优化,本文主要做了以下内容。(1)本文使用目标检测算法YOLOv5作为检测任务的核心,通过单目相机识别后方的目标车辆,实时地生成检测框。改进后的Bo T-YOLOv5通过引入基于Transformer机制的Bo T模块和基于注意力机制的CBA模块,提高模型的特征提取能力和检测能力的同时压缩模型参数,保证能够在车载设备中快速而精准地检测目标。(2)本文设计了基于Bo T-YOLOv5的自动标定算法,建立基于单目相机的测距模型。首先使用张正友标定法对相机内参标定,随后Bo T-YOLOv5与K-means聚类算法相结合,通过车道线检测框自动生成道路消失点,用来计算相机外参,建立像素坐标系到世界坐标系的转换关系,完成对像素平面内目标车辆的测距。(3)针对车辆出现遮挡等情况易导致对车辆检测不连续的问题,提出了一种改进的目标跟踪算法Deep-SORT,将Bo T-YOLOv5作为检测器,通过引入加速度参数的卡尔曼滤波预测目标车辆的运动轨迹,使用GIOU加强检测框与预测框的关联匹配程度,结合测距模型绘制目标的实际运动轨迹,实现精确定位跟踪。(4)完成汽车盲区检测系统功能的设计,根据建立的世界坐标系,在图像中划定自车后方两侧的盲区范围,在改进后的Deep-SORT算法获得目标车辆实际运动轨迹后,进行定位和碰撞时间估计,以此作为常规盲区检测预警和二级报警的判定依据,将检测程序与权重模型部署至设备中,在实际路况中验证检测效果。

关键词： 核相关滤波   多特征融合   尺度自适应   抗遮挡   嵌入式系统  

摘要： 目标跟踪作为计算机视觉领域中的重要分支,它融合了目标检测、背景识别、视觉导航等多方面的技术,广泛应用于机器感知、卫星导航、视频压缩、军事制导等领域。但在实际跟踪过程中,由于环境、目标本身的复杂变化及其他未知因素给目标跟踪带来了严峻挑战。如何增强跟踪算法的鲁棒性、精度等性能以应对光照变化、尺度变化、遮挡等复杂场景仍是当前该领域中亟待解决的关键问题。 针对以上难点,本文以复杂环境下的目标跟踪为主线,以生成式与判别式目标跟踪算法的优劣为知识驱动,以提高跟踪算法的鲁棒性、准确性等相关性能为目标,在核相关滤波跟踪算法(Kernel Correlation Filters,KCF)的基础上改进优化,并在嵌入式硬件平台上完成对本文跟踪算法的硬件部署。本文主要创新点及工作内容如下: (1)针对传统KCF算法中单一特征难以准确表述目标外观模型问题,本文设计了一种基于方向梯度直方图特征(Histogram of Oriented Gradient,HOG)、颜色特征(Color Names,CN)及深度特征(Convolution Neural Network,CNN)的自适应多特征融合策略,极大增强了跟踪器在复杂场景下对目标外观的表示能力,提高了跟踪算法的鲁棒性。此外为解决传统KCF算法中因采用固定尺寸的跟踪框无法适应目标尺度变化,本文采用一种树形尺度自适应机制,在保障算法准确度的前提下,相对于其他尺度自适应方案的运算次数显著减少。 (2)针对复杂跟踪环境中目标受到遮挡或长时跟踪等情况下,易造成模型漂移从而导致跟踪失败,本文提出了一种基于卡尔曼滤波器的抗遮挡与位置修正策略。当目标发生遮挡时使用卡尔曼滤波器的最优估计值作为目标框,同时采用自适应权值的方式更新滤波器模型,该策略能够减少模型发生退化的风险并降低对后续跟踪过程的影响,进一步增强了跟踪器的鲁棒性。当目标未遮挡时,本文规定每隔5帧图像时利用卡尔曼滤波器实时修正目标位置,缓解少量模型漂移被放大后导致目标跟踪失败的问题。 (3)为验证本文改进后跟踪算法的有效性与实际效果,将本文算法分别在OTB(Object Tracking Benchmark)数据集及VOT(Visual Object Tracking)数据集上进行测试并与其他优秀算法进行对比分析。结果显示本文改进后的跟踪算法在OTB2013数据集上的成功率为65.2%,精度为88.0%;在OTB2015数据集中成功率为62.9%,精度为84.7%;在VOT2018数据集中精度为58.6%,期望平均覆盖率为38.3%,鲁棒性为72.4%。本文改进后的跟踪算法性能提升已在上述综合测试与对比实验中充分证明,特别在遮挡、尺度及光照变化等复杂场景下的提升效果尤为显著,同时相较于其他跟踪算法也具明显优势。 (4)针对传统集成电路功耗大、实时性差、算力少以及移植难等缺点,本文提出在FPGA(Field Programmable Gate Array)+Hi3559AV100的嵌入式硬件平台上完成本文跟踪算法的部署任务。利用FPGA强大的并行计算能力与Hi3559AV100独特的图像处理能力相结合,能够切实保障本文跟踪算法的准确性及系统实时性要求,同时也体现了本系统的实际工程应用价值。在本系统中FPGA主要完成图像传输、图像存储及相关控制等功能,Hi3559AV100主要完成本文目标跟踪算法的移植任务。最后设计了一款智能目标跟踪系统界面,实现了对系统状态的精准监控及自动化控制。