课程文献中心 更多>>

关键词： YOLOv5s   深度学习   嵌入式系统   RISC-V   硬件设计  

摘要： 基于边缘智能的目标追踪系统是将人脸检测、人脸识别等技术在边缘设备上完成,使用户可以在边缘端高效筛选出目标人物的活动轨迹,这对边缘设备的性能提出更高的要求。深度学习算法由于其突出的分类能力,成为人脸检测、识别的首选方法。如何将卷积神经网络部署在边缘设备上,成为目标追踪系统的研究重点。本文对该问题进行了研究,主要工作如下:1)针对卷积神经网络的运算量过于庞大、难以在嵌入式设备上部署的问题,本文提出一种轻量级人脸检测算法。该算法以YOLOv5s为基准模型,使用轻量级网络Mobile Net替换其主干网络,并引入了注意力机制CBAM和模型剪枝方案。对所提改进算法的性能测试表明该算法在维持较高准确率的前提下大大减小模型体积,实现了轻量化的人脸检测。2)针对多节点的高并发数据传输需求,本文移植了基于RISC-V架构的Sparrow RV处理器核、总线系统和中断系统。该处理器使用了RV32I基础整数指令集、M和Zicsr扩展,使用ICB总线协议和PLIC平台级中断控制器,具有两级流水线,经Coremark跑分测试,本设计功耗低,性能足够满足应用场景需求。3)设计目标追踪系统,硬件系统分为主控节点和监测节点,主控节点由微处理器模块、通信模块等组成,负责汇聚并处理数据;监测节点由微处理器模块、通信模块、视频采集模块等组成,负责视频采集、存储和无线传输等功能,并具有人脸检测的功能。通过对采集到的信息进行有选择的保留,减少了无意义的信息。测试结果表明,本文设计的目标追踪系统工作可靠,基本满足了实际应用的需求。

关键词： 信息安全   汽车FOTA升级   密码技术   在线升级  

摘要： 在现代的交通运输领域,FOTA(远程固件更新)技术发挥着重要作用。FOTA是一种通过无线网络远程更新车辆和交通设备的软件和固件的技术。通过使用FOTA,交通运输系统能够实现更高的效率、安全性和可靠性。但是使用FOTA技术对ECU进行更新时也面临着风险。因为恶意攻击者可以通过篡改ECU固件的方式对车辆进行攻击,例如使其失去控制或窃取车辆数据。同时,在软件定义汽车的今天,面向服务(SOA)的开发模式将给车辆带来巨大的变革。SOA将跨ECU交互由“基于信号的通信”变为“基于服务的通信”,固件空中升级(FOTA)也将由前期“面向功能”的FOTA逐步向“面向服务”的FOTA迈进。因此未来FOTA升级将变成整个汽车软件体系的一个可选和可配置组件。所以,研究车载ECU可信固件更新的安全策略至关重要。本文通过对目前车载ECU可信固件安全更新策略的研究进行总结和分析,提出了一种车载ECU可信固件更新安全策略,该策略涵盖了车载ECU固件从云端到ECU端更新的各个阶段,通过构建MQTT over TLS1.3构建车云安全传输通道,基于CAN总线采用UDS协议将车载通讯单元的固件传输到ECU端,确保固件在整个传输过程中不受篡改和窃听的威胁。其次,本论文还研究了一种可信启动策略,用于保护车载ECU固件在启动过程中的完整性和可信性。该策略使用了数字签名算法对固件进行认证,保证固件的不可抵赖性;使用消息认证码(CMAC)对固件进行校验,确保固件在启动前的完整性和真实性,以确保车辆启动时只能加载经过验证的可信固件。最后,设计实现了一个具有升级功能的FOTA系统,并进行了实车测试。实验结果表明,本文的车载ECU可信固件更新安全策略确保固件在整个更新流程中的可信性和安全性,同时也为未来的车载安全研究提供了参考和借鉴。随着技术的不断发展,FOTA在交通运输领域的应用将进一步扩大,为人们的出行带来更多便利和安全性。

关键词： 车载   嵌入式系统   图像目标检测   神经网络   深度学习  

摘要： 作为计算机视觉中的基本问题之一的图像目标检测,在加入深度学习之后取得了极大的进步,基于卷积神经网络(CNN)的目标检测算法已经在工业检测中取得了成功的应用。在驾驶领域中,视觉图像能够为车辆在行驶过程中提供丰富信息,图像目标检测在辅助驾驶和自动驾驶任务中扮演重要的角色。但车载嵌入式目标检测系统对于目标检测的实时性和检测精度要求更高,且在辅助或自动驾驶过程中车载嵌入式系统要同时处理多种数据,对时刻变化的道路情况做出决策或提供建议。因此车载嵌入式系统有着高并发的特点,而如何同时兼顾检测精度和检测速度是工业化应用领域的研究重点。本文以深度学习为基础,开展针对车载嵌入式系统的图像目标检测的研究工作,具体内容如下:以驾驶任务中常见的目标为基础,在COCO数据集的基础之上,通过扩充、合并、筛选构建了包含驾驶任务中常见的12种目标,73000标记数据,39000张图像的数据集。采用海思3559A智能芯片为测试实验平台,以Linux系统搭载RTX4090作为训练运算平台,以目前目标检测工业应用广泛的YOLOv4为代表,将YOLOv4在海思3559A上的测试结果作为基准,针对车载嵌入式系统的实时运行要求,采用无锚框Center Net目标检测算法作为改进实验算法,分别从模型结构、训练策略、模型压缩三个方面进行改进。为提高特征提取的能力,在模型结构上将Center Net主干特征提取网络替换为CSPDark Net53提高特征的提取能力,在特征融合阶段采用特征金字塔的结构增强特征融合的能力,针对模型训练时正样本数量较少的问题,在训练策略上使用了过渡样本的正负样本区分方法,减缓了真实标签被强制映射为[0,1]从而导致网络训练时收敛速度变慢的问题;针对特征金字塔结构采用Kmeans聚类分析对不同大小的特征目标进行分类,并筛选出大、中、小三类目标分别分配至不同的特征层,使用椭圆高斯核函数代替高斯核函数进行数据采样优化;在训练时使用Mosaic数据增强,加强模型的鲁棒性。在模型压缩方面,对训练达到精度的模型,采用通道剪枝的方法进行剪枝压缩,去除冗余权重参数提高模型的运算速度,并对剪枝后的模型使用知识蒸馏来提升模型的检测精度。在海思3559A平台上的实验结果表明改进后的Center Net其检测精度和速度都优于YOLOv4目标检测算法,其中在0.5置信度下其m AP达到了96.3%,压缩后的算法模型在海思3559A实验平台上达到55FPS的实时运行速度。

关键词： 色彩音乐   音频信号处理   嵌入式系统   蓝牙   联觉  

摘要： 联觉现象使色彩音乐产生关联,本文围绕嵌入式系统色彩音乐关联呈现这一目的,利用音色多维模型、时频转换算法、蓝牙无线传输技术、嵌入式系统开发技术、安卓应用软件开发技术等技术方法,实现了基于蓝牙控制的具有呈现色彩音乐实时匹配效果的嵌入式系统。课题涉及到音色多维模型的提出与确立,基于时频转换的色彩音乐算法的提出与实验,嵌入式硬件系统的设计与搭建,安卓平台蓝牙通信应用的开发与编写,最终实现了色彩音乐完美匹配的视听效果,具有一定的理论深度与技术使用价值。本课题主要研究内容如下。对色彩音乐映射关系的研究。从色彩音乐的物理特性入手,确定色彩音乐之间存在必然联系,为音色转换模型的提出奠定了理论基础。受三原色呈色原理启发,分析建立了基于HSV色彩空间的音色多维映射模型,提出了色彩音乐映射关系的模型转换方式。对比分析了傅里叶变换、离散傅里叶变换、快速傅里叶变换、短时傅里叶变换四种算法,以快速傅里叶变换算法为基础,提出了一种基于频谱转换的色彩音乐算法,该算法不仅能有效处理非平稳信号,并且极大地降低了计算量,提高了精确性,在嵌入式平台上也具有良好的移植应用效果,实现了色彩音乐的映射。设计搭建嵌入式实验平台。平台包括文件播放模块,音频解码模块,混光模块、频谱显示模块以及蓝牙模块,能够呈现音色实时匹配的视听效果,平台具备实时性、便携性、精确性以及可移植性等特点。开发设计蓝牙手机应用程序。利用安卓平台提供的接口函数,设计编写了蓝牙连接、蓝牙通信以及蓝牙文件传输的程序,并完成了界面设计,实现了手机端与嵌入式平台的无线通信。

关键词： 嵌入式系统   神经网络   二值化   硬件加速器  

摘要： 随着边缘计算和人工智能的飞速发展,智能边缘计算已经渗透到各种各样的日常生活中,例如智能摄像头、智能家居等。边缘设备的优势是比云端更加靠近用户,能够提供及时的数据处理,通常为嵌入式设备。嵌入式设备通常具备低功耗和低资源消耗的特点。但随着神经网络的发展,网络模型的参数量往往都非常巨大,并且层数很深,这为其在边缘嵌入式设备上的部署和运行造成了挑战。为了实现嵌入式设备能够部署大规模的深度神经网络,本文重点研究了面向嵌入式系统的神经网络二值化方法。首先,不同于传统研究的解决分类问题的神经网络二值化方法,本文针对多输入多输出的回归问题,提出了一种面向回归问题的神经网络二值量化方法,将二值量化推广到更多的机器学习领域。本文通过对实际回归应用的需求和不同量化神经网络的比较分析,选择将权重进行1/-1二值化。用FPGA设计了1/-1二值化方法的专用加速器,通过并行计算和流水线来加速计算。最后,在电磁信号数据集上进行实验验证。结果表明,通过1/-1二值化可以将网络模型大小压缩到原有模型的3.9%,加速器的推断计算时间为2.5毫秒,FPS达到392.6,FPGA板上资源(包括查找表、触发器和存储器等)中需求最大的查找表只用了16.28%,FPGA加速器功耗仅为3.994W。然后,为了解决1/-1二值量化无法用1位二进制数准确表示的问题,提出了一种0/1与1/-1的神经网络混合量化方法。该方法不仅可以用1位准确表示0/1二值权重,而且可以使神经网络的乘加运算变为更省时的加法运算。该方法用深度可分离卷积代替常规卷积,通过混合量化解决了0/1二值神经网络无法进行减法的问题。在量化函数中引入训练阈值,让网络自适应确定量化边界。针对0/1二值神经网络参数易训练过大和空间学习能力下降的问题,使用Tais()激活函数代替Re LU()激活函数,并优化最大池化层。在MNIST和CIFAR-10数据集上进行实验验证,结果表明在MNIST和CIFAR-10数据集上混合量化神经网络的模型减少率比1/-1二值神经网络的分别多1.9%和5.3%,减少的网络计算量分别多86.9%和88.4%,而混合量化神经网络的精度只比1/-1二值神经网络分别低0.4%和2%。最后,为0/1与1/-1混合量化方法提供硬件加速支持,设计了一种基于FPGA的神经网络专用加速器。分析了不同数据类型表示对硬件的影响,使用移动滤波窗口加速深度卷积,在输出维度进行并行计算加速逐点卷积,使用加法树加速池化层,通过流水线设计加速全连接层。通过实验表明,在120MHZ频率下,FPGA专用加速器可以达到431.2GOPS,并且功耗仅为4.75W,加速器的推断计算时间为1.8us。

关键词： 垂直阵   线谱增强   线谱检测   模态滤波   嵌入式系统  

摘要： 垂直阵是浮标、潜标等水下无人平台被动声呐常用的阵列形式。在实际海洋环境中,由于多途效应的影响,垂直阵阵元间的空域相关性降低,波束形成等阵列信号处理方法难以获得有效的空间增益,基于垂直阵的探测系统对辐射噪声弱线谱的检测性能不佳,对干扰的辨识能力有待加强。本文针对垂直阵辐射噪声线谱高增益获取和辨识需求,开展基于垂直阵的线谱增强和检测、声源深度辨识等方法研究,以提高垂直阵目标探测能力。主要工作和创新如下: 针对传统波束形成方法对垂直阵线谱处理增益较低问题,分析了互谱法进行线谱检测的处理增益及适用条件,并在此基础上,提出一种多阵元频域加权相移规约线谱增强算法。该方法利用阵元间线谱的频率稳定性,通过各阵元频域复数加权和多阵元规约处理,可有效提高线谱信噪比。海试数据处理结果表明,相较于多阵元功率谱平均和传统波束形成算法,本文算法得到的线谱信噪比可提高4d B以上。 针对现有序贯聚类线谱检测方法的弱线谱检测性能不佳和抗干扰能力弱的问题,提出基于频率预测的序贯聚类线谱检测方法,并采用高虚警线谱点作为算法输入,提高了算法对弱线谱的检测能力和抗干扰能力。仿真和海试数据处理结果表明,改进的序贯聚类线谱检测方法对弱线谱具有良好的轨迹提取能力,并且具有较低的虚警率。 针对稀疏垂直阵面临的线谱源深度辨识难题,分析了阵元数、模态阶数、声源距离、线谱频率等因素对模态滤波性能的影响,提出了模态滤波优度指标;在现有基于修正模态闪烁指数的声源深度辨识方法的基础上,利用优度指标定义了可辨识区域,对稀疏垂直阵进行线谱源深度辨识的性能进行了定量分析,仿真和海试数据处理结果验证了模态滤波优度指标的有效性。 完成了基于嵌入式平台的辐射噪声线谱检测和声源深度辨识系统设计和开发。在低功耗和有限运算能力的约束条件下,设计了值守检测与高性能检测相结合的工作模式,由MCU完成基于单阵元的值守线谱检测,由DSP完成3阵元垂直阵高性能线谱检测和声源深度辨识处理。测试结果表明,开发的系统可实现线谱自主检测和声源深度辨识,值守模式功耗小于0.5W,高性能检测模式功耗小于1W。

关键词： 卷积神经网络   轻量化模型   病害识别   OpenMV   嵌入式系统  

摘要： 现代农业大棚可以为各类农作物提供适宜的生长环境,从而极大地提升其质量和产量。然而,病虫害及环境参数等因素会对农作物的收成产生巨大影响,因此农业工作人员的农作物病虫害管理和提供适宜的生长环境工作尤为重要。目前,我国的温室大棚在作物病虫害管理方面存在不足,而在环境参数的管理方面也相对滞后,同时智能化信息化水平也严重不足。这些繁杂的工作很难依靠人工完成,无法满足农业产业现代化的需求。为了解决农业现场的病害识别及环境监管的痛点,本文研究实现了可应用于微型嵌入式终端的轻量化深度神经网络作物病害识别模型,并将模型部署于嵌入式移动终端OpenMV上,把该病害识别终端应用在适用于现代化大棚的智慧监管系统中,最终实现了智慧大棚病害及环境参数的动态管理。本文的主要的工作如下:(1)基于深度神经网络的轻量化农作物病害识别模型。选取MobileNetV2、Shuffle Net两种轻量化预训练神经网络模型,利用改动后的plant-village增强型数据集进行迁移学习,通过比对SGD、RMSProp、Adam三种优化器以及使用固定学习率或余弦衰减动态学习率的方法,验证了采用Adam优化器和余弦退火衰减学习策略可得出性能较好的MobileNetV2学习模型。(2)将MobileNetV2轻量化模型应用于OpenMV嵌入式图像处理模块。通过OpenMV终端的图像颜色阈值追踪功能构建基于颜色阈值的图像识别系统,借助舵机改变云台及摄像头位置,在捕捉到颜色阈值范围内的病害图像时进行病害识别,从而提高复杂背景下的识别精度、减少终端资源浪费。(3)基于STM32F4主控芯片完成了各类环境因子采集传感器的集成,同时设计了一套可改变农业大棚环境因子的硬件设备,利用广和通4G模块实现与One NET物联网云平台及小程序端的可视化交互。(4)开发基于One NET物联网云平台的可视化交互界面,同时开发了基于微信小程序的农业大棚多业务识别监管系统,实现农业大棚多业务、多场景和多方式的动态监管。

关键词： 嵌入式系统   STM32   树莓派   人脸检测   YOLOv5l  

摘要： 人类可以轻松地凭借眼睛与大脑进行人脸的辨别,但对于嵌入式设备而言,人脸检测却是一大难题。随着嵌入式系统的发展,嵌入式应用与人脸检测的结合日益密切,具有人脸检测功能的嵌入式应用在生活中已随处可见,例如ATM机、口罩体温检测仪、人脸支付平台等。目前,嵌入式人脸检测应用的研究与开发正在与时俱进。因此,研究可用性良好、迁移性强的嵌入式系统应用具有重要意义。本文考虑了嵌入式人脸检测应用的检测流程,依次从图像采集、人脸检测与功能扩展、模型改进后的智能化检测三方面对嵌入式人脸检测系统进行研究与设计。本文主要从以下三个方面展开研究:(1)嵌入式人脸检测应用的检测流程中,第一步往往是图像获取。针对图像采集功能,研究并设计了嵌入式多任务拍照系统。首先,以STM32F103为基础,结合图像传感器等外部设备设计了硬件系统。其次,向STM32F103移植了μC/OS-III,设计了多任务系统工程模板与各个任务,研究了任务间的通信方式与过程,完成了软件系统设计。最后,结合软件系统与硬件系统进行了系统测试。(2)人脸检测是人脸检测应用的核心功能,针对带有跟踪功能的人脸检测系统,采用上位机与下位机相结合的设计方式,研究并设计了人脸检测与跟踪系统。设计了上位机与下位机的硬件系统,并基于Open CV库设计了上位机的人脸检测流程,利用工程模板设计了下位机的多任务系统,改善了STM32F103的功耗,完成了软件系统设计。最后,结合上位机和下位机的硬件系统与软件系统进行了系统测试。(3)面部口罩检测设备的合理使用可以缓解疫情防控所导致的压力,因此在人脸检测系统的基础上融入面部口罩检测功能十分必要。基于这一需求,研究并设计了嵌入式面部口罩定时检测系统。研究了YOLOv5l利用Mobile Net V2的主干网络进行轻量化改进的方案,并通过实验验证了改进方案的可行性。以树莓派为核心设计了硬件系统,利用树莓派进行面部口罩定时检测,并设计了软件系统。最后,整合系统进行了系统测试。

关键词： H.264   嵌入式系统   运动估计   帧内预测  

摘要： 视频监控是交通管理系统中重要的部分,连续不断的工作模式产生庞大的数据量,给数据传输与存储造成极大的压力。海量的原始数据、有限的带宽及硬件存储空间,使得实时传输、处理和存储监控数据变得异常艰难。本文旨在对视频监控系统进行研究,对H.264编码算法的编码效率进行改进,以适应低成本嵌入式系统道路实时监控的应用。论文的主要工作包括:对H.264编码算法的框架及各部分技术进行研究,在此基础上,对帧间预测运动估计算法和帧内预测算法进行了改进。在帧间预测运动估计算法方面,针对道路交通监控应用方向,对UMHexagon S算法中的非对称十字形搜索模板、5×5正方形搜索模板、多层次六边形搜索模板、六边形搜索模板以及搜索窗口进行改进,使其更符合监控道路车辆运动特性。在JM模型下的实验显示,在维持信噪比、编码比特率基本不变的情况下,帧间预测运动估计时间和编码时间有明显下降。在帧内预测算法方面,首先基于改进后的阈值判定法对16×16宏块的Intra16×16和Intra4×4模式进行预测,缩小搜索范围。然后,根据纹理方向对预测模式进一步缩小预测模式搜索范围。在JM模型下的实验显示,在信噪比、编码比特率基本不变的情况下编码时间大幅下降。将帧间预测运动估计和帧内预测两处改进在JM模型下叠加进行仿真测试,实验结果表明:视频的编码时间下降了约24.48%,同时信噪比提高了约0.07%,编码比特率提高了约1.43%。以Cortex-A53芯片为核心,搭建并实现了一套嵌入式实时视频监控系统,并在该平台上进行系统软件搭建,将改进后的H.264算法嵌入到该系统中。以Linux为硬件终端的操作系统,选用Nginx为视频服务器,实现视频采集、编码、保存并传送等功能。显示端使用PC机接收采集端的视频编码信息,采用Qt和FFmpeg解码技术编程,对接收到的信息流进行解封装、解码、播放及保存等操作。对搭建的视频监控系统进行了测试,能够达到预期的要求,满足交通监控应用需求。

关键词： 移动数据库   电力抄表   用电量   嵌入式系统  

摘要： 为了保障抄表系统稳定运行，电力领域需要明确移动数据库技术在抄表系统当中的运用特点，同时提升该技术的运用能力。为此，主要阐述了移动抄表系统的构成，探讨了移动数据库技术在抄表系统中的实际运用方法，以及远程自动抄表系统设计。