关键词:
色彩音乐
嵌入式系统
音乐情感识别
深度学习
摘要:
音乐在人类发展中发挥着重要的作用,尽管音乐是一种听觉现象,但也可以通过视觉上的展示以可视化的方式来表达音乐,并且广泛应用于实际需求中。对于可视化的方案上本文首选了对视觉冲击力最大的色彩,并综合运用心理学、音频信号处理技术以及深度学习等技术,对音乐的属性以及特性进行了时域和频域上的可视化分析,并通过建立的音乐与色彩的关系模型,研制了在嵌入式平台以及PC机上的色彩音乐可视化系统。在嵌入式平台上,本文采用音频信号处理技术对音频进行了实时采样和分析,基于时频分析理论,采用改进的算法识别出了音乐的音级,并通过建立的音级与色彩之间的关系,将播放的音乐通过脉冲宽度调制(Pulse Width Modulation,PWM)驱动RGB-LED混光模块实时地匹配出了相应的色彩,展现出了音与色彩的可视化。针对嵌入式系统上计算能力有限的缺陷,以及为了确保各个模块间的稳定通信,音乐的流畅播放与色彩的实时性,通过统筹考虑系统的工作调度和时序安排,设计了双处理器系统。并在此基础上完成了对每个模块的搭建和设计以及功能上的调试。最后通过大量的实验测试与分析,确保了本系统的实时性以及对算法处理上的可靠性,并达到了预期的效果。由于是在嵌入式平台上进行的开发与设计,因此本系统有着便携性、实时性以及可移植性的显著优点,对于城市景观、车载氛围灯以及舞台灯光等领域内具有较大的实际应用价值。不仅如此,音乐在心理治疗等方面也有着非常广泛的前景,因此本文对音乐进行了进一步的分析,不在局限于音乐的低级特征,进而分析音乐的高级特征——情感。由于情感的复杂性、主观性以及模糊性,本文通过PC机展开了实验与分析。对于音乐的情感,本文基于Valence-Arousal维度的情感模型,采用深度学习技术,通过分析不同角度下音乐的时频特征,提出了一种基于时频图像的CLSA模型,并识别出了音乐的情感,进而输出了Valence-Arousal维度的二维空间中的值,并通过建立的情感空间与色彩空间之间的映射关系,将播放的音乐通过训练好的模型实时地匹配出了相应的色彩,达到了音乐的情感与色彩的匹配,展现出了音乐情感与色彩之间的可视化效果,为日后的音乐治疗等领域提供了较大的应用价值。