进化心理状态转变模型有助于机器学习算法追踪情绪

Josiah02

为了改进自动情绪跟踪（可以随时间检测和监控情绪）的功能，人机交互领域的一组研究人员决定通过模拟内部情绪的变化而不是仅仅解释外部情绪信号来完成这项任务。
他们利用心理学的见解，开发了进化心理状态转换模型，该模型结合了心理状态转换网络。他们在两个多模态情绪数据集上测试了该模型的有效性，结果比现有的替代方案明显更准确。
他们的研究于 2024 年 4 月 8 日发表在《智能计算》上。
除了准确性之外，进化心理状态转换模型在情绪跟踪方面的另一个优势是其计算时间减少且占用空间更小。作者称，该模型的参数比其他已发布的模型要少，这使得它“适合部署在移动设备和机器人上”。
情绪跟踪的日常生活应用包括舆情监测、营销传播、心理健康监测和在线教育。作者的模型可以扩展以个性化情绪跟踪，以考虑情绪波动的个体差异。这方面的工作将建立在模型的心理现实性基础上，该模型试图捕捉“情绪的自然动态及其对心理状态的影响”。
作者的情绪追踪系统包括几个步骤：
基于语言、视觉和声音输入的多模态模式识别
Transformer 中的特征融合
汇集计算“外部情绪能量”（表观情绪）
使用独特的心理状态转换网络确定实际情绪
在进化心理状态转换模型中，首先从数据中提取语言、视觉和声学特征并进行编码，保留其时间顺序。接下来，使用多头交叉注意力模块在每个时间步骤融合这些特征；这是计算最密集的步骤。第三，使用两种常见的深度学习技术的最大池化和平均池化进行降维，并将每个时间步骤中的特征转化为外部情感能量。
最后，利用心理状态转换网络考虑受试者的情绪随时间的变化模式，以及外部的情绪能量，以确定特定时间步骤的实际情绪状态。
该网络建立在一组概率之上，这些概率来自之前从 200 名参与者那里收集的有关不同情绪对之间关联的数据。它通过权衡多种同时出现的情绪的贡献来预测情绪状态，而不是假设受试者只经历一种情绪。
使用基于两个大型数据集（CMU 多模态观点情绪和情绪强度数据集和 Ren 中国情绪语料库）的分类任务，将进化心理状态转变模型的性能与许多基线方法的性能进行了比较。CMU 数据集由录制的英文独白组成，可识别快乐、悲伤、愤怒、厌恶、惊讶和恐惧。中文语料库由博客文本组成，用于测试心理状态转变网络组件。
更多信息： Fu-Ji Ren 等人，《使用心理状态转变的进化模型跟踪情绪：引入新范式》，《智能计算》（2024 年）。DOI ：10.34133/icomputing.0075