近日，深圳北理莫斯科大学粤港澳情感智能与普适计算联合实验室在多模态抑郁症检测研究方面取得新进展。胡希平教授、王伟教授和陈健同学的研究成果《IIFDD: Intra and Inter-modal Fusion for Depression Detection with Multi-modal Information from Internet of Medical Things》在计算机科学领域的顶级期刊Information Fusion（影响因子：18.6, DOI：https://doi.org/10.1016/j.inffus.2023.102017）发表。深圳北理莫斯科大学为第一作者单位和第一通讯单位。该成果也是学校首次以第一单位和通讯单位在该期刊上发表研究成果。
传统的抑郁症检测方法依赖于临床专家根据患者的症状或通过抑郁测试量表对患者进行诊断。然而这种方法往往是主观的，而且取决于医生的专业知识。随着医疗物联网（IoMT）的发展，越来越多的设备被设计用于收集抑郁检测信息，包括音频、视频和文本数据，这些数据能够有效且全面反映一个人的情绪。因此，研究人员越来越关注开发基于 IoMT 技术的多模态智能抑郁检测方法，以提高抑郁诊断的准确性和客观性。
图1： 基于 IoMT 的多模态信息融合的抑郁检测示例
在论文中，胡希平教授团队发现了现有的抑郁症智能检测算法中存在着模态内与模态间特征挖掘与融合不充分的问题，通过引入注意力机制与改进多模态Transformer，提出了模态内模态间融合抑郁症检测框架，大幅提高了基于文本、语言、视觉三种模态数据的抑郁症检测算法的效果。在公开的抑郁症语料库CMDC与EATD-Corpus上的实验表明，论文提出的IIFDD框架在相同的实验设置下，能达到最高的抑郁症分类性能
该成果由深北莫粤港澳情感智能与普适计算联合实验室的陈健、胡雨竺、赖麒峰、王伟教授、陈俊鑫教授、刘晗副教授、Gautam Srivastava教授、Ali Kashif Bashir教授和胡希平教授共同完成。合作单位包括：中山大学、大连理工大学、加拿大Brandon University、英国Manchester Metropolitan University。
团队相关教师信息：
胡希平教授：https://www.smbu.edu.cn/info/5721/77161.htm
王伟教授：https://www.smbu.edu.cn/info/5721/78351.htm
