2024年7月26日下午，中国多媒体大会ChinaMM2024专题论坛“多模态情感脑机接口与应用”在宁夏回族自治区银川市银川国际交流中心成功举办。本次大会由中国图象图形学学会（CSIG）、中国计算机学会（CCF）主办，CSIG多媒体专业委员会、CCF多媒体技术专业委员会承办，北方民族大学联合承办，宁夏大学、宁夏师范学院协办，专题论坛的组织者为东南大学郑文明教授和南京工程学院黄晓华教授。本次论坛邀请了西安交通大学陈霸东教授、上海交通大学吴奇教授、清华大学赵思成副研究员、北京大学陈杰副教授、鹏城实验室蒋冬梅研究员等领域著名专家，系统探讨了基于信息论学习的类脑计算与脑机接口、基于脑成像技术的大脑功能激活状态研究、多媒体情感计算、多模态表征学习及其在大模型中的应用、多源信息融合的情感识别与抑郁症评估等方向的发展现状、最新进展、热点问题和发展趋势，干货满满，精彩纷呈。
论坛由郑文明教授和黄晓华教授共同主持。首先，郑文明教授简要介绍了本次论坛五场精彩报告和Panel研讨环节安排。随后，郑文明教授和黄晓华教授介绍了报告嘉宾并主持现场听众进行报告交流。
图 1 郑文明教授主持论坛
图 2 黄晓华教授主持论坛
图 3 论坛报告现场
首先作报告的是来自西安交通大学的陈霸东教授，他分享了题为“基于信息论学习的类脑计算与脑机接口”的报告，从信息论学习（Information Theoretic Learning）基本概念出发，细致介绍了课题组研究成员围绕信息论学习所提出的新学习范式与方法，并探讨信息论学习在类脑计算与脑机接口等领域中的应用。
图 4 陈霸东教授作现场报告
随后，上海交通大学吴奇教授作了题为“基于脑成像技术的大脑功能激活状态研究”的报告，他首先介绍了脑功能激活状态反映了人类在面对特殊刺激，或者完成指定任务时大脑的工作状态。研究脑功能激活状态对理解脑的工作原理、揭示脑疾病的致病机理等有着重大意义。然后，面向 fNIRS和 EEG两种典型的脑成像信号，分享了课题组成员在大脑功能激活状态的三个最新工作，包括针对 fNIRS信号特征提取手段较初级、对信号深层次信息挖掘能力弱的问题，所提出的一种将 fNIRS信号映射成二维图像的线性映射场 LMF算法；针对 EEG信号丰富的节律特征较少地被利用、时域特征提取不够充分的问题，所提出的一种多节律并行、基于多尺度时域/空间域卷积层的时-空-频三模态脑电神经网络 TSFNN模型；针对构建静态 EEG脑图网络的局限性、多尺度空间卷积核在脑电通道较多的情况下信息丢失严重的问题，提出的基于图的时-空-频三模态脑图神经网络 GTSFNN模型。
图 5 吴奇教授作现场报告
接下来是来自清华大学的赵思成副研究员分享了题为“多媒体情感计算”的学术报告。该报告首先总结多媒体情感计算的研究背景、应用场景和主要挑战，接着从共性语义理解、个性化感知预测与标签分布学习、有限标注机器学习等三方面研究内容介绍部分代表性工作，涵盖图像、文本、脑电、社交媒体与多模态数据，最后讨论未来可能的研究方向。
图 6 赵思成副研究员作现场报告
第四场报告是来自北京大学的陈杰副教授分享了题为“多模态表征学习及其在大模型中的应用”的研究。报告首先介绍多模态的表征学习及其在计算机视觉领域的应用，例如物体分类、物体检测、目标分割和图文生成等。接着介绍了如何训练大模型，并将其用于生命科学领域。
图 7 陈杰副教授作现场报告
第五场报告是来自鹏城实验室的蒋冬梅研究员分享了题为“多源信息融合的情感识别与抑郁症评估”的研究。该报告详细介绍了多模态情感识别与多模态精神状态评估。在多模态情感识别部分，重点介绍高泛化性可解释面部动作单元分析、面部区域与情感动态的空时注意力建模、多模态情感交互增强，以及多模态情感流 Benchmark数据集和情感流检测；在多模态精神状态评估部分，重点介绍基于音视频、脑电或日常信息的抑郁状态评估，以及基于脑电的精神压力评估。最后，对多模态情感分析及抑郁症评估的未来工作进行展望。
图 8 蒋冬梅研究员作现场报告
报告结束后，郑文明教授和黄晓华教授代表大会和论坛为报告专家颁发感谢证书，感谢各位专家的精彩报告，对现场参加论坛的百余人次师生表达了感谢，并与本次论坛的报告专家进行合影留念。
图 9 论坛专家合影留念
本次论坛覆盖面广，从基于信息论学习的类脑计算、基于脑成像技术的大脑功能激活状态研究，到多媒体情感计算，再到多模态表征学习以及多源信息融合的情感识别与抑郁症评估应用，内容丰富，学术氛围浓厚而活跃。论坛在参会师生与专家们的热烈交流中圆满结束。
图：中国多媒体大会
编辑：王非凡