2023年5月11日，CCIG2023技术论坛“多模态情感计算技术与应用”在江苏省苏州市狮山国际会议中心太湖C厅成功举行。本次论坛由中国图象图形学学会（CSIG）主办，CSIG情感计算与理解专委会和CSIG机器视觉专委会承办、儿童发展与学习科学教育部重点实验室（东南大学）和南京工程学院计算机工程学院协办。论坛由东南大学郑文明教授和南京工程学院黄晓华教授担任共同主席。此次论坛邀请到了六位业内知名教授专家——北京邮电大学邓伟洪教授、华南理工大学张通教授、湖南大学孙斌教授、江苏大学毛启容教授、天津大学王龙标教授和兰州大学张晓炜教授，六位专家分别就多模态人机自然交互、多模态语音视觉情感、多模态文本交互、多模态生理情感计算等方面进行了深入研讨，干货满满，精彩纷呈。论坛现场座无虚席。
图 1 大会现场
图 2 东南大学郑文明教授主持论坛
首先，华南理工大学张通教授分享了其课题组一系列关于多模态情感计算的研究。张教授从多模态感知、多模态认知和多模态交互等三个方面讲述了多模态情感计算的研究背景和前沿进展，多模态智能从感知走向认知和推理，能够应对复杂的数据和场景，突破现有机器学习瓶颈，推动新一代人工智能情绪感知的发展。
图 3 华南理工大学张通教授作线上报告
再次，湖南大学孙斌教授分享了其课题组关于人机自然交互的研究工作。孙教授从面部表情识别、多模态情感信息融合及人机交互行为应用面临的难点出发，介绍了相应的基于面部的情感分析、意图识别与理解、对话生成和视频问答等方面的前沿进展，介绍了课题组研究成果在医疗咨询服务、智慧教育、智能安防等领域的应用，深入地对人机自然交互的发展前景进行介绍，进一步推动情感计算在交叉领域的产研应用和共同发展。
图 4 湖南大学孙斌教授作现场报告
接着，江苏大学毛启容教授分享了其课题组关于语音情感识别与视觉情感识别等两方面的研究工作。毛教授以语音特征取提与面向情绪深度网络优化等瓶颈问题出发，精彩地介绍了语音情绪分析、面部表情识别及面部微表情识别等三个研究方向的前沿进展，推动语音与视觉计算的融会贯通、共同发展。
图 5 江苏大学毛启容教授作现场报告
从次，天津大学王龙标教授分享了其课题组对“对话级别”语音与文本的情感识别方面的研究工作。以往的研究大多停留在句子级别层面，约束了对话情感识别在实际场景的应用。王教授从典型序列模型方法以及对话情感识别的主要挑战出发，精彩介绍了语音文本情感在小数据和跨库的解决方案，深入介绍了融合语境信息和对话氛围的对话级语音文本及多模态模型等前沿进展，对多模态对话级别情感计算进行展望，促进了拟人化人机交互的发展。
图 6 天津大学王龙标教授作现场报告
最后，兰州大学张晓炜教授分享了其课题组在多模态生理信号融合表征领域的研究进展及应用。多模态生理是计算机视觉与医学图像分析中重要的问题。由于多信号在时空的尺度不一致性，张教授介绍了一系列基于脑电多导联加权、脑电与眼动信号融合机制，深入分析脑电与眼动的相关性，推动了情感计算在医学与心理学上的高效应用。
图 7 兰州大学张晓炜教授作现场报告
本次研讨会的活动现场学术氛围浓厚，报告内容充实丰富，极大地拓展了师生们的眼界和科研思路。
图：中国图象图形学学会
编辑：王非凡