2024年10月26日下午，CNCC2024技术论坛“大模型下的多模态情感计算未来”在浙江省金华市东阳市横店圆明新园秋苑-教室区西2成功举行。本次论坛由中国计算机学会（CCF）主办，浙江大学和浙江师范大学承办，横店集团的协办。论坛由台州学院张石清教授担任主席。此次论坛邀请到了五位业内知名专家——东南大学郑文明教授、中国科学技术大学陈勋教授、清华大学赵思成副研究员、华南理工大学张通教授和南开大学杨巨峰教授，五位专家分别就基于多模态生理心理信息感知的谎言检测、多源神经信号计算、多媒体情感计算、基于图神经网络的EEG情绪识别、情智兼备数字人关键技术等方面进行了深入研讨，干货满满，精彩纷呈。论坛现场座无虚席。
图 1 论坛现场
首先，由东南大学郑文明教授分享了其课题组在基于多模态生理心理信息感知的谎言检测领域的研究工作。说谎是一种涉及认知过程和心理活动的复杂人类心理行为，谎言检测旨在从说话人的生理或行为表现中，检测其是否存在说谎行为，郑教授分别从多模态生理心理谎言数据库构建与基于多模态信息感知的检测技术等方面进行了详细介绍，将非接触式心率测量、微表情分析识别、微动作分析识别与语音情感分析等关键心理生理信息感知技术应用于谎言检测，推动了新一代人工智能对复杂人类心理行为感知的发展。
图 2 东南大学郑文明教授作现场报告
其次，中国科学技术大学陈勋教授分享了其课题组一系列关于多源神经信号计算的研究。陈教授从神经信号量级微弱、随机性强、模态多样等特性造成混叠严重、重复性差、多源异质的挑战出发，从多重集和多模态两个角度，介绍了基于联合盲源分离和深度特征表示的神经生理信号分解、关联、融合方法及其相关应用，探讨如何有效分离复杂干扰信息、解析潜在共性言息、挖掘异质互补信息，以达到克服干扰、求同存异、融合互补的效果。
图 3 中国科学技术大学陈勋教授作现场报告
再次，清华大学赵思成副研究员围绕多媒体情感计算展开，系统介绍了其课题组的相关工作，总结多媒体情感计算的研究背景、应用场景和主要挑战，并从共性语义理解、个性化感知预测与标签分布学习、有限标注机器学习等三方面研究内容介绍部分代表性工作，涵盖图像、文本、脑电、社交媒体与多模态数据，促进了智能情感计算的发展。
图 4 清华大学赵思成副研究员作现场报告
从次，华南理工大学张通教授分享了其课题组在基于图神经网络的EEG情绪识别与应用方面的研究工作。张教授从包括脑电波的人体生理数据等方面，介绍基于图神经网络和宽度学习的情感识别方法研究和相关工作的进展，指出具有情感的人工智能不仅可解释数据，更可以揭示数据背后的情感类型，实现机器可以“看的清”、“读的懂”，相关的技术与研究成果在精神状态评估等医疗领域和智慧教育等领域具有广泛的应用。
图 5 华南理工大学张通教授作现场报告
最后，南开大学杨巨峰教授分享了情智兼备数字人与机器人关键技术初探方面的研究。“情智兼备数字人与机器人研究”入选2024年中国科协十大前沿科学问题第1位，杨教授系统介绍了该科学问题提出的过程和背景、国内外相关机构的研究进展、面临的关键难题及挑战，并汇报了课题组在多模态情智融合解译、可交互情绪化内容生成调控等方面开展的研究工作及取得的初步成果。
图 6 南开大学杨巨峰教授作现场报告
图 7 论坛与会专家与论坛主席、特邀嘉宾合影
本次论坛的活动现场学术氛围浓厚，报告内容充实丰富，极大地拓展了师生们的眼界和科研思路。
编辑：王非凡
图：黎扬