课题组专注于多模态感知相关的研究，通过多种感知方式获取和处理信息的过程，包括视觉、听觉、触觉、语言、传感器等多种类型的数据。课题组基于机器学习尤其是深度学习技术，结合具体的应用需求展开研究，尤其关注多模态数据在医学和三维建模方面的应用。在智慧医疗领域，课题组致力于研究基于多模态医学数据的高精度智能诊断方法，围绕可诊断、可解释、可展示三个方面展开研究。在虚拟现实方面，课题组研究三维场景重建及三维内容生成，关注相机、激光雷达等多传感器信号，重点方向包括三维语义分割、体素和点云补全、三维生成等任务。此外，在智慧工程领域，课题组使用人工智能技术开发和优化各种预警识别系统，提升工程项目的安全性和效率。