本课题组专注于多模态感知相关的研究，通过多种感知方式获取和处理信息的过程，包括视觉、听觉、触觉、语言、传感器等多种类型的数据。课题组基于机器学习尤其是深度学习技术，结合具体的应用需求展开研究，尤其关注多模态数据在医学和三维建模方面的应用。在智慧医疗领域，课题组致力于研究基于多模态医学数据的高精度智能诊断方法，围绕可诊断、可解释、可展示三个方面展开研究。在虚拟现实方面，课题组研究三维场景重建及三维内容生成，关注相机、激光雷达等多传感器信号，重点方向包括三维语义分割、体素和点云补全、三维生成等任务。此外，在智慧工程领域，课题组使用人工智能技术开发和优化各种预警识别系统，提升工程项目的安全性和效率。

本课题组专注于多模态计算技术的研究，致力于结合不同领域的具体需求，开展广泛而深入的探索与应用。在知识推理方面，我们重点探索与人工智能推理及类人智能相关的各种任务，特别关注数理逻辑、知识表示、描述逻辑、因果推理等多种推理理论，以及这些理论在深度学习中的融合应用。我们的研究方向主要集中在应用于视觉-文本模态中的常识、逻辑与因果推理方法，旨在提高多模态数据处理的智能化和准确性。在深度学习的解释推理方面，我们研究基于原型的案例推理训练方法，推动人工智能模型可信可理解的应用。通过相关多模态计算技术的积累，我们还应用于移动计算领域，研究移动自组网、传感器网络、物联网、室内定位技术，以及基于无线网络的视频压缩与可靠性传输技术、基于压缩感知的通信及图像处理技术、跌倒检测技术等，致力于提升移动计算的性能和应用范围。

课题组对智能建模算法进行分析并提出新的算法。课题组探索了与三维重建以及三维内容生成相关的各种任务，这对虚拟现实等领域的发展提供了新的视点。课题组关注相机、激光雷达等多传感器信号，文本、图像、音频、视频等多种模态数据以及三维高斯、三平面、体素、点云等多种三维表示方法，重点研究方向为三维语义分割，体素、点云补全，三维生成等。

课题组对人工智能知识推理算法进行分析并提出新的算法。课题组探索了与人工智能推理及类人智能相关的各种任务，这对人工智能等领域的发展提供了新的视点。课题组关注数理逻辑、知识表示、描述逻辑、因果推理等多种推理理论以及这些理论在深度学习中的融合应用，重点研究方向为应用于视觉-文本模态中的常识、逻辑与因果推理方法。