近期，国际人工智能领域的重要赛事——CVPR 2024自动驾驶国际挑战赛（CVPR 2024 Autonomous Grand Challenge）成功举办。

在这场高水平的竞赛中，由软件工程学院杜德慧教授领导的CPS团队在激烈的竞争中脱颖而出，荣获The Autonomous Grand Challenge at the CVPR 2024 Workshop中的“Driving with Language”赛道冠军。该赛道吸引了来自14个不同的国家和地区的152支专业团队参与，共提交了978份作品。

学院团队在比赛中展示了在视觉语言模型系统方面的深入研究和应用。该团队主要使用DriveLM-nuScenes数据集对其模型进行训练，并构建了基于LLaVA模型的视觉语言模型系统，通过LoRA和DoRA方法进行微调，增强了模型性能。此外，团队还整合了来自开源深度估计模型的深度信息，以丰富训练和推理过程。特别是在处理多项选择和是/非问题时，采用了CoT推理方法来提高结果的准确性。该方法使得团队在验证集排行榜上取得了0.7799的高分，居于榜首。

CVPR作为全球计算机视觉和模式识别领域内的顶级学术会议，通过举办此类比赛，汇集全球AI研究和实践领域的佼佼者，展示最前沿的研究成果和技术创新。本次大赛不仅是一个检验和展示自动驾驶技术能力的平台，也是推动视觉语言模型技术发展的重要事件。期待这些成就能为未来的自动驾驶和人工智能应用带来更多的启示和进步。

内容来源于获奖团队

编辑丨单个电子

审核丨曹桂涛