报告标题：以人为中心的智能软件工程：从视觉体验到数字包容
报告时间：11月4日15:00-16:00
报告地点：理科大楼B217
报告摘要：
软件质量不仅体现在功能正确性上，也体现在用户能否清晰、便捷、平等地使用软件。界面布局错乱、元素显示异常等视觉缺陷会直接影响用户体验，而缺少图像替代文本、控件标签缺失、颜色对比度不足等无障碍问题，则可能阻碍视障等用户群体获取信息与使用服务。此类问题的修复需要建立用户界面、程序代码与设计规范之间的联系，为自动化软件修复带来了新的挑战。
本报告将介绍两项利用大模型改善软件用户体验的研究工作。首先，GUIRepair面向视觉软件缺陷，利用多模态大模型开展图像与代码之间的跨模态推理，将界面中的视觉问题与源代码修改相联系，并结合修改后的界面反馈辅助修复，在SWE-bench Multimodal基准上取得了显著的修复效果。其次，A11YRepair面向Web无障碍问题，结合分而治之的问题分组策略、无障碍标准知识与自动化检测反馈，实现仓库级源代码修复。该工作构建了覆盖60个真实开源项目、147个网页和8,886处违规的A11YBench基准，相关修复已在60余个开源项目中应用，补丁获Angular、React Native网站等项目采纳。
上述两项工作分别获得ASE 2025和ASE 2026的ACM SIGSOFT杰出论文奖。本报告将分享其核心方法、实验发现与开源实践，并探讨大模型驱动的软件修复如何从功能正确性进一步走向用户体验与数字包容性。
报告人简介：
黄凯，慕尼黑工业大学软件工程与人工智能讲席博士生，师从Chunyang Chen教授，现任新加坡管理大学研究工程师。主要研究方向为人工智能辅助的软件工程，重点关注利用大语言模型与多模态大模型开展自动化程序修复、视觉界面缺陷修复及Web无障碍问题修复，致力于提升软件可用性与无障碍性，促进不同用户群体平等使用数字服务。相关研究成果发表于ICSE、ASE、TSE等软件工程领域重要国际会议与期刊，三次以第一作者获得ACM SIGSOFT杰出论文奖。其研究注重真实场景中的应用与开源实践，相关修复成果已应用于多个开源项目，并获得开发者认可。
