Personal Homepage

教育履历:


南京航空航天大学
计算机科学与技术 硕士 模式分析与机器智能(工信部)重点实验室 导师:梁栋 副教授 南京

  • 主要研究方向:人眼扫视路径预测,计算机视觉
  • 第一作者发表 VR/AR顶会 ISMAR 23 (CCF-B) 论文一篇
  • 第一作者专利授权一篇,专利号:202310773662.1 ,发明名称:一种基于多视觉记忆单元的扫视路径预测方法
  • 第一作者发表 ACM CvSUI 23 论文一篇

合肥工业大学

工业设计 本科 建筑与艺术学院 合肥

  • 获得中国大学生学院奖佳作奖,工业设计大赛二等奖,大学生创新创业项目奖

论文和专利成果:

论文:Visual ScanPath Transformer: Guiding Computers to See the World 发表会议:IEEE International Symposium on Mixed and Augmented Reality (ISMAR 2023)

本文针对扫视路径预测任务,提出了一种显著性特征提取加Transformer编码器解码器结构的扫视路径预测模型。大大简化了扫视路径预测的工作流程,摆脱了模型设计中对启发式先验的依赖,并实现了扫视路径预测的最佳性能。



论文:Simulating Human Visual System Based on Vision Transformer 发表会议:Computer Vision for Spatial User Interaction (CvSUI 2023)

论文提出了一种基于多视觉记忆单元的扫视路径预测方法,提出了一种新的方式来模拟视觉工作记忆。此方法通过保留所有历史眼动注视点信息,并自发学习它们对当前的扫视决策的影响来实现更真实的扫视路径预测。 我们将扫描路径预测视为一个连续注视点序列生成问题,利用前一个注视点的位置初始化注视点查询,从全局视觉表示中获取场景信息,并融合历史注视点的影响来预测当前时间步的注视点,以生成更接近人类的扫视路径。



发明专利:一种基于多视觉记忆单元的扫视路径预测方法 专利号:202310773662.1

本发明提出了一个无启发式规则的视觉扫描路径预测器,具有简单和可扩展的结构,将扫描路径预测视为一个连续的注视点序列生成问题。本发明为模拟视觉工作记忆提供了一个新的视角,即在每个时间步上维持一个独立的视觉记忆单元,从而保留所有的历史注意力信息,并整合所有历史注视点的影响,以做出眼跳决策。