王生进

个人信息Personal Information

教授

教师英文名称:Shengjin WANG

教师拼音名称:wangshengjin

电子邮箱:

性别:男

学位:博士学位

毕业院校:东京工业大学

学科:信号与信息处理

团队成员

当前位置: 中文主页 >>团队成员

媒体智能与自主系统

团队成员介绍:

实验室简介:

本实验室是清华大学电子工程系计算机视觉与具身智能研究室(CV-AI Lab),隶属于危爆物品扫描探测国家工程实验室、深度学习技术与应用国家工程实验室、北京信息科学技术国家研究中心一部。实验室研究领域包括人工智能、机器学习和计算机视觉、域自适应与模型泛化等,主要研究方向包括表征解耦与UDA、人脸识别与行人再识别、物体检测与图像语义描述、多模态协作机器人、多文种文字检测与识别等。

研究方向

1.     人像识别与行人再识别研究

在人脸识别研究中,2004年团队在国家863人脸识别认证评测中获第一;第17届国际模式识别会议(ICPR2004)人脸认证竞赛(FAT2004)中,以全部测试指标第一获“人脸认证算法全面性能最优成就奖”;2018年在国际权威人脸检测测试库FDDB取得国际第一。研究成果已在国家金税三期、广州流动人口管理等全国多地应用。在行人再识别研究中,2015年行人再识别研究成果被《麻省理工学院技术评论》高度评价。建立并公开了三个本领域权威测试行人数据集iLIDS-VID、Market1501、MARS。到目前为止,成为本领域标准测试集,三个数据集已经有超过13600次的下载量。

2.     物体检测与图像语义描述研究

在物体检识别与分类研究中,取得了多个公开数据集上多项指标领先的成果,提出了基于领域适应大规模检测方法,实现ImageNet上所有类别物体(ImageNet 2009 Release:10447类)大规模物体检测,检测速度达到基本实时0.2s/幅。在图像检索研究中,大幅度提升了图像检索中视觉匹配的精确度,在主要图像检索标准测试集上均达到了国际领先水平。在图像理解和图像语义描述研究中,研究方向包括图像语义描述,图像问答(VQA)等。图像语义描述研究包含面向通用场景的语义描述,及面向特定场景的描述(如表情描述),在图像语义描述准确性和多样性上均取得了国际领先水平。

3.     多模态协作机器人研究

团队聚焦多模态协同机器人研究,致力于研究与人在共同空间、近距离、协同工作的机器人,实现多模态人机物交互。研究的核心技术包括通用物体检测,语音识别与NLP,视觉图像的多模态语义理解,目标物体位姿估计与抓取点确定,视觉与触觉力反馈融合的物体抓取,持物移动中的平衡策略等。目前研究构建了面向人机交互短语命令的语音识别原型系统引擎,实现由语音指令控制的机器人物体抓取系统。

4.     多文种文字检测与识别研究

    多文种文字检测与识别研究对于基于内容的互联网海量图像与视频信息检索等应用具有重要意义。相关研究内容包括基于多尺度时空信息分析的深层神经网络建模、半监督迁移学习等,显著提升了多文种场景文字和手写文字的识别性能。技术成果荣获 ICPR2020及ICDAR 2017 阿拉伯文视频图像文字检测与识别竞赛冠军,并荣获ICDAR 2019 Best Student Paper Runner-Up Award、DAS 2016 Best Paper Award、SPIE DRR 2015 Best Student Paper Award。

5.     基于5G移动边缘计算能力的无人机智能感知技术

将人工智能、通讯网络、边缘计算、大数据和云计算融为一体,研发网络环境下空中移动的智能体。研发基于高速移动通信网络的无人机智能感知架构、5G网络环境下的低空自主智能感知关键技术、基于边缘计算技术的无人机综合服务网、典型无人机战场侦察监视系统,满足战场智能感知需求。构建“空地一体”智能融合计算服务平台,提供高精确定位、高可靠安全和边缘计算服务能力,突破多元自主协同探测、超低延时数据传输和机载图像智能分析等关键技术,实现无人机载多元协同探测、智能分析、按需分发和高速传输,形成无人系统体系化战场信息优势。

 

实验室获得了包括973、863、国家自然科学基金、教育部博士点基金、国家科技支撑计划等多个国家项目支持,并取得出色成果。实验室在国际重要期刊IEEE和学术会议CVPR、ICCV等发表论文90篇以上。申请发明专利15项。获2008年国家科技进步二等奖1项、获2006北京市科学技术一等奖1项,获2019年公安部科学技术二等奖,获2019年吴文俊人工智能科学技术自然科学二等奖。

 

目前成员包括:

王生进教授;彭良瑞副教授;李亚利副研究员;博士后4名,博士生8名,硕士生12名。



主要研究方向:

智能无人系统,人像识别与行人再识别,物体检测与图像语义描述,多文种文字检测与识别,多模态协作机器人,空天对地目标检测(无人机、遥感)等。

主要研究项目:

1.     “开放场景下基于深度学习的时空信息融合行人再识别方法研究”,国家自然科学基金,在研

2.     “动态人脸快速比对技术与装备”,科技部十三五重点研发计划项目(课题),在研

3.     “基于新型深度神经网络的图像描述理论与方法研究”,国家自然科学基金

4.     “面向人工智能基础技术及应用的检验检测基础服务平台建设”,工信部2019年产业技术基础公共服务平台项目

5.     “多源信息关联整合与共享联动技术与系统研发”,国家科技支撑计划项目

6.     “海量不确定异构数据的集成管理与分析技术”,国家863计划项目

7.     “重现的行人目标数据关联和深度跟踪理论及方法研究”,国家自然科学基金

8.     “基于人类视觉感知和认知机理的视频图像模式识别和机器学习”,国家863计划项目

9.     基于5G移动边缘计算能力的无人机智能感知技术(JKW项目)

 获得奖项:

1.     “TH-ID人脸和笔迹生物特征身份识别认证系统”,北京市科学技术奖一等,2006

2.     “TH-ID人脸和笔迹生物特征身份识别认证系统”,国家科学技术进步奖二等,2008

3.     “视频安防监控数字录像设备图像质量评价测试系统”,北京企业评价协会科技创新成果奖,2010

4.     优秀博士论文,中国人工智能学会, 2017

5.     国际模式识别学会ICPR2018最佳论文,2018

6.     “跨视域行人再识别的特征学习理论与计算方法研究”,吴文俊人工智能科学技术奖自然科学奖二等,2019

7.     “基于智能视频的人体动态特征识别技术与系统”,公安部科学技术奖二等,2019

  8. 优秀博士论文,中国人工智能学会, 2020

  9.北京市科学技术奖技术发明一等奖,2021