灾害现场视频等信息的全面获取与回传是应急救援所面临的重大需求,亟需解决在断电断网等极端情况下的感知与传输问题。多视点相机能对灾害现场态势全方面、多角度感知;应急融合通信能对现场多种通信资源融合利用,快速构建灾害现场与后方之间的信息通路;将两者结合,形成面向灾害现场的多视点视频采集、处理与传输方法及装置是解决上述救灾需求的关键核心。为了克服上述重大挑战,项目组研制了应急融合视频通信技术与装备。
(1)针对灾害现场多视角视觉信息的感知问题,本成果发明了相位信号时域差分校正与像素光流时域传播方法,突破了积分周期对深度传感器的感知效率制约,提升时间分辨率达9倍;发明了递进式多视点视频配准方法,在仅有1个公共匹配特征点的极端条件下实现了多达60个视点的空间几何标定,平均误差低至0.0031像素,突破了三维空间任意位姿大规模相机阵列标定的世界性难题。相关成果在中央电视台《新闻联播》被报道、在第七届世界军人运动会(武汉)开幕式中宣传展示。
(2)为突破灾害现场视觉信息重构质量难提升的难题,本成果发明了模型-数据联合驱动的耦合计算方法,构建了跨模态、跨视角对多视点视频重建质量的提升机制,研制灾害现场多角度相机、多模态数据的联合计算系统。在突破深度场角频率感知的制约基础上,深度场坏点率由12.3%下降至0.14%。
(3)为满足灾害现场视觉感知装备低消耗、长续航的需求瓶颈,本成果发明了多视点视频优化编码方法,发明了多视点视频数据的筛选优化模型与时-角维差值技术,实现了以计算目标为导向的关键数据筛选,多视点视频计算效率从穷举提升至78.8%,为降低多视点业务的资源需求提供了关键技术手段。相关成果在欧盟委员会咨询报告State of the Art of Technology and Standards中被认为“是多视点视频编码领域中最为重要的进展之一”。
(4)为突破灾害现场各体制通信独立组网、资源利用率低的难题,发明了多无线信道应急融合通信技术,实现了单一业务的融合信道多隧道传输方案,同时突破了应急通信的可用带宽与传输可靠性两大难题;研制了应急融合通信传输系统,在国内外首次实现了灾害现场广电、公网、卫星融合组网与多业务终端统一接入,网络建立时间1.6秒,多信道融合传输效率90%,突破了现场多视点视频救灾业务回传瓶颈。
2021年6月28日,湖北省技术交易所组织专家组对本成果进行成果鉴定(鄂技交评字[2021]第194号),该成果技术成熟度9级,技术创新度2级,技术先进度5级。
自2019年以来,在外交部、中国地震应急搜救中心、多省应急厅组织的多灾种应急演练中被评价为“实现了对通信空洞的快速无线覆盖”、“效果显著”。2015年获联合国UNITAR与中国商务部CIFAL联合表彰,2020年获英国IET学会全球创新奖(通信与信息技术领域)推荐,是当年唯一获推荐的中国成果。
断电、断网、断路等“三断”条件下的应急救援、超高清视频直播等应用场景,包含视频通信、视频压缩、视频处理、多网络(广电、公网、卫星等)融合传输问题。
除了应急领域,在自动驾驶、车路协同、智慧家庭、服务机器人、远程视频会议、高端工业视觉监测、远程医疗和专用医疗装备等多方面都有很好的应用。
能为应急部产品目录中的应急广播、应急通信、救援装备、应急指挥车等产品提供新产品研发、技术升级等,市场需求明确,市场空间巨大。
该成果获授权发明专利29项、软著3项,在TIP、OE、DCC星空体育官方网站、ACM MM等国际顶级期刊和会议上发表论文75篇,制定国家应急广播技术暂行文件3项。
杨铀,博士,教授,博士生导师,IET Fellow。主要从事以视觉感知与计算为核心的计算机视觉、计算摄像学、立体视频系统等方面的研究工作,主持国家重点研发计划课题、国家自然科学基金、博士后特别资助、企校重大创新等项目10余项。在国内外重要的期刊、会议上发表学术论文100余篇星空体育官方网站,获授权国家发明专利26项,应邀在国际会议、学术机构做报告22次。是国家民航安全技术专家组成员、国家新闻出版广电总局大数据领域技术专家、融合应急通信与业务领域专家、海康威视大数据中心特聘专家、武汉移动互联网智能视频大数据研究所副所长、中国图像图形学学会图像视频处理与通信专委会秘书长兼常务委员、长三角智能安防协同创新中心专家委员会委员。2012年获教育部高校科技成果技术发明一等奖;2013年获武汉市“3551人才计划”;2015年获联合国UNITAR与中国商务部CIFAL“杰出贡献”表彰;2018年当选英国国际工程技术学会会士;2019年担任IET Innovation Awards Judge;2020年获英国工程技术学会全球创新奖“通信与信息技术”领域杰出创新奖;2021年担任IET Innovation Awards Panel Member。担任本领域36个国际期刊的论文评审专家,是Journal of Electronic Imaging等4个SCI国际期刊编委。