暴雨/夜间/人群密集难倒视频分析，三篇论文攻克难题

近日，由耶鲁-新加坡国立大学学院（Yale-NUS College）副教授 Robby Tan 领导的研究团队，在 2021 年国际计算机视觉与模式识别会议（CVPR）上发表了三项研究，介绍利用计算机视觉技术提高录制时受环境因素影响视频的分析准确度。

这三项研究分别优化了解决降雨因素、夜间因素和人群密集环境因素这 3 种视频分析中较常见问题的方法，均可用于改善监控设备、自动驾驶汽车、视频游戏和体育节目转播等与计算机视觉相关的应用性能。

第一项研究介绍科研人员利用帧对齐和深度估计等方法，实现同时处理雨天录制视频中雨水条纹和雨幕效果这两种主要影响视频清晰度的问题。

该论文题目为《具有传输深度一致性的自对齐视频去降雨影响（Self-Aligned Video Deraining with Transmission-Depth Consistency）》，发表在 2021 年国际计算机视觉与模式识别会议（会议时间 6 月 19 至 6 月 25 日）上。

论文地址：点此查看

第二项研究是研究人员通过训练半监督网络来增加视频动态范围和抑制光效应，更彻底地解决了夜间视频清晰度问题。

该论文题目为《通过增加动态范围和抑制灯光效果来增强夜间能见度（Nighttime Visibility Enhancement by Increasing the Dynamic Range and Suppression of Light Effects）》，发表在 2021 年国际计算机视觉与模式识别会议上。

论文地址：点此查看

第三项研究同样也是处理环境因素的影响，但不是雨天和夜间这种自然环境因素，而是视频中出现人群密集这种社会场景因素影响。研究人员结合自顶向下和自底向上方法，提高了估计视频中 3D 人体姿态准确度，进而提升了视频处理效果。

该论文题目为《基于自顶向下和自底向上网络的单目三维多人姿态估计（Monocular 3D Multi-Person Pose Estimation by Integrating Top-Down and Bottom-Up Networks）》，发表在 2021 年国际计算机视觉与模式识别会议上。

论文地址：点此查看

一、计算机视觉分析易受环境影响

计算机视觉技术越来越多地应用于自动监控系统、自动驾驶汽车、人脸识别、护理和社交距离工具等领域。

用户需要准确可靠的视觉信息，才能充分利用视频分析应用程序优势，但是视频数据质量通常会受到环境因素影响，例如拍摄时在下雨或处于夜间环境，以及视频图像中存在人群（一个场景中有多个重叠的人的图像）这三种较常见情况。这三种场景在实际中可能单独出现，也可能混合出现。

具体来说，下雨降低视频能见度的原因包括雨水流下产生的条纹和雨水积聚（或称雨幕效果）。

雨水条纹部分会遮挡背景外观，导致视频图像场景看起来模糊。雨水积聚就像出现雾一样，会冲淡场景颜色，降低视频整体对比度并产生遮蔽效果。这两者都会降低场景能见度，因此，要获得更好的视频背景场景视觉信息，人们就需要去除视频中雨水条纹和雨水积聚问题。

而晚上拍摄的视频存在的问题，跟在雨中拍摄的视频存在的问题有差异。

夜晚拍摄会受到光照变化和多个人造光源影响，夜间视频图像不仅存在低光区域，还有辉光灯、眩光灯和泛光灯照射区域，这会严重降低图像可见度。因此，通过提高低光区域强度来增强夜间图像可见性，同时抑制夜间光效应（辉光、眩光）是一项重要任务。

除了下雨和夜间等因素影响，当场景中出现很多人对于视频分析来讲也是一大挑战。

由于其对现实世界应用很重要，基于单目（单个相机拍摄的视频）的 3D 人体姿态估计技术已引起了越来越多关注。但是，这个技术存在挑战，就是当场景中存在多个人时，人多会产生遮挡，导致人体检测错误以及人体关节分组识别不可靠。

为了解决视频分析中遇到的这些影响准确性的环境因素问题，Robby Tan 和来自中国香港城市大学、瑞士苏黎世联邦理工学院和腾讯游戏人工智能研究中心研究人员一起进行了三项研究，分别提高雨天视频、夜间视频和有人群密集场景视频处理准确性。

二、研究一：帧对齐和深度估计消除视频中雨水影响

针对雨天录制视频中存在的问题，研究人员先用合成降雨视频（带有地面实况）和真实降雨视频（没有地面实况）来训练对齐网络，然后研究人员使用基于特征的对齐网络去对齐几个连续的输入帧。最后，对齐网络根据相邻帧的对齐特征，删除每一帧中的雨条纹。

处理雨幕问题，研究人员使用了积累网络，利用从视频中获得的深度线索，结合去除雨水条纹的图像，最终输出无雨水影响的图像。

▲ 消除下雨环境影响的图像处理流程

从效果上来看三种方法都相较于之前方法有所改进。与现有专注于去除雨水条纹方法不同，新方法可以同时去除雨水条纹和雨幕效果。

▲ 从上到下，第一张图时输入（现有方法），中间图显示去除雨痕的中间输出，第三张是使用研究团队新方法去除雨水痕迹和雨幕效果的最终输出

三、研究二：半监督网络被用于优化夜间图像

处理夜间视频目标是，通过同时增加动态范围（以处理低光和过度曝光区域）和抑制光效应（辉光、眩光等）来提高其可见性。

研究人员提出一个半监督网络，使用配对图像（高动态范围成像的地面实况）来训练半监督网络以增加动态范围，并使用未配对的图像（没有地面实况）来训练半监督网络以抑制灯光效果，得到两种训练网络。

具体操作是研究人员首先使用线性化网络估计输入夜间图像的逆条件随机场（CRF），获得线性化图像后，将其分解为低频（光场，LF，包含辉光、眩光效果）和高频（同态滤波，HF，包含噪声、纹理等效果）特征图。光场特征图和同态滤波特征图使用训练得到的两个网络来，分别抑制光效应和去除噪声。最后将处理过的光场特征图和同态滤波特征图融合并输出。

▲ 消除夜间环境影响的图像处理流程

夜间视频图像新技术同样解决了以前方法处理不彻底的问题：夜间图像以及视频中因为眩光不能被忽视时对于视频清晰度的影响。

▲ 上面四张图是研究人员采用新方法，抑制光效并产生增强能见度；下面三张图是现有方法，无法处理的光学效果（如眩光），还错误增强了它

四、研究三：结合两种 3D 人体姿态估计方法，实现更可靠输出

而针对 3D 人体姿态估计问题，研究人员通过结合两种现有方法（即自顶向下方法和自底向上方法）来估计视频中的 3D 人体姿态。

自顶向下网络被用来估计每个检测到的边界框内的人体关节，生成联合热图（heatmap）反馈到自底向上网络，自底向上网络同样也进行估计生成图像。最后研究人员将自顶向下和自底向上网络输出的 3D 估计姿态输入到集成网络中，以获得给定图像序列的最终 3D 姿态估计图像。

▲ 3D 人体姿态估计改进流程

3D 人体姿态新方法则可以产生更可靠的姿态估计，并更稳健地处理个体之间距离（或尺度变化）。

▲ 从上到下，第一张是输入图；第二张是采取自顶向下方法，受人际遮挡影响；第三张是自底向上方法，对尺寸（3D）变化很敏感；第四张是研究人员提出的新方法

结语：避免物理环境干扰，是计算机视觉热点

计算机视觉技术在应用时会受到各种各样的影响，不止是下雨、夜晚或者出现人群等情况，比如白天光线过强、摄像头处于逆光角度等因素也会影响计算机视觉技术的处理效果。有时视频中只会有一种环境因素影响分析准确性，有时会混合出现多种，这种情况下针对每个因素都需要分别研究最优方法，最后才能分因素逐步优化视频分析结果。

计算机视觉是人工智能最广泛的技术方向之一，如何减少物理环境对计算机视觉应用方面影响仍是持续性热点话题。