疫情加快百度人脸辨认革新戴口罩也能精确辨认敏捷上线

百度视觉选用了根据人脸要害点的3D图画交融技能。这样处理后，不只处理了人脸姿势改变带来的口罩形变和遮挡问题，还生成了愈加天然、实在的相片。

十三 发自 凹非寺

量子位 报导 | 大众号 QbitAI

疫情之下，口罩辨认有多难，问问你的iPhone用户朋友就知道了。

在“刷脸年代”，戴口罩的人脸辨认已然成为一个大问题。

传统的人脸辨认算法，现已无法hold住这种大面积遮挡状况，首要难点有三：

一张口罩“封印”半张脸，直接丢掉很多脸部特征；

短期内无法搜集很多戴口罩人脸图画，算法练习难度大；

人脸辨认体系包含检测、盯梢、辨认等多个模块，对它们都会形成影响。

好消息是，AI工程师们逢山开路遇水搭桥，现在——戴口罩人脸辨认——这座桥，现已搭好了，而且现已敞开了。

来自百度视觉算法团队，技能方面天然也有保证。

不过，知其然最好还要知其所以然。如此模型，百度视觉算法团队是怎样完结的呢？

接下来咱们逐个解密。

戴口罩人脸辨认之难：怎样快准狠

“三座大山”怎样翻？

首先是第一个难题，丢掉了很多脸部特征，怎样样做检测。

在人脸辨认的过程中，会提取面部很多的特征点，而这些特征点的散布并不都是均匀的。

而且每个区域特征点所包含的信息量(用于身份认证)不同，例如，眼部区域就比较其他方位包含了更多的身份信息。

百度视觉就敏锐地调查到了这一点，找到了翻过这座大山的突破口。

他们经过选用根据空间方位的注意力机制特征学习，让算法愈加重视对眼部区域的特征学习。

△根据空间方位的注意力机制特征学习

这样一来，就能将由于佩带口罩、帽子等遮挡，所带来的信息丢掉降到最低，也就能充沛获取戴口罩人脸的身份信息。

△特征可视化成果

算法有了，但数据不行用来练习，又该怎样办呢？

一个传统的办法，就是在现有的人脸图画上“贴”上口罩。

但这样处理后的试验作用并不显着，原因是在实在场景中，人脸姿势会有改变，而且不同场景搜集的图画存在必定的差异性。

针对这样的一个问题，百度视觉选用了根据人脸要害点的3D图画交融技能。

这样处理后，不只处理了人脸姿势改变带来的口罩形变和遮挡问题，还生成了愈加天然、实在的相片。

△组成口罩图片

经过搜集市面上各种色彩、巨细和款式的口罩图片，与之前堆集的未佩带口罩人脸图片进行交融，快速组成了各种场景、海量实在的戴口罩练习相片。

最终一座大山，人脸辨认体系各模块(环节)之间的问题。

百度视觉对此做了一系列的优化。例如：

检测算法方面，选用了百度最新的PyramidBox-lite检测算法，并参加超越10万张口罩人脸数据练习，在精确率不变的状况下，召回率提升了30%，佩带口罩的人脸检测精确率超99%以上。

口罩分类算法方面，根据人脸要害点网络，抽取了具有丰厚面部语义信息的人脸特征表明，并根据该特征进行口罩遮挡判别，还经过PaddleSlim进行模型紧缩，巨细缩小了3倍多。

问题处理了，功用作用又怎样？

优化了辨认作用之后，在佩带口罩状况下人脸辨认，精确率出奇的高，速度出奇的快！

但单从理论上处理难题是不行的，运用到急需的场景中才是要害。

其实，这项现已投入到了实际场景，在百度园区，职工上班戴着口罩就能够刷脸“进场”，处理了检测“戴口罩的是谁”的问题。

更早的，针对密布人群戴口罩的检测问题，百度与北京地铁展开了协作，连夜集结专项项目组，3天完结初版布置，7天快速迭代上线，处理了检测密布人群“是否戴口罩”的问题。

嗯，看来是能够愉快的戴口罩上班了！

实力的背面是技能

或许很多人会感到惊奇，百度怎样能够在如此短时间内，处理了难题，还做到了落地？

其实，这是必定的成果。

百度视觉早已在领域中深耕多年，技能实力不容小觑。

为了到达业界SOTA水平，百度视觉技能部在人脸检测问题上产出了一系列的研讨，从多个视点进行优化。

上图就是人脸检测器规划的几个优化思路，包含特征交融、上下文信息、锚点规划、额定监督、数据扩大、网络结构等。黄色标示部分为百度视觉宣布的论文。

所提出的BOX系列模型，在业界处于抢先位置，例如：

DenseBox，第一个anchor free且能够直接进行端到端练习的物体检测器。

PyramidBox，引进根据anchor的上下文辅佐办法，用于半监督学习人脸上下文特征。

DAFBox，根据注意力指引的语义增强特征交融结构来学习各个标准的具有丰厚语义特征金字塔。

BFBox，第一篇根据神经网络架构查找的人脸检测的新办法，支撑一起查找合适人脸检测的特征提取器和特征金字塔。

还有像HAMBox，可在线发掘高质量锚点的高功用结构，2019年在ICCV WIDER Face and Pedestrian Challenge上 ，以mAP值57.13%的成果夺得人脸检测的冠军，远超上一年冠军55.82%的成果。

△赤色框是PyramidBox的检测作用，能够精确的看出PyramidBox关于姿势、含糊、遮挡、标准等条件具有极强的鲁棒性。

研讨成果方面，近期行将举行的计算机视觉尖端学术会议CVPR 2020在近来发布了录入的论文，录取率创下新低，比较上一年下降3%，仅有22%，百度仍有高达22篇论文当选，其间人脸方向重要的论文包含：

HAMBox：Delving into online High-quality Anchors Mining for Detecting Outer Faces

BFBox：Searching Face-appropriate Backbone and Feature Pyramid Network for Face Detector

FaceScape：a Large-scale High Quality 3D Face Dataset and Detailed Riggable 3D Face Prediction

Hierarchical Pyramid Diverse Attention Network for Face Recognition

此次疫情之下，人脸辨认背面的中心技能问题，包含杂乱场景多人脸检测、多人脸盯梢定位、实时模型猜测、戴口罩人脸辨认。

而这样一些问题，从上述的研讨成果来看，百度视觉都或多或少的有所触及。

如此来看，也就不难了解，为什么百度能够如此高效处理高难度问题。

百度在此次疫情中的奉献，也真实的显示了那句“才能越大，职责越大”，也表现了出了在计算机视觉领域中领军者的位置。

技能的背面，还有一个百度飞桨

无论是研讨仍是运用，背面都需求一个强有力的渠道支撑。

而此次百度在人脸辨认上的成功，离不开技能硬实力，更离不开技能背面的百度飞桨 (PaddlePaddle)。

飞桨是百度自研，现在国内仅有开源敞开且功用齐备的工业级深度学习渠道，是各类型AI模型运用开发的根底。

例如在处理戴口罩人脸辨认问题时，就选用了飞桨的大规模分类库PLSC，快速对数百万ID的练习数据进行练习，还选用了飞桨模型紧缩库PaddleSlim进行模型查找与紧缩，产出高功用的人脸辨认模型，运用飞桨PaddleLite快速进行云端和移动端布置。

在此前北京地铁AI口罩检测计划中，百度飞桨使用本身储藏的业界抢先东西集，快速完结了多维度视频内容解析、视频语义了解、分类标签，及口罩辨认等全套模型及布置，充沛展现出飞桨源于工业实践、并致力于与工业深化交融的特色。

而百度也将根据口罩相关的才能做到了落地：

与科升(广东)智能科技有限公司达到协作，对城中村门禁体系进行改造，租户使用前期入住时登记好的人脸开锁进门，一起该人脸数据库与公安大数据后台对接(直接对接公安数据库)，对可凝人员及网上追逃人员进行预警。

十牛科技将百度大脑发布的口罩检测与戴口罩人脸辨认技能，更新至学校安全办理体系中，为学生复学做好万全预备。

与无锡华捷电子信息技能有限公司达到协作，针对疫情全新开发的产品，无需摘下口罩，就能够精准辨认人脸，完成搭车人秒速主动测温，有用降低了公共交通出行中触摸感染危险。

与广州智体科技有限公司达到协作，运用驾驭行为剖析API极速研制并上线了出租车、公交车司乘人员“戴口罩智能辨认预警模块”，实时上传反常数据到疫情监管、交通办理部门、公交/出租车公司后台，完成了多站点长途异地有用管控。

还包含深圳市赛蓝科技有限公司、深圳智荟物联技能有限公司、南京海帆数据科技有限公司等100余家试用企业，触及零售线下门店无感刷脸购物、才智社区刷脸门禁、企业职工刷脸考勤等场景。

此外，现在百度戴口罩辨认相关根底才能现现已过飞桨Paddle Hub对外开源，防止让更多程序员重复造轮子，能够直接站在百度的膀子上。

One More Thing

经过百度计算机视觉强悍的才能，已然处理了人群“是否戴口罩”、“戴口罩的人是谁”的问题。

安全、愉快地戴口罩上班现已不是难题。

那么更进一步的，戴口罩手机解锁、刷脸付出，还需求多久能处理呢？

传送门

飞桨(PaddlePaddle)官网:

https:///PaddlePaddle/PaddleSlim

Paddle PLSC大规模分类库：

https://github.com/PaddlePaddle/PLSC

PaddleLite渠道：

https://github.com/PaddlePaddle/Paddle-Lite

PaddleHub渠道：

https://github.com/PaddlePaddle/PaddleHub