前端如何玩转人脸识别

2020/7/16 14:09:28

本文主要是介绍前端如何玩转人脸识别,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!

背景
人脸识别技术在当下已经十分成熟,但主要在移动端和专有设备应用上较为普及,而在Web端并不多见,本着学习的目的从零实现web端的人脸登录功能。

视频流:使用navigator.getUserMedia方法在浏览器中获取视频流+音频流(通过摄像头麦克风),将来可以用于获取任意数据流,比如光盘和传感器。

face_recognition:被称为世界上最简单的人脸识别库(使用确实超简单)。你可以通过Python引用或者命令行的形式使用它,来管理和识别人脸。该软件包使用dlib中最先进的人脸识别深度学习算法,使得识别准确率在《Labled Faces in the world》测试基准下达到了99.38%。它同时提供了一个叫face_recognition的命令行工具,以便你可以用命令行对一个文件夹中的图片进行识别操作。

总体流程:

  1. 启动web服务,使用face_recognition将基础库图片进行建模,将建模结果(识别到的人脸在图片中的位置和人脸特征)加载到内存。
  2. 前端通过h5页面的getUserMedia方法调用摄像头获取视频流。
  3. 通过canvas抓取一帧视频转化为图片(base64),使用http或websocket发送到后台。
  4. 后台接受base64参数并转化为图片保存。
  5. 调用face_recognition.locations和face_recognition.face_encodings进行图片建模。
  6. 调用face_recognition.compare_faces将图片建模结果与基础库结果比对。
  7. 根据定义的比对阈值(被称为容忍度,一般为0.6)返回比对结果,如果阈值小于该值,判断是该用户,认定允许登录,返回系统界面。否则返回人脸识别失败的信息。

功能模块图:
Snipaste_2020-07-16_11-34-50.png

功能时序图:
Snipaste_2020-07-16_11-36-09.png

效率:

经测试,最终实现可以底库数据为10人时,1s左右实现刷脸登录,识别效果也能接受,在侧脸,半脸(鼻子到额头)测试结果可以通过。

实际应用可行性

在可视化项目中人脸识别结合传统的账号密码登录,可提升系统安全性和更好的用户体验。

限制

浏览器调用摄像头只有在https协议、127.0.0.1、localhost下有权限,实际项目需要支持https。

兼容性

Desktop
111.png

Mobile

222.png
注意:

本文只介绍了简单实现,系统安全性没有过多考虑,比如在这个简单系统中,前端的数据获取流程,非注册用户使用注册用户的照片也能骗过系统,在照片数据传输的过程中,也会有数据泄露的风险。后面将会针对这些情况进行一系列的优化。

代码
https://github.com/James-Nie/...

说明

安装 face-recognition

首先说明,我的系统是win10,python版本是python3.7,需要事先下载一下3个包并安装:

1、vs c++ 2015,必须是2015,不要问为什么

可以用这个链接:https://www.microsoft.com/zh-...

也可以用社区版

2、Boost C++ Libraries,可以用这个链接:

https://dl.bintray.com/boosto...

选择boost_1_66_0-msvc-14.0-64.exe,安装到C盘即可

3、cmake

可以用这个链接:https://cmake.org/download/

选择cmake-3.15.0-rc4-win64-x64.msi

注意!!!cmake在安装过程中切记选择添加路径到环境变量中。

4、当上面3个都安装好之后,可以直接在命令窗口安装pip install face-recognition即可,在这过程中会自动安装好dlib,当然也可以先安装dlib,这就看各位心情了。



这篇关于前端如何玩转人脸识别的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!


扫一扫关注最新编程教程