AI换脸大家不感到陌生了,前段时间抖音里出现了很多经典电视剧的主角被人换脸,引起了网友们的一阵热议,于是小编也搜集了换脸相关技术文献,发现python不仅可以更换视频中的人脸,还可实时将视频聊天摄像头中的人脸换成别人,也就是说使用此技术,你微信视频聊天的好友可能不是本尊,所以大家要警惕了,即使视频聊天看到朋友问你借钱,也要慎重,多方确认,以免受骗。
好了,今天我们就来讲讲怎么实时更换摄像头中的人脸达到伪装者的目的,想看看效果,左边图片是摄像头实时抓取本尊的头像,右边是经过python实时换脸后输出到虚拟摄像头的影像,是不是看上去挺和谐的,好了,我们来讲讲怎么换脸吧。
安装要求
操作系统:Ubuntu 18.04或Win 10
NVidia fast GPU (GTX 1080, GTX 1080i, Titan,等)
Fast Desktop CPU (Quad Core or more)
Webcam 摄像头
操作步骤
一、下载项目代码
不要忘记使用--recurse-submodules参数来签出所有依赖项。在Windows中,您可能需要安装 Git客户端。
$ git clone --recurse-submodules https://github.com/alew3/faceit_live3.git
将'vox-adv-cpk.pth.tar'下载到/ model文件夹
您可以在以下位置下载它:
google-drive,地址为
https://drive.google.com/open?id=1PyQJmkdCsAkOYwUyaj_l-l0as-iLDgeH
或者
yandex-disk。地址为
https://yadi.sk/d/lEw8uRm140L_eQ
二、安装NVidia深度学习驱动程序库
安装最新的Nvidia视频驱动程序,然后安装深度学习基础架构:
NVidia CUDA 10.1驱动程序 -2.6GB下载!下载地址:
https://developer.nvidia.com/cuda-downloads
CUDA 10.1的cuDNN版本-您需要注册才能下载,下载地址:
https://developer.nvidia.com/cudnn
其他版本可能会起作用,但我尚未对其进行测试。
三、安装Anaconda环境
下载并安装Anaconda,下载地址:
https://www.anaconda.com/distribution/
创建Anaconda环境并安装要求
$ conda create -n "faceit_live3" python=3.8
$ conda activate faceit_live3
$ conda install pytorch=1.4 torchvision=0.5 cudatoolkit=10.1 -c pytorch
$ pip install -r requirements.txt
四、设置虚拟摄像头
▶windows版本设置如下:
设置虚拟摄像机以进行流传输
下载并安装OBS Studio for Win,下载地址:
https://obsproject.com/download
然后按照页面上的说明安装OBS Virtual CAM插件,下载地址:
https://github.com/CatxFish/obs-virtual-cam/releases
安装Virtual CAM之后。
创建一个场景
将“窗口捕获”项添加到“源”中,然后选择“流窗口”
右键单击并选择过滤器,然后单击“ ”并选择虚拟摄像头,将过滤器添加到Window Capture中。
从工具菜单启动虚拟摄像头
打开Firefox并加入Google Hangouts对其进行测试,请不要忘记从设置下的“相机”选项中选择OBS CAM。
▶Linux版本设置如下
要使用伪造的网络摄像头功能通过我们的视频流参加会议,我们需要插入v4l2loopback内核模块以创建/ dev / video1。按照(https://github.com/umlaeute/v4l2loopback)上的安装说明进行操作,然后让我们设置伪造的网络摄像头:
$ git clone https://github.com/umlaeute/v4l2loopback.git
$ make && sudo make install
$ sudo depmod -a
$ sudo modprobe v4l2loopback devices=1
$ sudo modprobe v4l2loopback exclusive_caps=1 card_label="faceit_live" video_nr=1
$ v4l2-ctl -d /dev/video1 -c timeout=1000
如果您已经在/ dev / video1上运行了网络摄像头,请更改上面的video_nr
要检查一切是否正常,请尝试运行mp4来生成/ dev / video1视频(将ale.mp4替换为您自己的视频)。
$ ffmpeg -re -i media/ale.mp4 -f v4l2 /dev/video1 -loop 10
并查看
$ ffplay -f v4l2 /dev/video1
在Ubuntu 18上,我必须对v4l2loopback.c的源代码进行较小的更改才能使环回正常工作。如果上述方法不起作用,您可以在运行make之前尝试此更改:
# v4l2loopback.c
from
#if LINUX_VERSION_CODE >= KERNEL_VERSION(2, 6, 29)
to
#if LINUX_VERSION_CODE >= KERNEL_VERSION(3,7,0)
您还可以检查/ dev / video *设备:
$ v4l2-ctl --list-devices
$ v4l2-ctl --list-formats -d /dev/video1
▶Mac支持
不幸的是,Apple和NVidia已停止合作,并且Mac不再提供CUDA支持。在Mac上,这将非常慢,因为所有内容都将在不支持GPU的CPU上运行。
将/media要播放的jpg / png图像放入目录。仅有一张脸的方形图像可以填充大部分空间,效果更好。
五、运行程序
$ conda activate faceit_live3
$ python faceit_live.py
参量
--system #操作系统 win or linux (默认是win)
--webcam_id # 网络摄像头的videoid 例如 0 如果是 /dev/video0 (默认是 0)
--stream_id # linux环境下专用 设置/dev/video number to stream to (默认是1)
--gpu_id # 多个GPU设置 选择哪个GPU去运行(默认是0)
例子:
$ python faceit_live.py --webcam_id 0 --stream_id 1 --gpu_id 0 --system linux
运行时的快捷键
B - cycle previous image in media folder
N - cycle next image in media folder
C - recenter webcam and create a new base image
T - option to alter between 'Relative' and 'Absolute' transformations mode
Q - to quit and close all Windows
六、总结
为了获得更好的效果,请在启动程序或按C时查看网络摄像头,因为这将从您的脸部创建用于变换的基础图像。移近并靠近摄像头,以找到理想的距离以获得更好的效果。
七、常见问题
▲慢
如果运行缓慢,请使用nvidia-smi命令检查其是否在GPU上运行。Windows任务管理器无法正确报告GPU使用情况。(将C:\ Program Files \ NVIDIA Corporation \ NVSMI添加到Windows路径中以找到命令)。
▲错误
如果在LINUX下收到以下错误,则表明您尚未启动v4l2loopback。
cv2.error: OpenCV(4.2.0) /io/opencv/modules/imgproc/src/resize.cpp:4045: error: (-215:Assertion failed) !ssize.empty() in function 'resize'
▲多GPU
如果您有多个GPU,则可能需要设置一些环境变量:
# specify which display to use for rendering (Linux)
$ export DISPLAY=:1
# which CUDA DEVICE to use (run nvidia-smi to discover the ID)
$ export CUDA_VISIBLE_DEVICES=0 (LINUX)
或者
$ SET CUDA_VISIBLE_DEVICES=0,1 (WIN)
好了,如果有什么问题请留言给我或关注我私信我。