由我中心牵头，和纽约州立巴法罗大学共同组织的第二届深度伪造博弈比赛（DFGC）近日圆满落幕，该比赛属于国际生物特征识别联合会议IJCB 2022的系列竞赛。
竞赛规则如下：
比赛分为视频DeepFake（深度伪造）生成和检测两个赛道，两个赛道同步进行并开展评测。生成赛道分三轮提交，每轮对指定的80段素材视频进行换脸操作，并将换脸视频结果提交评测，由主办方在真实感、嘴型一致性、视频质量、表情准确性、ID准确性、抗检测能力共6个方面进行评分。前五项为主观评价，单项满分5分，最后一项为客观评价，单项满分10分。检测赛道分为初赛和复赛两个阶段，选手可在除比赛数据之外的任何公开数据集上训练模型，评价指标为AUC of ROC。初赛阶段在比赛公开的未知标签的公开测试数据上进行，并提交所有测试视频上的预测结果进行评测。初赛前十名的队伍可进入最终复赛阶段，提交预测代码与模型，由主办方在私有数据集上（private-1, private-2）测试。主要测试数据来源为比赛收集的素材视频及生成赛道提交的伪造视频，另有小部分野外数据。主办方检查了前三名的训练代码和训练数据以保证其符合比赛规则，并最终公布了比赛结果。
通过本次比赛，较好地检验了当前视频换脸深度伪造中的最强之矛与最坚之盾，为伪造检测模型在开放对抗环境中的实际性能评估提供了参考。关于本次比赛更详细的技术细节，以及比赛计划公开的数据集，请关注后续将要发表的总结论文。下面公布两个赛道前三名队伍成绩、成员信息、以及他们所采用的方案简介。
01 Creation Track 比赛结果
Creation Track Top-3
“JoyFang”队、“chinatelecom_cv”队、“felixrosberg”队。
生成赛道第一名JoyFang队伍成员是科大讯飞股份有限公司的何山，吴小燕，尹忠诚，方嘉仪，孙靖。其解决方案为基于DeepFaceLab深度换脸工具，采用改进的自适应脸部融合（adaptive merging）方法以更好适配脸部光照情况，进一步使用去模糊（deblurring）方法后处理提升效果。
生成赛道第二名chinatelecom_cv队伍来自中国电信股份有限公司数字智能科技分公司(a)和中国科学院自动化研究所-生物识别与安全技术研究中心(b)，成员包括何智翔(a)， 吴锦林(b)，王栋(a)，王瑾(a)，吴正平(a)，王志昊(a)。其解决方案基于改进的SimSwap换脸模型，新加入了对眼部、嘴部区域的局部辨别器（discriminator），在原有模型loss的基础上加入local discrimination loss, VGG-Face loss, and total variation loss。方法只对眼睛、鼻子、嘴巴区域进行换脸融合，并采用高斯滤波处理融合边缘，最终使用新提出的超分辨率模型提升感官质量。
生成赛道第三名felixrosberg队伍是来自瑞典Berge Consulting和Halmstad University, Center for applied Intelligent Systems Research (CAISR)的Felix Rosberg。其解决方案是他们新提出的换脸模型（尚未发表），该模型原始生成分辨率为256x256，并进一步采用超分辨率方法生成512x512的最终结果。
02 Detection Track 比赛结果
Detection Track Top-3
“HanChen”队、“OPDAI”队、“guanjz”队。
检测赛道第一名HanChen队伍成员是深圳市媒体信息内容安全重点实验室，深圳大学的陈涵，陈保营，胡林辉，李秋实，林昱臻，指导老师为李斌教授。其解决方案是两个ConvNext模型与一个Swin-Transformer模型的融合，训练数据集包括FaceForensics++ (Deepfakes, Face2Face, FaceSwap, FaceShifter, NeuralTextures, DeepFakeDetection) in c23 and c40 qualities, HifiFace on FaceForensics++, UADFV, DF-TIMIT, DeeperForensics-1.0, Celeb-DF, WildDeep-fake, and DFDC。模型在384x384分辨率的人脸crop图片上训练，采用BCE loss，数据增广方式包括HorizontalFlip, GaussNoise, and GaussianBlur.
检测赛道第二名OPDAI队伍成员是网易互动娱乐事业群（广州）的丛恒，付凌志，张榕瑜，张榕瑜，王浩，李卓，宋弘健，宋弘健，高晋。其解决方案为5个检测模型的融合，包括Swin-Transformer, EfficientNet-B7, and EfficientNet-B0，训练数据集包括DFDC, Celeb-DF, and FaceForensics++ (Deepfakes, Face2Face, FaceSwap, and NeuralTextures)。模型主要在人脸crop图片上训练，也融合了鼻子、眼睛和嘴巴关键区域的预测，采用的数据增广方式包括Compression, GaussNoise, GaussianBlur, HorizontalFlip, Adjustment Brightness/Contrast/HueSaturationValue, Rotate, and facial parts erasing.
检测赛道第三名guanjz队伍来自清华大学，计算机科学与技术系(a)与中国电信股份有限公司数字智能科技分公司(b)，成员包括官佳智(a), 郭知智(b), 全成斌(a), 赵有健(a)。其解决方案为5个检测模型的融合，包括两个Vision Transformer，两个Swin-Transformer，和一个时序模型TSM，训练数据集包括Face-Forensics++ (with FaceShifter and DeepFakeDetection), DFDC, Celeb-DF, DeeperForensics, Kodf, and ForgeryNet。数据增广方式包括compression, down scale, horizontal flip, random shift, random scale, random rotate, Gaussian blur, and random color change。
最后，感谢本次比赛赞助单位天津中科智能识别有限公司提供的奖金支持。更多比赛信息请前往比赛网站查看：
https://codalab.lisn.upsaclay.fr/competitions/2149#learn_the_details-evaluation
https://codalab.lisn.upsaclay.fr/competitions/3523#learn_the_details-evaluation
|
