• 简单介绍Rope Crystal(类似Roop)项目


    (一)关于 Rope Crystal

    之前提到过,非常有趣的开源项目

    官网仓库:🔗地址

    介绍自己是一个类roop的项目,并且专注于界面操作元素。
    相对roop来说它最大的特点有但不限于:

    1. 新的改进的图形用户界面,对源/目标/输出进行管理,各种操作更加方便。
    2. 单个人物可同时选择多个源脸以创建综合的结果。⭐️⭐️⭐️⭐️⭐️
    3. 改进了目标/源人脸选择,提高了工作流程效率。
    4. 内存要求要低得多(如果不启用GFPGAN,CLIP等)。
    5. 遮挡处理,CLIP遮挡(输入文字描述),口型解析器(仅用于嘴部区域的遮挡工具)。⭐️⭐️⭐️
    6. 可以启用GFPGAN进行超分输出。⭐️⭐️⭐️⭐️⭐️

    实际测试结果,也是比roop精度更好,操作更方便,选项更多,界面更友好。
    当然不可能像DFL那么自然,不过挺好玩的。

    (二)安装 Rope Crystal

    各种项目都差不多,请参考官网的WIKI吧。
    就是克隆仓库,建立Python虚拟环境,安装依赖,下载放置一堆模型,以及Nvidia那套,等等。
    同时可以参考Roop的安装步骤,非常类似的。

    注意它只支持N卡。

    (三)运行 Rope Crystal

    项目给了个批处理,执行它。实际执行的是:

    call venv\Scripts\activate.bat
    python Rope.py 
    pause
    
    • 1
    • 2
    • 3

    主界面如下(相对原始roop来说,看上去有点复杂)。
    从上到下依次是:

    1. 视频预览
    2. 参数调节
    3. 素材脸部等3行
    4. 线程视频参数
    5. 状态栏

    在这里插入图片描述

    (3.1)选择目录

    让我们一步一步来吧。
    最开始运行的时候,并没有这些内容,界面是空的。
    在这里插入图片描述

    首次运行需要先设置目录(把素材都放在设定的目录中)。

    • 选择源脸图片目录【Source Faces】
    • 选择目标视频目录【Target Videos】
    • 选择输出视频目录【Saved Videos】

    三个目录都选了后,点击【Load Folders】。

    💡只有首次运行才选目录,下次用就直接点击【Load Folders】。

    (3.2)加载目录

    每次运行都需要点击【Load Folders】,然后:
    源脸图片【Source Faces】行,会出现你放进去的多个素材识别后的脸部。
    目标视频【Target Videos】行,会出现你放进去的多个目标视频。

    在这些视频/图片上滚动鼠标滚轮可以左右移动,免得图片多了,界面不够大。

    (3.3)选择并替换

    按照下面的顺序:

    1. 选择目标视频。
    2. 寻找目标视频当前帧的脸部(可多个)。
    3. 选择一个目标脸部(黄框为选中)。
    4. 选择这个目标脸部对应的来源脸部(黄框为选中,可多个)。
    5. 点击【swap】替换。

    如果有多个目标脸部需要替换,那么就依次黄框选中每个目标脸部再选对应的源脸部。
    因为有黄框,很容易看清源->目标的对应关系。赞!!!
    在这里插入图片描述

    (3.4)播放和录制

    和原始roop不同,点击【swap】替换脸部后,我们只能在预览窗口看到结果。
    我们可以这样操作来保存视频:

    1. 按下【录制】
    2. 点击【播放】

    在这里插入图片描述
    如果不先按下1处的【录制】就播放,那么就只在界面预览整个视频,不会保存成文件。


    (四)参数详解

    可以不调节任何参数,直接合成。
    但是有些参数确实能改善质量,有些参数适合不同类型的情况。

    (4.1) GFPGAN / CodeFormer

    在这里插入图片描述 提升清晰度
    提高面部分辨率(需要适配目标视频清晰度,并不是都开最高)。
    左键单击 :打开/关闭。
    右键单击 :切换GFPGAN和CodeFormer。
    滚动鼠标滚轮:更改强度(0% = 关闭,100% = 最强)

    (4.2) Difference

    在这里插入图片描述 差异
    允许目标显示目标面部和交换面部的相似位置
    单击 :打开/关闭。
    滚动鼠标滚轮:更改阈值(0% = 非常严格,100% = 无限制)

    (4.3) Top Mask

    在这里插入图片描述 顶部遮罩
    降低和升高前额的遮罩边界
    滚动鼠标滚轮:以降低和升高位置(0% = 边界靠近顶部,100% = 边界靠近面部中间)

    (4.4) Mask Blur

    在这里插入图片描述 遮罩模糊
    设置遮罩(顶部以及侧面)的模糊量
    滚动鼠标滚轮:更改强度(0% = 无模糊,100% = 最高模糊)

    (4.5) CLIP

    在这里插入图片描述 Contrastive Language-Image Pretraining = 对比语言-图像预培训
    基于文本输入创建遮罩
    在字段中输入文本,以逗号分隔。例如,”cup,hands“,应该需要英文单词吧:)
    单击 :打开/关闭
    滚动鼠标滚轮:调整单词强度(越高越强)

    (4.6) Occluder

    在这里插入图片描述 遮挡物
    创建遮挡面部的任何对象的遮罩。
    利于自动遮盖头发。不利于个人形象。
    单击 :打开/关闭

    (4.7) Mouth Parser

    在这里插入图片描述 嘴型解析
    从原始面部和交换的面部在嘴周围创建遮罩。
    利于说话等显得自然,不利于保持相似性。
    单击 :打开/关闭

    (4.8) Threshhold

    在这里插入图片描述 阈值
    由交换器用于确定目标人脸是否与帧中的任何人脸匹配。
    滚动鼠标滚轮:以更改强度(默认为 85%,越低越严格限制,越高限制越少)。
    单击 :打开(应用到所有脸部)/关闭

    (4.9) Blur

    在这里插入图片描述 模糊
    设置所有遮罩的模糊量
    滚动鼠标滚轮:更改强度(0% = 无模糊,100% = 高模糊)

    (4.10) Threads

    在这里插入图片描述 线程
    在你的显卡/显存能够承受的范围内,加大线程数可以加快处理速度。
    滚动鼠标滚轮:以更改线程数

    (4.11) Video Quality

    在这里插入图片描述 视频质量

    滚动鼠标滚轮:以更改输出视频质量,值越小视频质量越高。

    (五)样例

    最终视频效果挺不错的,因为处理很慢所以没有管小部分遮挡的问题。

    Pure Rope Crystal test

  • 相关阅读:
    网站授权QQ登录
    第九章 聚类
    三万字盘点Spring/Boot的那些常用扩展点
    【Vue】ElementUI实现登录注册
    Day02-IDEA使用方式&基本语法
    JVM上篇:类加载子系统
    FastReport4.6 组件安装
    2. 计算WPL
    聊聊pert图的那些事儿~
    静电消除自动清洁离子风机
  • 原文地址:https://blog.csdn.net/ddrfan/article/details/132846084