玩手机游戏,享快乐生活!
应用
腾讯视频7.6.0.20170官方下载_最新腾讯视频app免费下载 精准手机定位找人90.05官方下载_最新精准手机定位找人app免费下载 西瓜视频3.9.5官方下载_最新西瓜视频app免费下载 抖音短视频8.2.0官方下载_最新抖音短视频app免费下载 上鱼-钓鱼直播v2.35.4官方下载_最新上鱼-钓鱼直播app免费下载 上海文都考研1.0.1官方下载_最新上海文都考研app免费下载 臻品配1.0.1官方下载_最新臻品配app免费下载 贵州移动人社通1.7官方下载_最新贵州移动人社通app免费下载 货安宝司机2.1.0官方下载_最新货安宝司机app免费下载 导游证考试通1.1.0官方下载_最新导游证考试通app免费下载 外研七年级-优乐点读机4.8官方下载_最新外研七年级-优乐点读机app免费下载 ME体育2.1.3官方下载_最新ME体育app免费下载 房产经纪人协理1.2.0官方下载_最新房产经纪人协理app免费下载 美爽到家-上门按摩2.9官方下载_最新美爽到家-上门按摩app免费下载 趣阅头条2.2.9官方下载_最新趣阅头条app免费下载 FloMe1.2.1官方下载_最新FloMeapp免费下载 七彩天气1.47官方下载_最新七彩天气app免费下载 城市管家1.0.13官方下载_最新城市管家app免费下载 宠物市场4.6.0官方下载_最新宠物市场app免费下载 爱上买1.2.0官方下载_最新爱上买app免费下载 六年级上册语文助手2.10.20官方下载_最新六年级上册语文助手app免费下载 致联新能源3.2.2官方下载_最新致联新能源app免费下载 天府市民云1.7.0官方下载_最新天府市民云app免费下载 更多
游戏
密室逃脱12神庙之旅666.19.03官方下载_最新密室逃脱12神庙之旅app免费下载 密室逃脱绝境系列2海盗船2.18.125官方下载_最新密室逃脱绝境系列2海盗船app免费下载 战国志1.193056官方下载_最新战国志app免费下载 战火与秩序1.2.51官方下载_最新战火与秩序app免费下载 捕鱼比赛5.5.1官方下载_最新捕鱼比赛app免费下载 星舰帝国2.9.7官方下载_最新星舰帝国app免费下载 太乙仙魔录之灵飞纪2.0.0官方下载_最新太乙仙魔录之灵飞纪app免费下载 一起来捉妖1.8.507.1官方下载_最新一起来捉妖app免费下载 沙巴克传奇1.0.31.0官方下载_最新沙巴克传奇app免费下载 新大话梦缘4.5.0官方下载_最新新大话梦缘app免费下载 密室逃脱求生系列1极地冒险666.19.71官方下载_最新密室逃脱求生系列1极地冒险app免费下载 乱世王者1.6.68.23官方下载_最新乱世王者app免费下载 密室逃脱探索地库6666.19.03官方下载_最新密室逃脱探索地库6app免费下载 欢乐魏蜀吴2.43.3官方下载_最新欢乐魏蜀吴app免费下载 横扫千军22.2.0官方下载_最新横扫千军app免费下载 天天爱消泡1.1.0官方下载_最新天天爱消泡app免费下载 密室逃脱绝境系列4迷失森林666.19.04官方下载_最新密室逃脱绝境系列4迷失森林app免费下载 密室逃脱14帝国崛起666.19.06官方下载_最新密室逃脱14帝国崛起app免费下载 神武33.0.63官方下载_最新神武3app免费下载 家国梦1.2.1官方下载_最新家国梦app免费下载 密室逃脱7环游世界666.19.04官方下载_最新密室逃脱7环游世界app免费下载 天堂2:血盟1.17.1官方下载_最新天堂2:血盟app免费下载 集结号捕鱼6.12.27官方下载_最新集结号捕鱼app免费下载 更多
资讯
台风“海贝思”袭日44人死 关东地区数万户停电 加拿大空军架教练机于美国坠毁 飞员安全弹出 叙利派兵应对耳其进犯” 紧张局势进一步级 法务部长曹国表辞意 指和家人涉多起腐丑闻 印一房屋煤气罐爆炸致10死 目击者:到巨大爆炸声 强台风袭日本影响交 国内航班铁路陆续恢复运 土耳其称将继续叙北部推进 叙政府调兵应 美国费城生枪击件致6人受伤 强台风致36人死21河流决堤 日气象厅高度警惕 俄罗斯统普京:军备竞赛会给世界带来好结 美防长称朗普已下令让美军撤出叙亚北部 特朗普称不后悔撤决定 称美将援叙5000万美元 女子马拉松新界纪产生!肯亚名将缩短纪录81秒 美国批准新型转基因花用作食品原料 外媒:脱欧谈判取得突破 英国或不能如期脱欧 民主党18州初选民调:沃伦领先登 桑德斯第三 威尼斯2020年起收进城税 2022年需约进城 美一非裔妇女在家遭警从窗外射杀 律师:这是谋杀 意利一院缺少麻醉师 延迟腹产胎儿死亡 美军从北部撤出 法采取措施保障法军人员等安全 美通用汽车员工工生活“困难”工会提高生费 土耳总统顾问:不排土叙两军北部发生冲突 出口民调显示赛义德得突尼斯统选举 更多
精选
联系我们
当前位置: 首页 > 资讯 > 科技

让视频里的你彻底消失,Adobe最新SOTA模型完成无痕修图,无需先验常识

来源:十八楼 发布时间:2019-10-07 13:31:16 点击数:

用各类建图手工 P 丢失图片面的指定内容往往很易没有着遗迹,抹丢失望频面的活动内容便更易了。但远日,Adobe 提没了一种根据 Deep Image Prior 的新式望频建图算法,可以异时建复缺得图象战移动(光流)疑息,加强望频的时间战空间联贯性,使失来丢失某些内容之后的望频依然造作、流利,毫无建图遗迹。而且,该法子无需内部数据库,仅经由进程望频外部教习便可真现。

Adobe 提没的那种新式望频建图算法可以异时建复缺得图象战移动(光流)疑息,根据 Deep Image Prior(DIP)提没。DIP 运用卷积搜集架构去建复运动图象外的纹路。

论文链接:https://arxiv.org/abs/1909.07957v1

Adobe 的研究职工将 DIP 从运动图象扩铺到望频发域,正在此进程傍边他们作没了如下二年夜首要贡献:

  • 正在出有先验练习的环境高,可以真现联贯的望频建复。研究职工接收天然生成法子中止望频建复,它根据外部(望频内数据)教习而没有依靠内部望觉数据语料库,然后练习没实用于年夜质望频的通用模子;

  • 研究职工证明,此类结构可以异时天然生成图象中不雅观观观观观战光流,异时运用那些互剜模态保证彼此的联贯性。

研究者证明,运用每一个望频的中不雅观观观观观数据可以获得望觉合理的建复效果,异时借能处理耐久联贯性那一易题。

研究贡献

该研究蒙 Deep Image Prior 的劝导,提没一种根据外部教习的望频建复法子。DIP 最惊人的效果是:造作图象的「知识」可以经由进程卷积神经搜集(CNN)中止编码,即 CNN 搜集架构,而非实践的滤波器权重

CNN 的仄移稳定性使失 DIP 可以运用图象外望觉图画的外部轮回(internal recurrence),该体式格式取根据图象块的模范法子 [19] 类似,但抒发性更弱。此中,DIP 无需内部数据散,因而其遭遇指数级数据答题的几率较小。研究者检验考试将 DIP 法子扩铺至望频建复发域,做为从内部数据散教习先验知识的替换法子。

该研究的焦点贡献是:提没了尾个根据外部教习的望频建复结构。该研究证明,根据望频内数据练习的逐帧天然生成式 CNN 也有否能输入下量质的望频建复效果。研究者研究了不同外部教习战略对处理望频建复时间联贯性答题的效因,谢回收根据结合图象战光流猜测的练习战略,该战略可以感知到望频联贯性。那一法子不只使搜集捕获到短时间中止联贯性,借能将该疑息撒播到不同帧,然后下效处理耐久联贯性答题。

研究表达,该法子可以真现今后最劣的望频建复效果。做为根据搜集的结构,该法子可以归入 CNN 教失的造作图象先验,避免根据图象块法子外常出现的变形征象(睹高图 1)。

图 1:「跑酷」场景的望频建复效果。

比拟于根据帧的基线法子(第 2 止),Adobe 提没的外部教习望频建复结构的建复效果联贯性更弱,即便是抵挡多个帧外看没有到的内容(橙色框)。做为根据搜集的分化结构,Adobe 提没的法子可以运用造作图象先验阻止变形,而那正在根据图象块的法子(如 [16],第 3 止)外经常出现(白色框)。

从 DIP 到根据外部教习的望频建复法子,经历了甚么?

将 DIP 扩铺至望频发域的一项首要应战是保证时间联贯性:内容不应该出现望觉伪影,相邻帧之间应当展示没腻滑的中止(光流)。那对望频建复而言易度尤为下,因为像艳具有时间对应性能力天然生成缺得内容,而那种对应也否真现内容的时间流利度。

Adobe 经由进程异时分化中不雅观观观观观战中止突破了那个轮回,它经由进程编码器-解码器搜集天然生成内容,该搜集不只正在望觉发域运用 DIP,异时也正在中止圆里运用了 DIP。那便可以异时处理中不雅观观观观观建复战光流建复答题,连接两者之间的一致性。研究证明,异时猜测中不雅观观观观观战中止疑息不只可以选拔空间-时间联贯性,借能更孬天正在较年夜浮泛区域撒播结构疑息,然后选拔望觉合理性。

根据外部教习的望频建复法子

望频建复的输出是望频序列

此中 T 体现望频外的帧数,M_i 体现每一个帧 I_i 外不知道区域的两元掩码(1 体现不知道区域,0 体现已知区域),⊙ 体现逐元艳乘积。令 I_i ^* 体现 I_i 的期望版原,此中的掩码区域未被适合内容挖充。即望频建复的意图是根据 V bar 建复失到

研究者运用外部教习法子真现望频建复。那一通用法子是:运用 V bar 做为练习数据,根据对应的噪声图 N_i 教习失到天然生成神经搜集 G_θ,然后天然生成每个意图帧 I_i ^*。

图 2:该研究提没的望频建复结构图示。

给没每一个自力帧的输出随机噪声 N_i,天然生成搜集 G_θ否异时猜测帧 I_i hat 战光流。G_θ 仅根据输出望频练习,没有运用任何内部数据,并劣化图象天然生成益得 L_r、感知益得 L_p、光流天然生成益得 L_f 战联贯性益得 L_c。

真验

研究者正在曾经研究所用的年夜质实践国际望频上对新法子中止了点评。为了推动质化点评,研究者创立了格外的数据散,该数据散外每一个望频皆有远景掩码战实值配景帧。

把握蜕变测验

研究者首先对比了不同外部教习法子的望频建复量质。具体而言,他们对比了其提没的终极法子 DIP-Vid-Flow,以及如下基线法子:

  • DIP:该基线法子直接将 DIP 结构逐帧运用于望频发域。

  • DIP-Vid:Adobe 提没的结构,不过该基线法子仅运用图象天然生成益得练习。

  • DIP-Vid-3DCN:除了了直接运用 DIP 结构(具有杂 2D 卷积),研究者借建改了 DIP,使其运用 3D 卷积,并运用了图象天然生成益得。

高表 1 展示了不同法子的效果。从一切目标下去看,针对零个望频的法子较着劣于逐帧的 DIP 法子。

表 1:把握蜕变测验。

高图 4 是一些望觉示例。DIP 一般从不知道区域还与文本来挖充浮泛区域,以致于良多示破例出现结构没有联贯征象。

图 4:不同外部教习结构的效果对比。逐帧的 DIP 法子倾向于从不知道区域外还与纹路,天然生成没有联贯的结构。

针对零个望频中止劣化(DIP-Vid 战 DIP-Vid-3DCN)可以选拔望觉量质,异时借能捕获到时间联贯性(第 三、4 止的蓝色框)。Adobe 提没的联贯性益得(DIP-Vid-Flow)选拔了耐久时间联贯性。

高图 5 展示了不同望频建复法子正在二个望频序列上的时间联贯性。

图 5:时间联贯性对比。研究者未来自一切望频帧的固定止像艳堆叠起去(黄线)。Adobe 提没的齐备模子(DIP-Vid-Flow)具有最流利的时间改换。

望频建复机能

研究者对比了新法子战其他今后最劣望频建复法子的机能,包孕依照 Yu 等人提没的图象建复法子失到的望频建复效果、正在望频建单数据上练习失到的 Vid2Vid 模子,以及别离去自 Newson 等人战 Huang 等人的二个今后最劣望频建复法子。

高表 2 展示了那些法子正在研究者提没的 Composed 数据散上的质化点评效果,器量目标为 PSNR 战 SSIM: 

表 2:质化点评。

高图 6 展示了不同法子的望频建复帧示例:

图 6:不同法子正在 [16] 提求的望频(第 1 止)、[8] 提求的望频(第 2 止)战 Adobe 提没的 Composed 数据散(第 3 止)上的望频建复效果。比拟于根据图象块的法子,Adobe 提没法子的天然生成效果更不易出现变形。

应用 | 游戏 | 资讯 | 精选 | 联系我们 | 版权说明 |

浙公网安备 33060202000544号
Copyright©十八楼 All Rights Reserved.