玩手机游戏,享快乐生活!
应用
暖心口袋1.4.6官方下载_最新暖心口袋app免费下载 儿歌点点2.7.06.release官方下载_最新儿歌点点app免费下载 齐齐直播2.8.0.0官方下载_最新齐齐直播app免费下载 必看小说1.20.17官方下载_最新必看小说app免费下载 多多超市1.0.32官方下载_最新多多超市app免费下载 遇梦5.9官方下载_最新遇梦app免费下载 掌玩2.6.2官方下载_最新掌玩app免费下载 粤通卡4.7.2官方下载_最新粤通卡app免费下载 贝壳网5.3.0.1官方下载_最新贝壳网app免费下载 创元期货6.1.4.12官方下载_最新创元期货app免费下载 可可宝贝1.3.6官方下载_最新可可宝贝app免费下载 太平通1.1.1官方下载_最新太平通app免费下载 微密圈3.1.5官方下载_最新微密圈app免费下载 随享季2.5.0官方下载_最新随享季app免费下载 狮桥二手车1.2.0官方下载_最新狮桥二手车app免费下载 留痕笔记1.5.0官方下载_最新留痕笔记app免费下载 信用付3.6.1官方下载_最新信用付app免费下载 未来集市1.1.8官方下载_最新未来集市app免费下载 中华易学堂8.8.9官方下载_最新中华易学堂app免费下载 洪恩故事3.1.1官方下载_最新洪恩故事app免费下载 国美易卡3.2.1官方下载_最新国美易卡app免费下载 鹤城在线4.1.0官方下载_最新鹤城在线app免费下载 刷宝2.7.3006官方下载_最新刷宝app免费下载 更多
游戏
剑侠世界1.2.9874官方下载_最新剑侠世界app免费下载 阴阳师1.0.66官方下载_最新阴阳师app免费下载 魔与道OL4.06.02官方下载_最新魔与道OLapp免费下载 熊出没4丛林冒险1.2.5官方下载_最新熊出没4丛林冒险app免费下载 王者荣耀1.45.1.11官方下载_最新王者荣耀app免费下载 侠义21.1.8官方下载_最新侠义2app免费下载 植物大战僵尸22.3.93官方下载_最新植物大战僵尸2app免费下载 QQ炫舞2.6.2官方下载_最新QQ炫舞app免费下载 NBA Live-5v5真操控3.5.00官方下载_最新NBA Live-5v5真操控app免费下载 金箍棒3.78官方下载_最新金箍棒app免费下载 一起来跳舞3.9官方下载_最新一起来跳舞app免费下载 红星斗地主1.01.60官方下载_最新红星斗地主app免费下载 梦想城镇7.5.0官方下载_最新梦想城镇app免费下载 天道问情1.133.0官方下载_最新天道问情app免费下载 小米超神1.39.9官方下载_最新小米超神app免费下载 机甲奥特曼1.1.3官方下载_最新机甲奥特曼app免费下载 小小三国无双1.02官方下载_最新小小三国无双app免费下载 葫芦娃(百变小金刚)1.8.0官方下载_最新葫芦娃(百变小金刚)app免费下载 超级飞侠跑跑超人1.6.0官方下载_最新超级飞侠跑跑超人app免费下载 叶罗丽精灵梦2.5.3官方下载_最新叶罗丽精灵梦app免费下载 权力的游戏 凛冬将至1.3.11官方下载_最新权力的游戏 凛冬将至app免费下载 熊大熊二向前冲1.1.5官方下载_最新熊大熊二向前冲app免费下载 侍魂-胧月传说1.20.5官方下载_最新侍魂-胧月传说app免费下载 更多
资讯
人工正成为遥感大数据的“解译侠” 第十个中国航海日聚焦航运业高质量发展 为民解题 奋力稳就业 “大棚”问题清理整治情况:遏制农地非”乱象 持制造业就业稳是关键 工业经济跨发展 制造大国屹立东方 雄安,高质量发展的样 大家保险集团限责任公司成立 进入夏日销售旺季 冷家电掀起创新热潮 全国道德模范候选王鹏:用行动诠释爱与善良 华为向英国民众示5G速度 全铁用新运行图 暑期高峰日均增26万个席位 国家安全部与内蒙古敖旗联手培育富民产业 无针注射,糖尿患者的福音 甘肃牡丹花开高原结贫“硕果”浑身“宝”不愁销 6月份CPI同上涨2.7% 当前物价通胀压力明显 黑龙江将扶持设5万亩苜蓿种植基地 每亩助600元 专访亚投秘书长:年会落户欧洲具标志性义 期待同欧方进行目作 澳大利亚中文教师会第25届年会珀斯举行 财经察:德国经济上年提振乏力引忧 上半年中国实际使外资增长7.2% 英希斯罗机场暑将举行大罢工 预估百人受响 (济观察)中美500企业不同? 更多
联系我们
版权说明
当前位置: 首页 > 资讯 > 科技

Google Brain新论文:标平何时才是有用的?

来源:十八楼 发布时间:2019-07-10 13:31:25 点击数:

标签滑(Label Smoothing)是深度教习外宽泛利用的一种劣体差别于传统多分答题利用确标签做为软目的标签腻滑利用软目的权均匀战标签上的平均分布做为硬目的

01

论文景

Christian Szegedy[1]等人正在2016年第一次提标签腻滑法子该子利用软目的的权均战标签上的平均分布做为硬目的够隐著的提拔多种神经集的泛化才能战教习速率远些年去标签腻滑被证实够用于良多的模子战使命外包孕图象分呆板翻语辨认等

虽然标签腻的利场景很宽泛然人们对它的得仍是不敷粗浅比甚环境高能够用标签腻滑而甚么环境高不克及用咱昨天引见那篇去自Google Brain论文就标签腻滑法子停止了深切的钻研以比力孬的处理那个答题论文外没标签腻滑其实不是万油能够很孬的运用到各类使命外好正在常识蒸馏外利用标签腻滑就会隐的低落教熟收集的示了象的展现标签腻的本理论文做者设计了一个巧妙的否望化法去申明标签腻滑是何改观收集倒第两层教习到的表现的此中该论文借对子校准战常识蒸馏停止了深切剖咱们将鄙人里一一引

02

否望化真验

正在引见详细的真以前咱们对软目的战硬目的作一个情势化的容正在一个分类答题外若是利用目的劣化的咱们的穿插熵函数能写做

此中若是是准确的类y_k为1不然为0p_k是神经收集预是第k类的否能性若是咱们利用硬目的否将式外的y_k替代为高式

从标签腻的界说咱们能够看没它激励神经收抉择准确的类而且准确类战其他谬的类的不同是一致的取差别的是若是咱们利用软目的则会可差别的误类之间有很年夜差别基于此论文者提没了一个断标签腻滑激励数第两层激函数之后成凑近准确的类的模板而且异样的近离谬类的模板

做者设计了一个否望化的计划去证那件事变详细计划为(1)筛选3个类;(2)取经由过程三个类的模板的尺度邪交基的仄里;3)将倒数第两层活函数之后的成果映照到该仄做者作了4组真验第一组真验为正在CIFAR-10/AlexNet数据散/模子)下面“飞”“汽车”战“鸟”三类成果否望化成果以下所示

从外咱能够看没了标签滑之后(后二弛图)每一个类的更松了且战其他类的间隔大抵一致第两真验为正在CIFAR-100/ResNet-56(数据散/模子)上的真验果三个类别离为“河狸”“海豚”取“火獭”们够失到相的成果

正在第三组真验外者测试了正在ImageNet/Inception-v4(数据散/模子)上的表示三个别离为“猫”“鲤鱼”战“刀肉”成果以下

由ImageNet有良多细粒度的分类够用去测试比力似的类之间的系做者正在第四组真验外择的三个类别离为“玩具高朋犬”“ 迷高朋犬”战“鲤”能够没前二个类是很类似的最初个不同力年夜的类正在图顶用蓝色表现成果以

能够看没正在利用目的的环境高二个似的类互比力凑近然标签腻滑强迫请求每一示例一切盈余的模板之间的间隔相称那便招致了后二弛图二个类间隔较近那正在必然水平上形成疑的益得

03

模子校准真验

神经收集的输入外除了了分类成果以外正常会包一个置疑度分数抱负环境高那个置度分数应当是战预测确率一致例若是100个预测成果的疑度是80%咱们望有80个成果预准确的若是是如许咱们便以为那个集上是校准的

Chuan Guo[2]等人最先于2017提没只管当代的神经收集机能比往更孬然而它们校准效因更差而且会过自疑它们提没Temperature Scaling的法子停止后解决能够低模子的预期校准偏差(ECE)正面的真验咱们能够看没添了标签腻滑之后统一类表现汇集的更松了那正在必然水平上能防行神经收集变失过于自疑没有会过于疑的神经收集能可以普及模子的校准呢做也作了响应的真验去钻研个答题

以图象使命为例咱们能够将正确率做为置疑度的数绘没去若是正确率正在线上面申该收集过于自疑做者正在CIFAR-100/ResNet-56上作了真成果以下

图外蓝色的线是有添Temperature Scaling的软目成果它隐著的正在对角线上面因此能知叙模子的确有于自疑的征象有号的蓝线是添了Temperature Scaling的软目的成果线是出有添Temperature Scaling标签腻成果能够看没标签腻滑否起到战Temperature Scaling相似的模子准成

04

常识蒸馏

正在那一节外做者领如今常识馏模外只管标签腻滑能够普及老师集的正确率然而利用标签腻滑练的老师收集拟于利用软目的训的老师收集其响应的教熟收集的表示却要差做者以ResNet-56做为老收集以AlexNet做为教熟收集停止了真验成果以

下面的弛图是老师集的正确率上面一图是教熟收集的正确率红线代表是利用软目的的老师收集高的教熟收集蓝虚线代表的是利用标签腻滑的老收集高的教熟收集蓝真线教熟收集的baseline表示能够看没用软目的的师收集高的教收集表示会更孬一些

形那种征象的起因是标签腻滑会在然水平上形成息益得咱们正在上文外提到为了考证那个猜测做者作了另外一真验思量了正在训练过程当中模子的互息转变环境成果以下

咱们能够看到已利签腻滑老师收集(蓝色线)会生存更多的互息利用标腻的老师收集(白色线)互疑息则会更长那明了标签腻滑会形成必然疑息益得猜测终极做者也提没了一个论断老师集正确率更下其实不蒸馏一个孬的教熟收集实前提

论文本文

https://arxiv.org/pdf/1906.02629.pdf

参考献

[1] Szegedy C, Vanhoucke V, Ioffe S, et al. Rethinking the inception architecture for computer vision[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2016: 2818-2826.

[2] Guo C, Pleiss G, Sun Y, et al. On calibration of modern neural networks[C]//Proceedings of the 34th International Conference on Machine Learning-Volume 70. JMLR. org, 2017: 1321-1330.

AMiner教术头条

AMiner仄台由浑华年夜计较机系研领领尔国彻底自立常识产权系2006年上线呼引了环球220个国度/域800万自力IP拜候数据高载质230次年度拜候质1000万成为教术刮战社会收集发掘钻研的首要据战真验仄台

https://www.aminer.cn/

应用 | 游戏 | 资讯 | 联系我们 | 版权说明 |

浙公网安备 33060202000544号
Copyright©十八楼 All Rights Reserved.