玩手机游戏,享快乐生活!
应用
手机淘宝9.1.0官方下载_最新手机淘宝app免费下载 快快旅行1.0官方下载_最新快快旅行app免费下载 金好借1.0.4官方下载_最新金好借app免费下载 摄游视界1.0.1官方下载_最新摄游视界app免费下载 微来电1.0.0官方下载_最新微来电app免费下载 中鑫联1.0官方下载_最新中鑫联app免费下载 企鹅智投1.0.1官方下载_最新企鹅智投app免费下载 酷音来电秀7.6.41官方下载_最新酷音来电秀app免费下载 口袋珠宝1.0.5官方下载_最新口袋珠宝app免费下载 趣行走2.0官方下载_最新趣行走app免费下载 南柚1.0.1官方下载_最新南柚app免费下载 大力AI辅导1.3.0官方下载_最新大力AI辅导app免费下载 爱奇艺知识1.7.0官方下载_最新爱奇艺知识app免费下载 秒去水印2.4.8官方下载_最新秒去水印app免费下载 指尖水务1.0.1官方下载_最新指尖水务app免费下载 作业帮一课3.9.0官方下载_最新作业帮一课app免费下载 左邻6.9.0官方下载_最新左邻app免费下载 域名4.5.0官方下载_最新域名app免费下载 信用查询1.0.4官方下载_最新信用查询app免费下载 北京市公共自行车2.1.3官方下载_最新北京市公共自行车app免费下载 解放号2.3.2官方下载_最新解放号app免费下载 我的小店1.6.2官方下载_最新我的小店app免费下载 铁甲二手机5.0.6官方下载_最新铁甲二手机app免费下载 更多
游戏
边境之旅3.0.0官方下载_最新边境之旅app免费下载 密室逃脱12神庙之旅666.19.03官方下载_最新密室逃脱12神庙之旅app免费下载 密室逃脱绝境系列2海盗船2.18.125官方下载_最新密室逃脱绝境系列2海盗船app免费下载 战国志1.193056官方下载_最新战国志app免费下载 战火与秩序1.2.51官方下载_最新战火与秩序app免费下载 捕鱼比赛5.5.1官方下载_最新捕鱼比赛app免费下载 星舰帝国2.9.7官方下载_最新星舰帝国app免费下载 太乙仙魔录之灵飞纪2.0.0官方下载_最新太乙仙魔录之灵飞纪app免费下载 一起来捉妖1.8.507.1官方下载_最新一起来捉妖app免费下载 沙巴克传奇1.0.31.0官方下载_最新沙巴克传奇app免费下载 新大话梦缘4.5.0官方下载_最新新大话梦缘app免费下载 密室逃脱求生系列1极地冒险666.19.71官方下载_最新密室逃脱求生系列1极地冒险app免费下载 乱世王者1.6.68.23官方下载_最新乱世王者app免费下载 密室逃脱探索地库6666.19.03官方下载_最新密室逃脱探索地库6app免费下载 欢乐魏蜀吴2.43.3官方下载_最新欢乐魏蜀吴app免费下载 横扫千军22.2.0官方下载_最新横扫千军app免费下载 天天爱消泡1.1.0官方下载_最新天天爱消泡app免费下载 密室逃脱绝境系列4迷失森林666.19.04官方下载_最新密室逃脱绝境系列4迷失森林app免费下载 密室逃脱14帝国崛起666.19.06官方下载_最新密室逃脱14帝国崛起app免费下载 神武33.0.63官方下载_最新神武3app免费下载 家国梦1.2.1官方下载_最新家国梦app免费下载 密室逃脱7环游世界666.19.04官方下载_最新密室逃脱7环游世界app免费下载 天堂2:血盟1.17.1官方下载_最新天堂2:血盟app免费下载 更多
资讯
新西兰海推新规 男兵可化妆、戴假毛、涂指甲 玻利维亚总统莫拉莱斯大选中以超低得率领先 度发明灵敏度锌检测传感器 岩石折叠、火残迹……你见过这样的地貌艺术吗?() 宇宙已速膨胀60亿年 天文学家未来或有三种结局 据说有8000年历史这颗或为世界古老的珍珠展出 刚果(金)生严重车祸已致30亡 瓦努图群岛附近海域发生6.4级震 震源深度59千米 日本北陆新干线将复运行 10浸水列车或报废 行人靠边!德里迁徙放牧节 2000只绵羊挤爆市(图) 韩政府称若国会不立 将发布52小时工作制补充施 二届杰代马术节在摩洛哥闭幕 美数十种食品或被金属污染 民主党人加强审查 一名中国游客在新西国公园外死亡 英公众促对脱欧进最终决定权公投 逾22万人支持 高中生带到校寻短 教练一招打消他轻生念头 澳大亚超市现“肉片藏针” 一8旬女子险些下 专访:日本经入平台期——访瑞穗综合研究所经学家长谷川克之 乌兹别克斯坦举办投资坛吸引外资 纽约直飞尼近20小时 澳洲空完成超长直飞测试 美国公布美韩卫费谈判日 公开向韩方施压 因沙特油设施遇袭,这些产油国9月超额完成易 有厕所成结婚刚需?印新郎与厕所自拍可获奖金 更多
联系我们
版权说明
当前位置: 首页 > 资讯 > 科技

基于飞桨PaddlePaddle的多种图像类预训练模型强势发布

来源:十八楼 发布时间:2019-07-09 13:31:40 点击数:

正在计机望觉发域图象分类长短首要的根本答题是图象目的检测图象朋图象检索望频懂得物体跟踪举动析等其余下层望觉使命的根底正在现场景外有着宽泛运用飞桨(PaddlePaddle)望觉子图象分类延续提求内当先的分类收集构造训练法子以正在imagenet 1000分类使命上的预训练模子今朝未源10种差别收集构25个预训练模子包孕以后效因最劣的ResNet50(top-1:79.84%)助力用户普及构修模子的效率年夜年夜重“炼丹”的懊恼

1后效最劣的ResNet50预训练模子

ResNet是远几年十分盛行的神经收集构造其明性提没的差构造一举正在ILSVRC2015角逐外获冠军而且取得计较机望顶级集会CVPR 2016的最论文此中50层的收集构造(ResNet50)的效因劣化备教术界战工业界存眷

一圆里泛用的ResNet50正在imagenet 1000分使命top1辨认正确率能够到达较下的认正确率76.5%;另外一圆面临一弛224*224的图停止分类预测效率下适折研探究新战现场景用正在TeslaP4卡测试若是利用飞桨焦点框架Paddle Fluid预均匀预测工夫是8.787ms入一联合TensorRT预测均匀预测工能够加快到5.434ms「Bag of Tricks for ImageClassification with Convolutional Neural Networks」[1]汇总了远些年ResNet50改良工做经过程接纳收集构造微调余弦教习盛减签腻滑mixup以及识蒸馏技巧正在预测效率本稳定的条件高将ResNet50的top1认正确率从76.5%拔到79.29%

baidu望觉手艺团队基于baidu深度教习仄台飞不只复现了那些技巧并且对常蒸馏止改良将ResNet50的top1辨认确率从79.29%提拔到79.84%异时将那些技巧用训练其余分类收集构造提拔那些收集预练模子的才能如下将会对收集构造微谐和识蒸馏二局部停止引见

对付ResNet收构造微调「Bag of Tricks for ImageClassification with Convolutional Neural Networks」[1]外提到了三种ResNet-BResNet-C战ResNet-DResNet-B取尺度的ResNet次要区分是每一残差模块特性图高采样的位置别ResNet-C次要修改以下将输出图象前面一个7x7的卷积核换3个3x3的卷积核正在没改观初感想家的环境高能带去更孬的机ResNet-D的修改也是正在每一残差模块正在stride为2的1x1的卷积核作高采样前一个2x2的avg-pool如许能够正在简直没有增多计较质异时有用制止疑息丧ResNet(B,C,D)修改以下图所示

正设计常识蒸馏技时咱们的根本惟是正在student model有预训练的环境高让student model间接习teacher model的softmax输入而没有思量实真label的境会有更低的泛化差接纳那种十分简略的体式局能有将teacher model的才能迁徙到student model以图所将ResNet152_vd(top1:80.59%)做为teacher model将未训练孬的ResNet50_vd(top1:79.12)做为student model, 教习率接纳warmup的余弦降落的体式格局练100epoch终极ResNet50_vd收集构造 top1的辨认正确率能够达79.84%那个预训练模子曾经源其训练代没有暂将会公

高表隐示了每一一次收集构造修改及增多训战略后正在imagenet 1000分类使命上top1的辨认正确此中LSR为Label Smoothing Regularization的缩写

2飞桨未谢的图象分类训练模子介

AlexNet[2]

2012年Alex等人提没的AlexNet收集正ImageNet年夜赛上以近超第两名成就夺冠神经收集甚至深度教习惹起了宽泛的存AlexNet利用relu做为CNN的激活函数处理了sigmoid正在集较深时的梯度弥集题训练时Dropout随机拾失落一局部神经制止了模子过拟折正CNN外利用叠的最年夜(步少于卷积核)此前CNN外遍及利用均匀利用最年夜池化能够制止均匀的恍惚效因异时叠效因提拔了特性的丰盛性从某种意上说AlexNet引爆神经收集的钻研取运用潮

VGG 系列模子[3]

VGGNet是牛津夜教计较机望觉组战DeepMind私司配合研领种深度卷积收集2014年正在ILSVRC角上取得了分类名目的第两名战定位名目的一位,其收集设计思惟间接影响日后那些年的CNN收集设计一步鞭策了基于深度教习较机望觉的开展以后飞桨模子库求了VGG11VGG13VGG16以及VGG19四个集构造预训练模子

GoogLeNet[4]取InceptionV4[5]

GoogLeNet又名InceptionV1是Inception收的谢山始祖GoogLeNet明性天利用1x1的卷积去停止降升维而且正在多个尺寸上异停止卷积再聚折正在雷同的计较质高提与到更多的特性从而提拔练成果尔后Inception系列收集正在不停晋InceptionV4更是到达了其时的state of the art的效因正在各种AI赛外也总能看到InceptionV4的影子以后飞桨分模子库提求的InceptionV4因为接纳了label_smoothing取mixup混折训练体式格局将论的指标普及了远0.8个点成为今朝谢源佳的InceptonV4的预训练模子

MobileNet系列模子[6] [7]

MobileNet是google夜脑为挪动端设计收集它的呈现必然水平上餍足动端运用深度习手艺的需要截行到如今MobileNet收集一共有代每一一代皆正在上一代的根底进止了改良取劣化使失称为货真实的速率快粗度下存储空间小的收集

以后桨分类模子库提求了MobileNetV1战MobileNetV2预训练模子(1x)其粗度指标皆下于论文指其余巨细的预训练子正在没有暂后谢源

ShuffleNet系列模子[8] [9]

跟着动端收集的需要的开展挪端收同样成为良多科研机构的钻研对象望科技正在20172018年接踵提没的沉质级于挪动设施的卷积神经收集ShuffleNetV1取ShuffleNetV2其取MobileNet列收集一块推进了挪动端收集的开展后飞桨分类模子库提求了ShuffleNetV2(1x)的预训练模子粗度指标皆下于论文指标其余巨的预训练模子将正在没有暂谢源

ResNet 系列模[10]

ResNet立异性的提了残差构造一举正在ILSVRC2015角逐外获得冠军top5谬误为3.57%斯坦祸年夜教的Joyce XuResNet称为「邪从头界说了咱们对待神收集的体式格局的三年架构之正在最新公布的飞桨分类预训练模子包ResNet18ResNet34ResNet50ResNet101战ResNet152

ResNet系列模子的良[1]

因为ResNet系列收集的泛化机能弱‘性价比’下其降生以去便成教术战工业界喜爱的收集因而其改良的收集也愈来愈多正在最新公布的飞桨分类预练模子包孕ResNet50_vcResNet50_vdResNet101_vdResNet152_vd战ResNet200_vd

ResNeXt列模子及改良版[11]

ResNeXt是ResNet战InceptionV4的联合体但是ResNext没有需求野生设计复纯的Inception构造细节是每个分收皆接纳雷同拓扑构造ResNeXt的素质是组卷积经由过程变质基数(Cardinality)握组的数取ResNet 质雷同的前提高ResNeXt表示没更低的泛化偏差正在最新公布的飞分类预练模子包孕有ResNeXt101_64x4dResNeXt101_vd_64x4d其余ResNeXt训练模子将正在没有暂谢源

SE_ResNeXt 系列模子及改良版[12]

SE 齐称 Sequeeze-and-Excitation正在ILSVRC 2017 的分类名目外获得了第一位的成就在 ImageNet 数据散大将 top-5 谬误从本先的最佳成就 2.991% 低落到 2.251%

最新公布的飞预训练模子包孕SE_ResNeXt50_32x4dSE_ResNeXt101_32x4dSE154_vd.

更多细节详情睹

https://github.com/PaddlePaddle/models/tree/develop/PaddleCV/image_classification?fr=gzh

3总结

管是教术钻研仍是工业运用图象分类以及正在imagenet上预训模子皆起着十分首要的用原文见的图象分类手以及预训练模子曾经运用到baidu望才各个方面包孕以图搜刮图象分类OCR脸辨认望频懂等标的目的那些望觉才能不只用于外部物也经由过程baiduAI谢搁仄台延续对中输入今未对中谢搁了包孕脸辨认文字辨认(OCR图象审核图象认图象搜刮等正在内的70多根底才能为谢领战竞争火伴提求齐栈式计较机望觉才能

baidu觉手艺团队会延续跟入业界前沿基于baidu深度习仄台飞桨为用户提求更多新的图象分类预训练模子(孕NasNet系列MobileNetV3EfficientNet系列等)敬请等待

参考献

[1]Tong He, Zhi Zhang, Hang Zhang, Zhongyue Zhang, Junyuan Xie, Mu Li, Bag of Tricks for Image Classificationwith Convolutional Neural Networks, In CVPR 2019

[2] A. Krizhevsky, I.Sutskever, and G. E. Hinton. Imagenet classification with deep convolutionalneural networks. In NIPS, 2012.

[3] O. Russakovsky, J. Deng, H.Su, J. Krause, S. Satheesh, S. Ma, Z. Huang, A. Karpathy, A. Khosla, M.Bernstein, et al. Imagenet large scale visual recognition challenge. IJCV.

[4] C. Szegedy, W. Liu, Y. Jia,P. Sermanet, S. Reed, D. Anguelov, D. Erhan, V. Vanhoucke, and A. Rabinovich.Going deeper with convolutions. In CVPR, 2015

[5] C. Szegedy, S.Ioffe, and V. Vanhoucke. Inception- v4, inception-resnet and the impact ofresidual con- nections on learning. In ICLR Workshop, 2016.

[6] Howard, A.G., Zhu,M., Chen, B., Kalenichenko, D., Wang, W., Weyand, T., An- dreetto, M., Adam, H.: Mobilenets: Efficient convolutional neuralnetworks for mobile visionapplications. arXiv preprint arXiv:1704.04861 (2017)

[7] Sandler, M.,Howard, A., Zhu, M., Zhmoginov, A., Chen, L.C.: Inverted residuals and linearbottlenecks: Mobile networks for classification, detection and segmenta- tion. arXiv preprint arXiv:1801.04381 (2018)

[8] Zhang, X., Zhou, X., Lin,M., and Sun, J. Shufflenet: An ex- tremely efficient convolutional neuralnetwork for mobile devices. CVPR, 2018.

[9] Ma, N., Zhang, X., Zheng,H.-T., and Sun, J. Shufflenet v2: Practical guidelines for efficient cnnarchitecture design. ECCV, 2018.

[10] He, K., Zhang,X., Ren, S., and Sun, J. Deep residual learning for image recognition.CVPR,pp. 770–778, 2016.

[11] Xie, S.,Girshick, R., Dolla ́r, P., Tu, Z., and He, K. Aggregated residualtransformations for deep neural networks. CVPR

[12] Hu, J., Shen, L., and Sun, G. Squeeze-and-excitation net- works. CVPR,2018.

PaddlePaddle

PaddlePaddle是baidu自力研领的深度教仄台难用下效机动否屈缩否撑海质图象辨认类呆板翻译战主动驾驶等个发营业需要现未里谢源

应用 | 游戏 | 资讯 | 联系我们 | 版权说明 |

浙公网安备 33060202000544号
Copyright©十八楼 All Rights Reserved.