“从去年的8,到今年的100+层,甚至1000层也可以训练。
在2013年的视角来看,这一剂猛药应该够劲了。”
不仅是深度上取得了开创性的突破,ResNet的性能也同样惊人。
它是第一个Top-5错误率低于人类能力的结构,单模型达到了4.6%左右。
如果综合几个不同方式训练的ResNet,平均他们的输出再去预测的话,其TOP-5错误率甚至低至3.7%。
“其实在IMAGENET上做得太准了反而是一件怪事。”
考虑到后世的研究中,该数据集中的标签其实有不小的比例是错误的,越贴近百分之百的准确率反而越有一些荒诞的感觉。
ResNet的Res指residual,正经点说是残差,说得明白一些是一种短路或者是跳跃链接。
();() 再说的浅显一点,假设原本的操作为f(x),ResNet就是把计算过程从f(x)改为f(x)+x。
这也是孟繁岐最早与付院长讨论的内容之一。
这种不带任何参数的支路链接,直接把操作前的内容加到操作后的内容上,是深度网络突然能够在上千层的深度下收敛的秘密所在。
在此之后的几乎所有AI文章,都很难绕得开这个思路。
恺明本人单就这一篇文章,就在六七年的时间内收获了十五六万的文章引用。
不得不说这是一个天文数字。
要知道即便是NatureCellScience三大世界级顶刊常客,著名华国美国双料科学院士抽出一个来,至今为止所有文章的总引用数量加在一起五万多都算是多的了。
当然了,单以论文被引用的次数来评价文章的水平和作者的水平是有失偏颇的。
很多基本学科曲高和寡,看得人少写得人也少。
引用自然就上不去。
但就AI这个实用性实验性比较强的学科来说,内部去对比的话,引用的多少含金量还是相当之高的。
大家只会用代码投票,有价值的东西会一直迭代下去。
有利于自己模型在任务上性能提升的技术,则会被一直引用下去。
学术界一直有这样的说法,搞理论的和搞实验的两边相互看不起。
这倒也不是无中生有。
恺明凭借几篇代表作奠定自己历史地位后,就总有个别人喜欢说什么“ResNet的思想早就有人提过了”
,“几十年前的东西不算什么新东西”
,“这篇文章也就是流量大罢了,和流量明星是一样的”
。
酸味都要溢出屏幕了。
孟繁岐不是没读过一些理论类的文章,但他个人觉得新时代的AI,P话谁都会说,代码写出来才是本事。
你说几十年前就有的东西,怎么不写一个ResNet突破人类水准呢?
ResNet的核心代码难写吗?不难的。
基于阿里克斯的框架,只需几个小时的时间,他就可以基本复现出ResNet论文中的所有结构。
弱小和无知不是生存的障碍,傲慢才是。
最火爆畅销书大山中走出来的叶凡重回都市,却在意外中获取神秘系统,从此走上了不归路。...
资质平平和长生不死两种属性加身,陈生只想大喊一句三十年河东,三十年河西,莫欺老年穷。当宗门天骄崛起的时候,陈生还活着。当宗门天骄晋升长老的时候,陈生还活着。当宗门天骄寿终正寝的时候,陈生还活着。活着,熬成老前辈,他就能对小辈指手画脚,以大欺小了。悠悠岁月。江山代有才人出,各领风骚数百年,而陈生长驻光阴岁月不死不灭,淡看天骄起起落落,超然物外。...
...
拥抱黑夜,等待黎明,末世当前,除了肆虐的丧尸,还有被无限放大的人性。人,可能比面前这些丧尸还要可怕...
新元历2166年,我所在的十七区被评为联邦最差地区。居高不下的失业率。逐步飙升的失踪人口。天价悬赏犯层出不穷。人们说,执法者是这个星球上最危险的职业。而我,不幸成为了执法者。...
啥?身为王牌军医的我穿越了,但是要马上跟着王爷一起下葬?还封棺两次?你们咋不上天呢!司夜云掀开棺材板,拳拳到肉干翻反派们。躺在棺材板里的轩辕靖敲敲棺材盖开棺,王妃说本王还有救!各位书友要是觉得来人开棺王妃说本王还有救还不错的话请不要忘记向您QQ群和微博里的朋友推荐哦!来人开棺王妃说本王还有救...