论文

Awesome - Most Cited Deep Learning Papers

Awesome

[注意]由于自2017年以来每天发布的大量深度学习论文,此列表不再维护.

最受推崇的深度学习论文的精选清单(2012-2016)

我们相信存在经典深度学习论文,无论其应用领域如何都值得阅读. 我们不想提供大量的论文,而是提供一份精选的深度学习论文,这些论文在某些研究领域被视为必读*.

Background

在此列表之前,还存在其他令人敬畏的深度学习列表,例如, Deep Vision and Awesome Recurrent Neural Networks . 此外,在此列表出来后,另一个深度学习初学者的精彩列表,称为 Deep Learning Papers Reading Roadmap,已被许多深度学习研究人员所创造和喜爱.

虽然路线图清单包含了许多重要的深度学习论文,但是对我来说,阅读它们感觉真是难以理解. 正如我在介绍中所提到的,我相信开创性的作品可以为我们提供课程,无论其应用领域如何. 因此,我想在这里介绍 100篇深度学习论文,作为深入学习深度学习的一个很好的起点.

要每天获取新发布的论文的新闻,请关注我 twitter 要么 facebook page!

Awesome list criteria

1.建议列出2012年至2016年发布的前100名深度学习论文. 2.如果在列表中添加了纸张,则应删除另一篇论文(通常来自2016年的“更多论文”部分)以保留前100篇论文.(因此,删除论文也是重要的贡献以及添加论文) 3.重要但未能列入清单的论文将列在超过前100名部分. 4.请参阅最近6个月或2012年之前发表的论文的新论文旧论文部分.

(引用标准) - < 6 months : New Papers (by discussion) - 2016 :+ 60引用或“2016年更多论文” - 2015 :+ 200引文 - 2014 :+ 400引用 - 2013 :+ 600引用 - 2012 :+800引用 - ~2012 旧论文(通过讨论)

请注意,我们更喜欢开创性的深度学习论文,可以应用于各种研究而不是应用论文. 出于这个原因,一些符合标准的论文可能不被接受而其他论文可能会被接受. 这取决于论文的影响,适用于其他研究领域的研究稀缺性等.

我们需要您的贡献!

如果您有任何建议(缺少论文,新论文,主要研究人员或拼写错误),请随时编辑并提出请求. (请阅读 contributing guide 有关进一步的说明,虽然只是让我知道论文的标题也可以对我们做出很大的贡献.)

(更新)您可以下载所有前100篇论文 this 并收集所有作者的姓名 this . 也, bib file 所有前100篇论文都可用. 谢谢,doodhwala, Sven and grepinsight!

  • Can anyone contribute the code for obtaining the statistics of the authors of Top-100 papers?

(超过前100名)


Understanding / Generalization / Transfer

Optimization / Training Techniques

Unsupervised / Generative Models

Convolutional Neural Network Models

Image: Segmentation / Object Detection

Image / Video / Etc

Natural Language Processing / RNNs

Speech / Other Domain

Reinforcement Learning / Robotics

More Papers from 2016


New papers

新发表的论文(<6个月)值得一读 - MobileNets:用于移动视觉应用的高效卷积神经网络(2017),Andrew G. Howard等. [[PDF]](https://arxiv.org/pdf/1704.04861.pdf) - 卷积序列到序列学习(2017),Jonas Gehring等. [[PDF]](https://arxiv.org/pdf/1705.03122) - 基于知识的神经对话模型(2017),Marjan Ghazvininejad等. [[PDF]](https://arxiv.org/pdf/1702.01932) - 准确,大型Minibatch SGD:1小时(2017年)培训ImageNet,Priya Goyal等. [[PDF]](https://research.fb.com/wp-content/uploads/2017/06/imagenet1kin1h3.pdf) - TACOTRON:迈向端到端语音合成(2017),Y.Wang等. [[PDF]](https://arxiv.org/pdf/1703.10135.pdf) - 深度照片风格转移(2017),F.Luan等. [[PDF]](http://arxiv.org/pdf/1703.07511v1.pdf) - 进化策略作为强化学习的可扩展替代方案(2017),T.Salimans等. [[PDF]](http://arxiv.org/pdf/1703.03864v1.pdf) - Deformable Convolutional Networks(2017),J.Dai et al. [[PDF]](http://arxiv.org/pdf/1703.06211v2.pdf) - Mask R-CNN(2017),K.He et al. [[PDF]](https://128.84.21.199/pdf/1703.06870) - 学习发现与生成对抗网络的跨域关系(2017),T.Kim等. [[PDF]](http://arxiv.org/pdf/1703.05192v1.pdf) - 深层语音:实时神经文本到语音转换(2017),S.Arik等,[[pdf]](http://arxiv.org/pdf/1702.07825v2.pdf) - PixelNet:像素的表示,像素和像素的表示(2017),A.Bansal等. [[PDF]](http://arxiv.org/pdf/1702.06506v1.pdf) - 批量重整化:为了减少批量标准化模型(2017年)中的小批量依赖性,S.Ioffe. [[PDF]](https://arxiv.org/abs/1702.03275) - Wasserstein GAN(2017),M.Arjovsky等. [[PDF]](https://arxiv.org/pdf/1701.07875v1) - 理解深度学习需要重新思考泛化(2017),C.Zhang等. [[PDF]](https://arxiv.org/pdf/1611.03530) - 最小二乘生成对抗网络(2016),X.Mao等. [[PDF]](https://arxiv.org/abs/1611.04076v2

Old Papers

HW / SW / Dataset

Book / Survey / Review

Video Lectures / Tutorials / Blogs

(Lectures) - CS231n,用于视觉识别的卷积神经网络,斯坦福大学[[网页]](http://cs231n.stanford.edu/) - CS224d,斯坦福大学自然语言处理深度学习[[网页]](http://cs224d.stanford.edu/) - Oxford Deep NLP 2017,自然语言处理深度学习,牛津大学[[网页]](https://github.com/oxford-cs-deepnlp-2017/lectures

(Tutorials) - NIPS 2016教程,长滩[[网页]](https://nips.cc/Conferences/2016/Schedule?type=Tutorial) - ICML 2016教程,纽约[[网页]](http://techtalks.tv/icml/2016/tutorials/) - ICLR 2016视频,圣胡安[[网页]](http://videolectures.net/iclr2016_san_juan/) - 深度学习暑期学校2016,蒙特利尔[[网页]](http://videolectures.net/deeplearning2016_montreal/) - 2016年湾区深度学习学校,斯坦福[[网页]](https://www.bayareadlschool.org/

(Blogs) - OpenAI [[网页]](https://www.openai.com/) - 蒸馏[[网页]](http://distill.pub/) - Andrej Karpathy博客[[网页]](http://karpathy.github.io/) - Colah的博客[[网页]](http://colah.github.io/) - WildML [[Web]](http://www.wildml.com/) - FastML [[web]](http://www.fastml.com/) - TheMorningPaper [[web]](https://blog.acolyer.org

Appendix: More than Top 100

(2016) - 没有用于神经机器翻译的明确分割的字符级解码器(2016),J.Chung等. [[PDF]](https://arxiv.org/pdf/1603.06147) - 皮肤病学家级皮肤癌分类与深度神经网络(2017),A.Esteva等. [[HTML]](http://www.nature.com/nature/journal/v542/n7639/full/nature21056.html) - 使用多重多实例学习的弱监督对象定位(2017),R.Gokberk等. [[PDF]](https://arxiv.org/pdf/1503.00949) - 使用深度神经网络进行脑肿瘤分割(2017),M.Havaei等. [[PDF]](https://arxiv.org/pdf/1505.03540) - 教授强迫:一种新的训练递归网络的算法(2016),A.Lamb等. [[PDF]](https://arxiv.org/pdf/1610.09038) - 对抗性学习推理(2016),V.Dumoulin等. [网络]](https://ishmaelbelghazi.github.io/ALI/)[[PDF]](https://arxiv.org/pdf/1606.00704v1) - 了解卷积神经网络(2016),J.Koushik [[pdf]](https://arxiv.org/pdf/1605.09081v1) - 将人类排除在外:关于贝叶斯优化的综述(2016),B.Shahriari等. [[PDF]](https://www.cs.ox.ac.uk/people/nando.defreitas/publications/BayesOptLoop.pdf) - 递归神经网络的自适应计算时间(2016),A.Graves [[pdf]](http://arxiv.org/pdf/1603.08983) - 密集连接的卷积网络(2016),G.Huang等. [[PDF]](https://arxiv.org/pdf/1608.06993v1) - 用于精确物体检测和分割的基于区域的卷积网络(2016),R.Girshick等. - 基于模型加速的连续深度q学习(2016),S.Gu等. [[PDF]](http://www.jmlr.org/proceedings/papers/v48/gu16.pdf) - 彻底检查cnn /每日邮件阅读理解任务(2016年),D.陈等人. [[PDF]](https://arxiv.org/pdf/1606.02858) - 使用混合词 - 字符模型实现开放式词汇神经机器翻译,M.Luong和C. Manning. [[PDF]](https://arxiv.org/pdf/1604.00788) - 用于自然语言处理的非常深的卷积网络(2016),A.Conneau等. [[PDF]](https://arxiv.org/pdf/1606.01781) - 一系列有效文本分类技巧(2016),A.Joulin等. [[PDF]](https://arxiv.org/pdf/1607.01759) - 用于语义分割的深层结构模型的高效分段训练(2016),G.Lin等. [[PDF]](http://www.cv-foundation.org/openaccess/content_cvpr_2016/papers/Lin_Efficient_Piecewise_Training_CVPR_2016_paper.pdf) - 学习构建用于问答的神经网络(2016),J.Andreas等. [[PDF]](https://arxiv.org/pdf/1601.01705) - 实时风格转移和超分辨率的感知损失(2016),J.Johnson等. [[PDF]](https://arxiv.org/pdf/1603.08155) - 使用卷积神经网络阅读野外文本(2016),M.Jaderberg等. [[PDF]](http://arxiv.org/pdf/1412.1842) - 什么是有效的检测建议? (2016),J.Hosang等. [[PDF]](https://arxiv.org/pdf/1502.05082) - 内外网:使用跳过池和循环神经网络检测上下文中的对象(2016),S.Bell等. [[PDF]](http://www.cv-foundation.org/openaccess/content_cvpr_2016/papers/Bell_Inside-Outside_Net_Detecting_CVPR_2016_paper.pdf). - 通过多任务网络级联的实例感知语义分段(2016),J.Dai等. [[PDF]](http://www.cv-foundation.org/openaccess/content_cvpr_2016/papers/Dai_Instance-Aware_Semantic_Segmentation_CVPR_2016_paper.pdf) - 使用pixelcnn解码器生成条件图像(2016),A.van den Oord等. [[PDF]](http://papers.nips.cc/paper/6527-tree-structured-reinforcement-learning-for-sequential-object-localization.pdf) - 具有随机深度的深度网络(2016),G.Huang等,[[pdf]](https://arxiv.org/pdf/1603.09382) - 随机梯度Langevin动力学的一致性和波动(2016),Yee Whye Teh等. [[PDF]](http://www.jmlr.org/papers/volume17/teh16a/teh16a.pdf

(2015) - 询问你的神经元:一种基于神经的方法来回答关于图像的问题(2015),M.Malinowski等. [[PDF]](http://www.cv-foundation.org/openaccess/content_iccv_2015/papers/Malinowski_Ask_Your_Neurons_ICCV_2015_paper.pdf) - 探索图像问答的模型和数据(2015),M.Ren等. [[PDF]](http://papers.nips.cc/paper/5640-stochastic-variational-inference-for-hidden-markov-models.pdf) - 你在和机器说话吗? 用于多语言图像问题的数据集和方法(2015),H.Gao等. [[PDF]](http://papers.nips.cc/paper/5641-are-you-talking-to-a-machine-dataset-and-methods-for-multilingual-image-question.pdf) - Mind's eye:图像标题生成(2015)的反复视觉表现,X.Chen和C. Zitnick. [[PDF]](http://www.cv-foundation.org/openaccess/content_cvpr_2015/papers/Chen_Minds_Eye_A_2015_CVPR_paper.pdf) - 从字幕到视觉概念和背面(2015),H.Fang等. [[PDF]](http://www.cv-foundation.org/openaccess/content_cvpr_2015/papers/Fang_From_Captions_to_2015_CVPR_paper.pdf). - 迈向AI完整的问题回答:一系列必备玩具任务(2015年),J.Weston等. [[PDF]](http://arxiv.org/pdf/1502.05698) - 问我任何事情:用于自然语言处理的动态记忆网络(2015),A.Kumar等人. [[PDF]](http://arxiv.org/pdf/1506.07285) - 使用LSTM的无监督学习视频表示(2015),N.Srivastava等. [[PDF]](http://www.jmlr.org/proceedings/papers/v37/srivastava15.pdf) - 深度压缩:使用修剪,训练量化和霍夫曼编码压缩深度神经网络(2015),S.Han等. [[PDF]](https://arxiv.org/pdf/1510.00149) - 改进了树状结构长短期记忆网络的语义表示(2015),K.Tai等人. [[PDF]](https://arxiv.org/pdf/1503.00075) - 字符感知神经语言模型(2015),Y.Kim等. [[PDF]](https://arxiv.org/pdf/1508.06615) - 语法作为外语(2015),O.Vinyals等. [[PDF]](http://papers.nips.cc/paper/5635-grammar-as-a-foreign-language.pdf) - 信托区政策优化(2015),J.Schulman等. [[PDF]](http://www.jmlr.org/proceedings/papers/v37/schulman15.pdf) - 超短片段:用于视频分类的深层网络(2015)[[pdf]](http://www.cv-foundation.org/openaccess/content_cvpr_2015/papers/Ng_Beyond_Short_Snippets_2015_CVPR_paper.pdf) - 学习用于语义分割的反卷积网络(2015),H.Noh等. [[PDF]](https://arxiv.org/pdf/1505.04366v1) - Learning spatiotemporal features with 3d convolutional networks (2015), D. Tran et al. [pdf] - 通过深度可视化理解神经网络(2015),J.Yosinski等. [[PDF]](https://arxiv.org/pdf/1506.06579) - 对经常性网络架构的实证探索(2015),R.Jozefowicz等. [[PDF]](http://www.jmlr.org/proceedings/papers/v37/jozefowicz15.pdf) - 使用对侧网络的拉普拉斯金字塔的深层生成图像模型(2015),E.Denton等. [[PDF]](http://papers.nips.cc/paper/5773-deep-generative-image-models-using-a-laplacian-pyramid-of-adversarial-networks.pdf) - 门控反馈回归神经网络(2015),J.Chung等. [[PDF]](http://www.jmlr.org/proceedings/papers/v37/chung15.pdf) - 通过指数线性单位(ELUS)快速准确地进行深度网络学习(2015),D.Clevert等. [[PDF]](https://arxiv.org/pdf/1511.07289.pdf%5Cnhttp://arxiv.org/abs/1511.07289%5Cnhttp://arxiv.org/abs/1511.07289) - 指针网络(2015),O.Vinyals等. [[PDF]](http://papers.nips.cc/paper/5866-pointer-networks.pdf) - 可视化和理解循环网络(2015),A.Karpathy等. [[PDF]](https://arxiv.org/pdf/1506.02078) - 基于注意力的语音识别模型(2015),J.Chorowski等. [[PDF]](http://papers.nips.cc/paper/5847-attention-based-models-for-speech-recognition.pdf) - 端到端存储器网络(2015),S.Sukbaatar等. [[PDF]](http://papers.nips.cc/paper/5846-end-to-end-memory-networks.pdf) - 利用时间结构描述视频(2015),L.Yao等. [[PDF]](http://www.cv-foundation.org/openaccess/content_iccv_2015/papers/Yao_Describing_Videos_by_ICCV_2015_paper.pdf) - 神经对话模型(2015),O.Vinyals和Q. Le. [[PDF]](https://arxiv.org/pdf/1506.05869.pdf) - 通过从嵌入词中学到的经验改善分布相似性,O.Levy等. [[pdf]](https://www.transacl.org/ojs/index.php/tacl/article/download/570/124) - 基于过渡的依赖性解析与堆栈长短期记忆(2015),C.Dyer等. [[PDF]](http://aclweb.org/anthology/P/P15/P15-1033.pdf) - 通过使用LSTM建模字符而不是单词来改进基于过渡的解析(2015),M.Ballesteros等. [[PDF]](http://aclweb.org/anthology/D/D15/D15-1041.pdf) - 查找形式函数:开放词汇表单表示的组合字符模型(2015),W.Ling等. [[PDF]](http://aclweb.org/anthology/D/D15/D15-1176.pdf

(~2014) - DeepPose:通过深度神经网络进行人体姿态估计(2014),A.Toshev和C. Szegedy [[pdf]](http://www.cv-foundation.org/openaccess/content_cvpr_2014/papers/Toshev_DeepPose_Human_Pose_2014_CVPR_paper.pdf) - 学习用于图像超分辨率的深度卷积网络(2014年,C.Dong等人[[pdf]](https://www.researchgate.net/profile/Chen_Change_Loy/publication/264552416_Lecture_Notes_in_Computer_Science/links/53e583e50cf25d674e9c280e.pdf) - 视觉注意的循环模型(2014),V.Mnih等. [[PDF]](http://arxiv.org/pdf/1406.6247.pdf) - Empirical evaluation of gated recurrent neural networks on sequence modeling (2014), J. Chung et al. [pdf] - 解决神经机器翻译中罕见的单词问题(2014),M.Luong等. [[PDF]](https://arxiv.org/pdf/1410.8206) - 关于神经机器翻译的特性:编码器 - 解码器方法(2014),K.Cho等. 人. - 递归神经网络正则化(2014),W.Zaremba等. [[PDF]](http://arxiv.org/pdf/1409.2329) - 神经网络的迷人属性(2014),C.Szegedy等. [[PDF]](https://arxiv.org/pdf/1312.6199.pdf) - 采用递归神经网络进行端到端语音识别(2014),A.Graves和N. Jaitly. [[PDF]](http://www.jmlr.org/proceedings/papers/v32/graves14.pdf) - 使用深度神经网络的可扩展对象检测(2014),D.Erhan等. [[PDF]](http://www.cv-foundation.org/openaccess/content_cvpr_2014/papers/Erhan_Scalable_Object_Detection_2014_CVPR_paper.pdf) - 关于初始化和动力学在深度学习中的重要性(2013),I.Sutskever等. [[PDF]](http://machinelearning.wustl.edu/mlpapers/paper_files/icml2013_sutskever13.pdf) - 使用dropconnect定量神经网络(2013),L.Wan等. [[PDF]](http://machinelearning.wustl.edu/mlpapers/paper_files/icml2013_wan13.pdf) - 学习场景标签的层次特征(2013),C.Farabet等. [[PDF]](https://hal-enpc.archives-ouvertes.fr/docs/00/74/20/77/PDF/farabet-pami-13.pdf) - Linguistic Regularities in Continuous Space Word Representations (2013), T. Mikolov et al. [pdf] - 大规模分布式深度网络(2012),J.Dean等. [[PDF]](http://papers.nips.cc/paper/4687-large-scale-distributed-deep-networks.pdf) - A Fast and Accurate Dependency Parser using Neural Networks. Chen and Manning. [pdf]

Acknowledgement

感谢您的所有贡献. 请务必阅读 contributing guide 在你提出拉动请求之前.

License

CC0

在法律允许的范围内, Terry T. Um 已放弃对此作品的所有版权及相关或相邻权利.