Deep Learning（深度学习）学习笔记整理
½者：Zouxy
version 1.0
目½：
一、概述
二、背景
三、人脑视觉机理
四、关于特征
4.1、特征表示的粒度
4.2、初级（浅层）特征表示
4.3、结构性特征表示
4.4、需要有多少个特征？
五、Deep
Learning
的基本思想
六、浅层学习（Shallow
Learning）和深度学习（Deep Learning）
七、Deep
learning
与
Neural Network
2013-04-08
八、Deep
learning
训练过程
8.1、传统神经½络的训练方法
8.2、deep learning
训练过程
九、Deep
Learning
的常用模型或者方法
9.1、AutoEncoder
自动编码器
9.2、Sparse Coding
稀疏编码
9.3、Restricted Boltzmann Machine(RBM)限制波尔兹曼机
9.4、Deep BeliefNetworks
深信度½络
9.5、Convolutional Neural Networks
卷积神经½络
十、总结与展望
十一、参考文献和
Deep Learning
学习资源
一、概述
Artificial Intelligence，也就是人工智½，就像长生不老和星际
漫游一样，是人类最美½的梦想之一。½然计算机技术已经取得了长足
的进步，½是到目前为止，还没有一台电脑½产生“自我”的意识。
是
的，在人类和大量现成数据的帮助下，电脑可以表现的十分强大，½是
离开了这两者，它甚至½不½分辨一个喵星人和一个汪星人。
图灵（图灵，大家½知道吧。计算机和人工智½的鼻祖，分别
对应于其著名的“图灵机”和“图灵测试”）在
1950
年的论文里，
提
出图灵试验的设想，即，隔墙对话，½将不知道与½谈话的，是人还是
电脑。这无疑给计算机，尤其是人工智½，预设了一个很高的期望值。
½是半个世纪过去了，
人工智½的进展，
远远没有达到图灵试验的标准。
这不仅让多年翘首以待的人们，心灰意冷，认为人工智½是½悠，相关
领域是“伪科学”。
½是自
2006
年以来，机器学习领域，取得了突破性的进展。
图灵试验，至少不是那么可望而不可及了。至于技术手段，不仅仅依赖
于云计算对大数据的并行处理½力，而且依赖于算法。这个算法就是，
Deep Learning。借助于 Deep Learning
算法，人类终于找到了如½处
理“½象概念”这个亘古难题的方法。
2012年6月，
《½约时报》披露了
Google Brain
项目，吸引了公
众的广泛关注。这个项目是由著名的斯坦福大学的机器学习教授
Andrew Ng
和在大规模计算机系统方面的世界顶尖专家
JeffDean
共同
主导，用16000个
CPU Core
的并行计算平台训练一种称为“深度神经
½络”（DNN，Deep
Neural Networks）的机器学习模型（内部共有
10亿个节点。这一½络自然是不½跟人类的神经½络相提并论的。要知
道，人脑中可是有150多亿个神经元，互相连接的节点也就是突触数更
是如银河沙数。曾经有人估算过，如果将一个人的大脑中所有神经细胞
的½突和树突依次连接起来，并拉成一根直线，可从地球连到月亮，
再
从月亮返回地球）
，在语音识别和图像识别等领域获得了巨大的成功。
项目负责人之一
Andrew
称：“我们没有像通常做的那样自己
框定边界，而是直接把海量数据投放到算法中，让数据自己说话，系统
会自动从数据中学习。”另外一名负责人
Jeff
则说：“我们在训练的时
候从来不会告诉机器说：‘这是一只猫。’系统其实是自己发明或者领
悟了“猫”的概念。”
2012年11月，微½在中½天津的一次活动上公开演示了一个全
自动的同声传译系统，讲演者用英文演讲，后台的计算机一气呵成自动
完成语音识别、
英中机器翻译和中文语音合成，
效果非常流畅。
据报道，
后面支撑的关键技术也是
DNN，或者深度学习（DL，DeepLearning）
。
2013年1月，在百度年会上，创始人兼 CEO
李½宏高调宣布要
成立百度研究院，其中第一个成立的就是“深度学习研究所”（IDL，
Institue of Deep Learning）
。
为什么拥有大数据的互联½公司争相投入大量资源研发深度学
习技术。
听起来感觉
deeplearning
很牛那样。
那什么是
deep learning？
模拟电子
京公网安备 11010802033920号
Copyright © 2005-2023 EEWORLD.com.cn, Inc. All rights reserved
评论