pdf

深度学习方法及应用PDF高清晰完整版

  • 1星
  • 日期: 2021-02-17
  • 大小: 22.12MB
  • 所需积分:0分
  • 下载次数:1
  • favicon收藏
  • rep举报
  • 分享
  • free评论
标签: 深度学习

深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征,以发现数据的分布式特征表示。[1] 深度学习的概念由Hinton等人于2006年提出。基于深度置信网络(DBN)提出非监督贪心逐层训练算法,为解决深层结构相关的优化难题带来希望,随后提出多层自动编码器深层结构。此外Lecun等人提出的卷积神经网络是第一个真正多层结构学习算法,它利用空间相对关系减少参数数目以提高训练性能。[1] 深度学习是机器学习中一种基于对数据进行表征学习的方法。观测值(例如一幅图像)可以使用多种方式来表示,如每个像素强度值的向量,或者更抽象地表示成一系列边、特定形状的区域等。而使用某些特定的表示方法更容易从实例中学习任务(例如,人脸识别或面部表情识别)。深度学习的好处是用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征。 深度学习是机器学习研究中的一个新的领域,其动机在于建立、模拟人脑进行分析学习的神经网络,它模仿人脑的机制来解释数据,例如图像,声音和文本。[2] 同机器学习方法一样,深度机器学习方法也有监督学习与无监督学习之分.不同的学习框架下建立的学习模型很是不同.例如,卷积神经网络(Convolutional neural networks,简称CNNs)就是一种深度的监督学习下的机器学习模型,而深度置信网(Deep Belief Nets,简称DBNs)就是一种无监督学习下的机器学习模型。

深度学习是目前人工智能、机器学习领域异常火热的研究方向,受到了学术界和工业界的高度关注,被《麻省理工学院技术评论》(MIT  Technology  Review)评为2013年十大突破性技术之首。深度学习已经在语音识别、图像识别、自然语言处理等诸多领域取得了突破性进展,对学术界和工业界产生了深远的影响。本书原著的作者——微软研究院的邓力博士和俞栋博士是最早将深度学习技术付诸于语音识别工业级实践的专家,他们和深度学习专家多伦多大学Geoffrey  Hinton教授合作,最早将深度神经网络应用于大词汇量连续语音识别领域中,使相对识别错误率降低了20%以上。

作为多年的导师和好朋友,两位专家将这本书的中文翻译任务交付给我,我倍感荣幸。此次中译本是在忠于原著的基础上进行翻译的,既涉及深度学习的背景和基本概念,又涉及常用的模型与方法,同时包含深度学习在不同领域中的应用。本书共有12章,具体内容包括:引言、深度学习的历史、三类深度学习网络、深度自编码器、预训练的深度神经网络、深度堆叠网络及其变种、语音和音频处理中的应用、在语言模型和自然语言处理中的相关应用、信息检索领域中的应用、在目标识别和计算机视觉中的应用、多模态和多任务学习中的典型应用、结论。

本书的翻译除了受到原著作者的指导,也受到了张蓬副教授、陈小敏、吕航、丁闯、孙思宁、何长青、樊博、张弼弘、张彬彬、周祥增的帮助,在此表示感谢。同时感谢机械工业出版社的大力支持与推动。没有他们的帮助,本书的翻译是无法促成的。

由于深度学习技术是一个快速发展的方向,新的模型和应用层出不穷,加之本人学识有限以及中英文语言表达、术语翻译上的差异,书中难免存在错误,还请广大读者指正与原谅。建议读者在学习过程中和英文原著一起阅读,并参考本书引用的参考文献,以便提高学习和理解效果。

原书序

“这本书对最前沿的深度学习方法及应用进行了全面的阐述,不仅包括自动语音识别(ASR),还包括计算机视觉、语言建模、文本处理、多模态学习以及信息检索。在深度学习这一领域,这是第一本,也是最有价值的一本书,能使读者对这一领域进行广泛而深入的学习。深度学习对信息处理的很多方面(尤其对语音识别)都具有重大的影响,甚至对整个科技领域的影响也不容忽视。因此,对于有意了解这一领域的学者,这本书是绝对不容错过的。”

——Sadaoki  Furui,芝加哥丰田技术研究院院长,日本东京工业大学教授

如前所述,深度学习指的是一类广泛的机器学习技术和架构,其特点是采用多层的非线性信息处理方法,这种方法在本质上是分层的。根据这些结构和技术不同的应用领域,如合成/生成或识别/分类,我们可以大致把这些结构分为三类:

(1)无监督或生成式学习的深度网络针对模式分析和合成任务,用于在没有目标类标签信息的情况下捕捉观测到的或可见数据的高阶相关性。各种文献中的无监督特征或表达学习指的就是这一类深度网络。当用于生成模式时,它也可以用来描述可见数据和其相关分类的联合概率分布,此时它具有可利用的类别标签,而且这些类别标签被看作是可见数据的一部分。在后一种情况中,利用贝叶斯准则可以把生成式学习网络转换为判别式学习网络。

(2)有监督学习的深度网络  直接提供用于模式分类目的的判别能力,它的特点是描述了可见数据条件下的类别后验分布。对于这种有监督的学习,目标类别标签总是以直接或间接形式给出,所以它们也被称作判别式深度网络。

(3)混合深度网络  目标是判别式模型,往往以生成式或无监督深度网络的结果作为重要辅助,可以通过更好地优化和正则化类别(2)中的深度网络来实现,也可以通过在对类别(1)中所述的深度生成式或无监督深度网络的参数进行估计时,使用判别式准则来实现。

1引言

1.1深度学习的定义与背景

1.2本书的结构安排

2深度学习的历史

3三类深度学习网络

3.1三元分类方式

3.2无监督和生成式学习深度网络

3.3监督学习深度网络

3.4混合深度网络

4深度自编码器——一种无监督学习方法

4.1引言

4.2利用深度自编码器来提取语音特征

4.3堆叠式去噪自编码器

4.4转换自编码器

5预训练的深度神经网络——一种混合方法

5.1受限玻尔兹曼机

5.2无监督逐层预训练

5.3DNN和HMM结合

6深度堆叠网络及其变形——有监督学习

6.1简介

6.2深度堆叠网络的基本结构

6.3一种学习DSN权值的方法

6.4张量深度堆叠网络

6.5核化深度堆叠网络

7语音和音频处理中的应用

7.1语音识别中声学模型的建立

7.2语音合成

7.3音频和音乐处理

8在语言模型和自然语言处理中的相关应用

8.1语言模型

8.2自然语言处理

9信息检索领域中的应用

9.1信息检索简介

9.2用基于深度自编码器的语义哈希方法对文档进行索引和检索

9.3文档检索中的深度结构语义模型

9.4信息检索中深度堆叠网络的应用

10在目标识别和计算机视觉中的应用

10.1无监督或生成特征学习

10.2有监督特征学习和分类

11多模态和多任务学习中的典型应用

11.1多模态:文本和图像

11.2多模态:语音和图像

11.3在语音、自然语言处理或者图像领域的多任务学习

12结论

附录

更多简介内容

推荐帖子

评论

登录/注册

意见反馈

求资源

回顶部

datasheet推荐 换一换

About Us 关于我们 客户服务 联系方式 器件索引 网站地图 最新更新 手机版 版权声明

北京市海淀区知春路23号集成电路设计园量子银座1305 电话:(010)82350740 邮编:100191

电子工程世界版权所有 京ICP证060456号 京ICP备10001474号-1 电信业务审批[2006]字第258号函 京公网安备 11010802033920号 Copyright © 2005-2021 EEWORLD.com.cn, Inc. All rights reserved
$(function(){ var appid = $(".select li a").data("channel"); $(".select li a").click(function(){ var appid = $(this).data("channel"); $('.select dt').html($(this).html()); $('#channel').val(appid); }) })