热搜关键词: Protel 99SE欧姆龙PLCGD32变压器

pdf

机器翻译:基础与模型

  • 1星
  • 2022-07-01
  • 6.86MB
  • 需要1积分
  • 0次下载
  • favicon收藏
  • rep举报
  • free评论
标签: 机器翻译

机器翻译

本书呈现了近30年内机器翻译技术发展的进程及研究热点,并围绕机器翻译的统计建模和深度学习方法这两个主题对机器翻译的技术方法进行了全面介绍,同时对信息化时代下的机器翻译技术的发展及应用予以透析,其中也涉及小牛团队大量的实践经验,包括许多机器翻译系统开发的细节,帮助相关研究者或从业人员更好地了解信息时代下的机器翻译技术的发展脉搏。

本书不单单是一本理论书籍,它还结合了机器翻译的应用,给读者提供了很多机器翻译技术落地的具体思路。本书内容全面、严谨详实,通过四大部分共计十八章的内容对机器翻译的统计建模和深度学习方法进行较为系统地介绍,不仅有相应的原理介绍和实现代码,还提供了实战案例,并通过图例对一些形式化的定义和算法进行解释(共395张插图),为读者揭开机器翻译的奥秘。本书用tex编写,所有源代码均已开放。

Part  I  机器翻译基础

机器翻译简介

1.1  机器翻译的概念

1.2  机器翻译简史

1.3  机器翻译现状及挑战

1.4  基于规则的方法

1.5  数据驱动的方法

1.6  推荐学习资源

统计语言建模基础

2.1  概率论基础

2.2  掷骰子游戏

2.3  n-gram  语言模型

2.4  预测与搜索

2.5  小结及拓展阅读

词法分析和语法分析基础

3.1  问题概述

3.2  中文分词

3.3  命名实体识别

3.4  句法分析(短语结构分析)

3.5  小结及拓展阅读

翻译质量评价

4.1  译文质量评价所面临的挑战

4.2  人工评价

4.3  有参考答案的自动评价

4.4  无参考答案的自动评价

4.5  小结及拓展阅读

Part  II  统计机器翻译

基于词的机器翻译建模

5.1  词在翻译中的作用

5.2  一个简单实例

5.3  噪声信道模型

5.4  统计机器翻译的三个基本问题

5.5  IBM  模型1

5.6  小结及拓展阅读

基于扭曲度和繁衍率的模型

6.1  基于扭曲度的模型

6.2  基于繁衍率的模型

6.3  解码和训练

6.4  问题分析

6.5  小结及拓展阅读

基于短语的模型

7.1  翻译中的短语信息

7.2  数学建模

7.3  短语抽取

7.4  翻译调序建模

7.5  翻译特征

7.6  最小错误率训练

7.7  栈解码

7.8  小结及拓展阅读

基于句法的模型

8.1  翻译中句法信息的使用

8.2  基于层次短语的模型

8.3  基于语言学句法的模型

8.4  小结及拓展阅读

Part  III  神经机器翻译

人工神经网络和神经语言建模

9.1  深度学习与人工神经网络

9.2  神经网络基础

9.3  神经网络的张量实现

9.4  神经网络的参数训练

9.5  神经语言模型

9.6  小结及拓展阅读

基于循环神经网络的模型

10.1  神经机器翻译的发展简史

10.2  编码器-解码器框架

10.3  基于循环神经网络的翻译建模

10.4  注意力机制

10.5  训练及推断

10.6  小结及拓展阅读

基于卷积神经网络的模型

11.1  卷积神经网络

11.2  基于卷积神经网络的翻译建模

11.3  局部模型的改进

11.4  小结及拓展阅读

基于自注意力的模型

12.1  自注意力机制

12.2  Transformer  架构

12.3  位置编码

12.4  基于点乘的多头注意力机制

12.5  残差网络和层标准化

12.6  前馈全连接网络子层

12.7  训练

12.8  推断

12.9  小结及拓展阅读

Part  IV  机器翻译前沿

神经机器翻译模型训练

13.1  开放词表

13.2  正则化

13.3  对抗样本训练

13.4  学习策略

13.5  知识蒸馏

13.6  基于样本价值的学习

13.7  小结及拓展阅读

神经机器翻译模型推断

14.1  面临的挑战

14.2  基本问题

14.3  轻量模型

14.4  非自回归翻译

14.5  多模型集成

14.6  小结及拓展阅读

神经机器翻译结构优化

15.1  注意力机制的改进

15.2  神经网络连接优化及深层模型

15.3  基于句法的神经机器翻译模型

15.4  基于结构搜索的翻译模型优化

15.5  小结及拓展阅读

低资源神经机器翻译

16.1  数据的有效使用

16.2  双向翻译模型

16.3  多语言翻译模型

16.4  无监督机器翻译

16.5  领域适应

16.6  小结及拓展阅读

多模态、多层次机器翻译

17.1  机器翻译需要更多的上下文

17.2  语音翻译

17.3  图像翻译

17.4  篇章级翻译

17.5  小结及拓展阅读

机器翻译应用技术

18.1  机器翻译的应用并不简单

18.2  增量式模型优化

18.3  交互式机器翻译

18.4  翻译结果的可干预性

18.5  小设备机器翻译

18.6  机器翻译系统的部署

18.7  机器翻译的应用场景

Part  V  附录

附录  A:开源机器翻译系统

附录  B:评测任务及基准数据集

附录  C:IBM模型2-5训练方法

·
Copyright © 2020
肖桐 朱靖波
东北大学自然语言处理实验室
·
小牛翻译
顾问:姚天顺 王宝库
https://opensource.niutrans.com/mtbook/homepage.html
https://github.com/NiuTrans/MTBook
Licensed under the Creative Commons Attribution-NonCommercial 4.0 Unported License
(the “License”). You may not use this file except in compliance with the License. You may
obtain a copy of the License at
http://creativecommons.org/licenses/by-nc/4.0.
Unless required by applicable law or agreed to in writing, software distributed under the Li-
cense is distributed on an “AS IS” BASIS, WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND,
either express or implied. See the License for the specific language governing permissions
and limitations under the License.
September 4, 2021
在此感谢为本书做出贡献的人
曹润柘、曾信、孟霞、单韦乔、周涛、周书含、许诺、李北、许晨、林野、李
垠桥、王子扬、刘辉、张裕浩、冯凯、½应峰、魏冰浩、王屹超、李炎洋、胡
驰、姜雨帆、田丰宁、刘继强、张哲旸、陈贺½、牛蕊、杜权、张春良、王会
珍、张俐、马安香、胡明涵
4
1.
本书的由来
让计算机进行自然语言的翻译是人类长期的梦想,也是人工智½的终极目标之
一。自上世纪九十年代起,机器翻译迈入了基于统计建模的时代,发展到今天,已经
大量应用了深度学习等机器学习方法,并且取得了令人瞩目的进步。在这个时代背
景下,对机器翻译的模型、方法和实现技术进行深入了解是自然语言处理领域研究
者和实践者所渴望的。
与所有从事机器翻译研究的人一样,笔者也梦想着有朝一日机器翻译½够完全
实现。这个想法可以½溯到
1980
年,姚天顺教授和王宝库教授创立了东北大学自然
语言处理实验室,把机器翻译½为毕生为之奋斗的目标。这也½响了包括笔者在内
的许多人。½然,那时的机器翻译技术并不先进,研究条件也异常艰苦,½是实现机
器翻译的梦想从未改变。
步入二十一世纪后,统计学习方法的兴起给机器翻译带来了全新的思路,同时
也带来了巨大的技术进步。笔者有幸经历了那个时代,同时也加入到机器翻译研究
的浪½中。笔者从
2007
年开始研发
NiuTrans
开源系统,在
2012
年对
NiuTrans
机器
翻译系统进行产业化,并创立了小牛翻译。在此过程中,笔者目睹了机器翻译的成
长,并不断地被机器翻译取得的进步所感动。那时,笔者就曾经思考过将机器翻译
的模型和方法进行总结,½成资料供人阅读。½然粗略写过一些文字,½是未成½
系,只是在相关的教学环节中进行½用,供实验室同学闲暇时参考阅读。
½是机器翻译领域进展之快是无法预见的。2016 年之后,随着深度学习方法在
机器翻译中的进一步应用,机器翻译迎来了前所未有的大½机遇。新的技术方法层
出不穷,机器翻译系统也得到了广泛应用。这时,笔者心里又涌现出将机器翻译的
技术内容编撰成书的想法。这种强烈的念头½得笔者完成了本书的第一个版本(包
含七章)
,并开源供人广泛阅读。承蒙同行们厚爱,得到了很多反馈,包括一些批评
意见。这些½得笔者可以更加全面地梳理思路。
最初,笔者的想法仅仅是将机器翻译的技术内容做成资料供人阅读。½是,朋
友、同事们一直鼓励将内容正式出版。½然担心书的内容不够精致,无法给同行½
为参考,½是最终还是下定决心重构内容。所幸,得到电子工业出版社的支持,½成
新版,共十八章。
写½中,每½笔者翻起以前的资料,½会想起½年的一些故事。与其说这部书
是写给读者,还不如说这本书是写给笔者自己,写给所有同笔者一样,经历过或正
在经历机器翻译蓬勃发展年代的人。希望本书可以½为一个时代的记½,½是这个
时代并未结束,还将继续,并更加美½。
5
2.
本书的特色
本书全面回顾了近三十年内机器翻译的技术发展历程,并围绕机器翻译的建模
和深度学习方法这两个主题对机器翻译的技术方法进行了全面介绍。在写½中,笔
者力求用朴实的语言和简洁的实例阐述机器翻译的基本模型,同时对相关的技术前
沿进行讨论。其中也会涉及大量的实践经验,
包括许多机器翻译系统开发的细节。从
这个角度来说,本书不单单是一本理论书籍,它还结合了机器翻译的应用,给读者
提供了很多机器翻译技术½地的具½思路。
本书可以供计算机相关专业高年级本科生及研究生学习之用,也可以½为自然
语言处理领域,特别是机器翻译方向相关研究人员的参考资料。此外,本书各章主
题明确,内容紧凑。因此,读者也可将每章½为某一专题的学习资料。
用最简单的方式阐述机器翻译的基本思想是笔者所期望达到的目标。½是,书
中不可避免会½用一些½式化定义和算法的½象描述,因此,笔者½所½通过图例
进行解释(本书共
396
张插图)
。不过,本书所包含的内容较为广泛,难免会有疏漏,
望读者海涵,并指出不½之处。
3.
本书的内容
本书共分为四个部分,十八章。章节的顺序参考了机器翻译技术发展的时间脉
络,同时兼顾了机器翻译知识½系的内在逻辑。本书的主要内容包括:
第一部分:机器翻译基础
第一章 机器翻译简介
第二章 统计语言建模基础
第三章 词法分析和语法分析基础
第四章 翻译质量评价
第二部分:统计机器翻译
第五章 基于词的机器翻译建模
第六章 基于扭曲度和繁衍率的模型
第七章 基于短语的模型
第八章 基于句法的模型
第三部分:神经机器翻译
第九章 人工神经½络和神经语言建模
第十章 基于循环神经½络的模型
第十一章 基于卷积神经½络的模型
第十二章 基于自注意力的模型
第四部分:机器翻译前沿
第十三章 神经机器翻译模型训练
第十四章 神经机器翻译模型推断
展开预览

推荐帖子 最新更新时间:2022-08-03 12:29

【stm8s003系列例程】2 基本串口收发(中断接收方式)
本帖最后由 辛昕 于 2014-1-4 18:40 编辑 对于串口而言,最基本的就是 收发。 因为本例程系列及我个人的风格,我总是只让例程的功能――同时也就纯粹到 只展示这个功能的最小配置和最少代码。 而对我而言,串口 收发(1字节――因此也就不涉及另外 对 收发的缓冲处理 等 实质上 和 串口基本功能无关的 代码)。 当然大多数时候,我接收都是中断方式,而发送则无此必要――但是,我知道
辛昕 编程基础
在乐高EV3上使用MicroPython
来自乐高教育网站:https://education.lego.com/en-us/support/mindstorms-ev3/python-for-ev3?fbclid=IwAR3-1rwHexXYCnA-yzwQAY8mTNBndmc51p3BTvWcL7lUXk6dNOCzaQfMuJU 适用于EV3的Python 用EV3编写Python程序 您现在可以使用EV3 Brick来
dcexpert MicroPython开源版块
LCD中字符和数字的显示问题?
各位大神,想请教一下。在c6748开发板的液晶上如何显示字符和数字,应该调用那个函数?   // 显示静态文本 GrContextFontSet(&g_sContext, TEXT_FONT); GrContextForegroundSet(&g_sContext, ClrSteelBlue); GrStringDraw(&g_sContext, "I Love C6748"
Aguilera DSP 与 ARM 处理器
ESP8266 UART
大家好,我想问一下ESP8266的microPython固件,串口如何发送HEX呢?好像只能发字符啊?有知道的吗?希望告知一下,谢谢!file:///C:\Users\zml90\AppData\Roaming\Tencent\Users\1138529674\QQ\WinTemp\RichOle\$RKZ54GW~L5VZ_~_H6LECSD.pngfile:///C:\Users\zml90\
幻魔 MicroPython开源版块
NFC与RFID的不同之处?
      NFC与RFID都是近年来非常受关注的技术,它们有相同之处,但更多的是不同,技术原理、应用等,认识NFC与RFID的不同之处在哪。   一、技术原理的不同   NFC是一种近场通讯技术,使用了NFC技术的设备可以在彼此靠近的情况下进行数据交换,是由非接触式射频识别(RFID)及互连互通技术整合演变而来,通过在单一芯片上集成感应式读卡器、感应式卡片和点对点通信的功能,利用移动
Jacktang RF/无线
MicroPython进一步改进文件系统
        stm32/storage: Make pyb.Flash configurable, and support ext block proto.         stm32/main: Auto detect block device used for main filesystem.         stm32/moduos: Add VfsLfs1 and VfsLfs
dcexpert DIY/开源硬件专区

评论

登录/注册

意见反馈

求资源

回顶部
查找数据手册?

EEWorld Datasheet 技术支持

热门活动

相关视频

可能感兴趣器件

About Us 关于我们 客户服务 联系方式 器件索引 网站地图 最新更新 手机版 版权声明

北京市海淀区知春路23号集成电路设计园量子银座1305 电话:(010)82350740 邮编:100191

电子工程世界版权所有 京B2-20211791 京ICP备10001474号-1 电信业务审批[2006]字第258号函 京公网安备 11010802033920号 Copyright © 2005-2022 EEWORLD.com.cn, Inc. All rights reserved
×