pdf

Hadoop技术内幕:深入解析YARN架构设计与实现原理

  • 1星
  • 日期: 2021-04-30
  • 大小: 16.08MB
  • 所需积分:0分
  • 下载次数:0
  • favicon收藏
  • rep举报
  • free评论
标签: 大数据

大数据(big data),是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。[1] 在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》[2] 中大数据指不用随机分析法(抽样调查)这样的捷径,而采用所有数据进行分析处理。大数据的5V特点(IBM提出):Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值)Veracity(真实性)

《hadoop技术内幕:深入解析yarn架构设计与实现原理》是“hadoop技术内幕”系列的第3本书,前面两本分别对common、hdfs和mapreduce进行了深入分析和讲解,赢得了极好的口碑,hadoop领域几乎人手一册,本书则对yarn展开了深入的探讨,是首部关于yarn的专著。仍然由资深hadoop技术专家董西成执笔,根据最新的hadoop  2.0版本撰写,权威社区chinahadoop鼎力推荐。

《hadoop技术内幕:深入解析yarn架构设计与实现原理》从应用角度系统讲解了yarn的基本库和组件用法、应用程序设计方法、yarn上流行的各种计算框架(mapreduce、tez、storm、spark),以及多个类yarn的开源资源管理系统(corona和mesos);从源代码角度深入分析yarn的设计理念与基本架构、各个组件的实现原理,以及各种计算框架的实现细节。

全书共四部分13章:第一部分(第1~2章)主要介绍了如何获取、阅读和调试hadoop的源代码,以及yarn的设计思想、基本架构和工作流程;第二部分(第3~7章)结合源代码详细剖析和讲解了yarn的第三方开源库、底层通信库、服务库、事件库的基本使用和实现细节,详细讲解了yarn的应用程序设计方法,深入讲解和分析了resourcemanager、资源调度器、nodemanager等组件的实现细节;第三篇(第8~10章)则对离线计算框架mapreduce、dag计算框架tez、实时计算框架storm和内存计算框架spark进行了详细的讲解;第四部分(第11~13章)首先对facebook  corona和apache  mesos进行了深入讲解,然后对yarn的发展趋势进行了展望。附录部分收录了yarn安装指南、yarn配置参数以及hadoop  shell命令等非常有用的资料。

hadoop技术内幕:深入解析yarn架构设计与实现原理    目录

前 言

第一部分 准备篇

第1章 环境准备            2

第2章 yarn设计理念与基本架构            21

第二部分 yarn核心设计篇

第3章 yarn基础库            40

第4章 yarn应用程序设计方法            78

第5章 resourcemanager剖析            102

第6章 资源调度器            153

第7章 nodemanager剖析            188

第三部分 计算框架篇

第8章 离线计算框架mapreduce            238

第9章 dag计算框架tez            278

第10章 实时/内存计算框架storm/spark            296

第四部分 高级篇

第11章 facebook  corona剖析            320

第12章 apache  mesos剖析            336

第13章 yarn总结与发展趋势            356

附录a yarn安装指南            364

附录b yarn配置参数介绍            367

附录c hadoop  shell命令介绍            371

附录d 参考资料            374

推荐帖子 最新更新时间:2021-06-09 15:49

【小梅哥SOPC学习笔记】切换NIOS II CPU的主内存后软件中需要注意的几点设置
切换NIOS II CPU的主内存后软件中需要注意的几点设置 有时候,我们可能面对这样一种情况: 1. 我们创建一个SOPC系统,并在QSYS中设置NIOS II的复位地址和异常地址都指向SRAM; 2. 我们创建了正确的NIOS II软件工程并能够正常运行 3. 由于某种需求(如SRAM内存不够用了,需要换成内存更大的SDRAM),我们在面在QSYS中将NIOS II CPU的复
芯航线跑堂 FPGA/CPLD
MSP430 LaunchPAD学习笔记
一:端口配置   1:P1DIR   设置为1,相应管脚为输出。设置为0.相应管脚                              为输入状态。   2:P1IE      设置为1,相应管脚具有中断功能。设置为0,                            相应管脚没有中断功能。   3:P1IES   设置为1,选择下降沿触发方式,设置为0,选             
Aguilera 微控制器 MCU
德州仪器热门资料文章分享
1.电源设计中的一些实用经验总结http://t.cn/RAGQqwA 2.写给采用 FPGA 的数字工程师http://t.cn/RAGQ5Qv 3.Fly-Buck 转换器 PCB 布局技巧http://t.cn/RAGQcXn 4.关于电气过应力,必看http://t.cn/RAGQV8N 5.C2000入门必备http://t.cn/RAGQIcw 6.如何将总谐波失真降至 10
电路艺术 TI技术论坛
MSP430FR5969内存分配的问题
cmd文件主要由两部分构成,一个是MEMORY{};另一个是SECTIONS{} 其中MEMORY{}是定义内部所有寄存器及存储器的地址,在这里大部分内容都是厂家定义好的,一般不能修改。但是咱们今天要改的就是他,当然只能改其中允许该的地方,那就是FRAM的分配问题。根据数据手册里提供的内存分配情况(如下图)我们可以得知,59x9的内存从0x0000开始,一直到0x13FFF。对应着这个图和Cmd
意念586 微控制器 MCU
PCBA加工中产生润湿不良的原因和解决方法
在pcba加工中,当焊锡表面张力遭到破坏的时候,就会造成表面贴装元件的焊接不良。润湿不良的主要表现现象为,在焊接过程中,基板焊区和焊料经浸润后金属之间不产生反应,造成少焊或漏焊。 造成润湿不良的主要原因是: 1、焊区表面被污染、焊区表面沾上助焊剂、或贴片元件表面生成了金属化合物。都会引起润湿不良。如银表面的硫化物,锡的表面有氧化物等都会产生润湿不良。2、当焊料中残留金属超过0.005%时,焊剂
ohahaha PCB设计
【Atmel SAM R21创意大赛周计划】(3) GPIO学习-按键、外部中断和点亮LED
本帖最后由 yang_alex 于 2015-3-15 10:34 编辑         GPIO在应用中经常用到的场景就是点灯(LED)和按键(SW)。其它的应用和这两种很类似,可以很方便的移植过来。         现在就跟着ATMEL的例程学习一下怎么增加自己的LED和KEY。 首先相关的定义: 文件:samr21_xplained_pro.h         对于LED,我们首
yang_alex Microchip MCU

评论

登录/注册

意见反馈

求资源

回顶部

About Us 关于我们 客户服务 联系方式 器件索引 网站地图 最新更新 手机版 版权声明

北京市海淀区知春路23号集成电路设计园量子银座1305 电话:(010)82350740 邮编:100191

电子工程世界版权所有 京ICP证060456号 京ICP备10001474号-1 电信业务审批[2006]字第258号函 京公网安备 11010802033920号 Copyright © 2005-2021 EEWORLD.com.cn, Inc. All rights reserved
$(function(){ var appid = $(".select li a").data("channel"); $(".select li a").click(function(){ var appid = $(this).data("channel"); $('.select dt').html($(this).html()); $('#channel').val(appid); }) })
×