热搜关键词: 信号与系统无刷电机ADSTCP/IP

pdf

大规模分布式存储系统:原理解析与架构实战

  • 1星
  • 日期: 2022-05-04
  • 大小: 87.53MB
  • 所需积分:1分
  • 下载次数:0
  • favicon收藏
  • rep举报
  • free评论
标签: 分布式存储

分布式存储

本书是分布式系统领域的经典著作,由*高级技术专家“阿里日照”(OceanBase核心开发人员)撰写,阳振坤、章文嵩、杨卫华、汪源、余锋(褚霸)、赖春波等来自阿里、新浪、网易和百度的资深技术专家联袂推荐。理论方面,不仅讲解了大规模分布式存储系统的核心技术和基本原理,而且对谷歌、亚马逊、微软和*等国际型大互联网公司的大规模分布式存储系统进行了分析;实战方面,首先通过对*的分布式数据库OceanBase的实现细节的深入剖析完整地展示了大规模分布式存储系统的架构与设计过程,然后讲解了大规模分布式存储技术在云计算和大数据领域的实践与应用。

  本书内容分为四个部分:基础篇——分布式存储系统的基础知识,包含单机存储系统的知识,如数据模型、事务与并发控制、故障恢复、存储引擎、压缩/解压缩等;分布式系统的数据分布、复制、一致性、容错、可扩展性等。范型篇——介绍谷歌、亚马逊、微软、*等著名互联网公司的大规模分布式存储系统架构,涉及分布式文件系统、分布式键值系统、分布式表格系统以及分布式数据库技术等。实践篇——以*的分布式数据库OceanBase为例,详细介绍分布式数据库内部实现,以及实践过程中的经验。专题篇——介绍分布式系统的主要应用:云存储和大数据,这些是近年来的热门领域,本书介绍了云存储平台、技术与安全,以及大数据的概念、流式计算、实时分析等。

前言

第1章 概述

1.1 分布式存储概念

1.2 分布式存储分类

第一篇 基础篇

第2章 单机存储系统

2.1 硬件基础

2.1.1 CPU架构

2.1.2 IO总线

2.1.3 网络拓扑

2.1.4 性能参数

2.1.5 存储层次架构

2.2 单机存储引擎

2.2.1 哈希存储引擎

2.2.2 B树存储引擎

2.2.3 LSM树存储引擎

2.3 数据模型

2.3.1 文件模型

2.3.2 关系模型

2.3.3 键值模型

2.3.4 SQL与NoSQL

2.4 事务与并发控制

2.4.1 事务

2.4.2 并发控制

2.5 故障恢复

2.5.1 操作日志

2.5.2 重做日志

2.5.3 优化手段

2.6 数据压缩

2.6.1 压缩算法

2.6.2 列式存储

第3章 分布式系统

3.1 基本概念

3.1.1 异常

3.1.2 一致性

3.1.3 衡量指标

3.2 性能分析

3.3 数据分布

3.3.1 哈希分布

3.3.2 顺序分布

3.3.3 负载均衡

3.4 复制

3.4.1 复制的概述

3.4.2 一致性与可用性

3.5 容错

3.5.1 常见故障

3.5.2 故障检测

3.5.3 故障恢复

3.6 可扩展性

3.6.1 总控节点

3.6.2 数据库扩容

3.6.3 异构系统

3.7 分布式协议

3.7.1 两阶段提交协议

3.7.2 Paxos协议

3.7.3 Paxos与2PC

3.8 跨机房部署

第二篇 范型篇

第4章 分布式文件系统

4.1 Google文件系统

4.1.1 系统架构

4.1.2 关键问题

4.1.3 Master设计

4.1.4 ChunkServer设计

4.1.5 讨论

4.2 Taobao  File  System

4.2.1 系统架构

4.2.2 讨论

4.3 Facebook  Haystack

4.3.1 系统架构

4.3.2 讨论

4.4 内容分发网络

4.4.1 CDN架构

4.4.2 讨论

第5章 分布式键值系统

5.1 Amazon  Dynamo

5.1.1 数据分布

5.1.2 一致性与复制

5.1.3 容错

5.1.4 负载均衡

5.1.5 读写流程

5.1.6 单机实现

5.1.7 讨论

5.2 淘宝Tair

5.2.1 系统架构

5.2.2 关键问题

5.2.3 讨论

第6章 分布式表格系统

6.1 Google  Bigtable

6.1.1 架构

6.1.2 数据分布

6.1.3 复制与一致性

6.1.4 容错

6.1.5 负载均衡

6.1.6 分裂与合并

6.1.7 单机存储

6.1.8 垃圾回收

6.1.9 讨论

6.2 Google  Megastore

6.2.1 系统架构

6.2.2 实体组

6.2.3 并发控制

6.2.4 复制

6.2.5 索引

6.2.6 协调者

6.2.7 读取流程

6.2.8 写入流程

6.2.9 讨论

6.3 Windows  Azure  Storage

6.3.1 整体架构

6.3.2 文件流层

6.3.3 分区层

6.3.4 讨论

第7章 分布式数据库

7.1 数据库中间层

7.1.1 架构

7.1.2 扩容

7.1.3 讨论

7.2 Microsoft  SQL  Azure

7.2.1 数据模型

7.2.2 架构

7.2.3 复制与一致性

7.2.4 容错

7.2.5 负载均衡

7.2.6 多租户

7.2.7 讨论

7.3 Google  Spanner

7.3.1 数据模型

7.3.2 架构

7.3.3 复制与一致性

7.3.4 TrueTime

7.3.5 并发控制

7.3.6 数据迁移

7.3.7 讨论

第三篇 实践篇

第8章 OceanBase架构初探

8.1 背景简介

8.2 设计思路

8.3 系统架构

8.3.1 整体架构图

8.3.2 客户端

8.3.3 RootServer

8.3.4 MergeServer

8.3.5 ChunkServer

8.3.6 UpdateServer

8.3.7 定期合并&数据分发

8.4 架构剖析

8.4.1 一致性选择

8.4.2 数据结构

8.4.3 可靠性与可用性

8.4.4 读写事务

8.4.5 单点性能

8.4.6 SSD支持

8.4.7 数据正确性

8.4.8 分层结构

第9章 分布式存储引擎

9.1 公共模块

9.1.1 内存管理

9.1.2 基础数据结构

9.1.3 锁

9.1.4 任务队列

9.1.5 网络框架

9.1.6 压缩与解压缩

9.2 RootServer实现机制

9.2.1 数据结构

9.2.2 子表复制与负载均衡

9.2.3 子表分裂与合并

9.2.4 UpdateServer选主

9.2.5 RootServer主备

9.3 UpdateServer实现机制

9.3.1 存储引擎

9.3.2 任务模型

9.3.3 主备同步

9.4 ChunkServer实现机制

9.4.1 子表管理

9.4.2 SSTable

9.4.3 缓存实现

9.4.4 IO实现

9.4.5 定期合并&数据分发

9.4.6 定期合并限速

9.5 消除更新瓶颈

9.5.1 读写优化回顾

9.5.2 数据旁路导入

9.5.3 数据分区

第10章 数据库功能

10.1 整体结构

10.2 只读事务

10.2.1 物理操作符接口

10.2.2 单表操作

10.2.3 多表操作

10.2.4 SQL执行本地化

10.3 写事务

10.3.1 写事务执行流程

10.3.2 多版本并发控制

10.4 OLAP业务支持

10.4.1 并发查询

10.4.2 列式存储

10.5 特色功能

10.5.1 大表左连接

10.5.2 数据过期与批量删除

第11章 质量保证、运维及实践

11.1 质量保证

11.1.1 RD开发

11.1.2 QA测试

11.1.3 试运行

11.2 使用与运维

11.2.1 使用

11.2.2 运维

11.3 应用

11.3.1 收藏夹

11.3.2 天猫评价

11.3.3 直通车报表

11.4 最佳实践

11.4.1 系统发展路径

11.4.2 人员成长

11.4.3 系统设计

11.4.4 系统实现

11.4.5 使用与运维

11.4.6 工程现象

11.4.7 经验法则

第四篇 专题篇

第12章 云存储

12.1 云存储的概念

12.2 云存储的产品形态

12.3 云存储技术

12.4 云存储的核心优势

12.5 云平台整体架构

12.5.1 Amazon云平台

12.5.2 Google云平台

12.5.3 Microsoft云平台

12.5.4 云平台架构

12.6 云存储技术体系

12.7 云存储安全

第13章 大数据

13.1 大数据的概念

13.2 MapReduce

13.3 MapReduce扩展

13.3.1 Google  Tenzing

13.3.2 Microsoft  Dryad

13.3.3 Google  Pregel

13.4 流式计算

13.4.1 原理

13.4.2 Yahoo  S4

13.4.3 Twitter  Storm

13.5 实时分析

13.5.1 MPP架构

13.5.2 EMC  Greenplum

13.5.3 HP  Vertica

13.5.4 Google  Dremel

参考资料

推荐帖子 最新更新时间:2022-05-16 18:32

【 ST NUCLEO-H743ZI测评】(2)初体验 以太网测试
本帖最后由 bigbat 于 2019-2-22 11:52 编辑 继续上篇点亮LED之后,开始测试以太网。板子由ST公司提供,板子资料 这是我比较关心的部分。开始我使用STM32CubeMX来进行网络部分的测试,但是却没有成功!我下面就把这个过程描述一下。 首先启动STM32CubeMX后,建立工程选择的是Borad Selector,特意选择了 "ST NUCLEO-H743ZI"板子
bigbat stm32/stm8
求MSP430F5529的LCD12864串口显示驱动
本人小白大学生 最近TI公司给了几块MSP430F5529LP板,想把以前学这的51中的LCD12864串口显示驱动程序 放到这个板里, 弄了几天就是LCD12864就是没有反应,求大神指教。 #include "msp430f5529.h" #include "12864.h" #define CS_H  P1OUT|=BIT2; #define CS_L  P1OUT&=~BIT2;
qq450799209 微控制器 MCU
对增益大于等于10时保持稳定的放大器进行补偿以在较低增益下工作
本文说明如何补偿一个增益为9倍以上时通常保持稳定的放大器(如 ADA4895-2),以使其在增益低至2时工作,提供比等效内部补偿放大器更高的压摆率和更快的建立时间。本文将提出两种方法并突出每种电路的优缺点。ADA4895-2与ADA4896-2、ADA4897-1和ADA4897-2同属一个系列,是一款双通道、低噪声、高速、电压反馈、轨到轨输出型放大器。它在增益为10时可保持稳定,增益带宽积为1.
youluo ADI参考电路
基于SensorTag的儿童蹦蹦床实时监控系统
本帖最后由 upc_arm 于 2014-5-5 18:52 编辑 1、项目目标: 如图所示的蹦蹦床,小孩玩的时候可能会出现意外。为了防止意外的发送,可以利用SensorTag的加速度和陀螺仪传感器,监控小孩的运动状态,判断小孩是否出现意外。若出现意外则发出警报,并自动执行保护程序,从而保证小孩的安全。 小孩在玩耍的时候携带着SensorTag,SensorTag时时刻刻监控加速度传感器,
upc_arm 无线连接
分享CC1310射频芯片的433M无线模块设计
CC1310简介 1.特点      CC1310是TI公司最新推出的高效型/超低功耗无线MCU中低于1GHz系列器件的重要器件。极低的有源RF和MCU电流以及低功耗模式流耗可确保电池的使用寿命,允许在能源采集应用中使用小型纽扣电池。     CC1310器件在支持多个物理层和RF标准的平台中将灵活的超低功耗RF收发器和强大的48MHzCortex-M3微控制器相结合。专用无线控制器(C
Jacktang RF/无线
关于TMS570LC4357 MAC管脚的问题
大家好, 请教关于TMS570LC4357 MAC管脚的问题。 我们在使用TMS570LC43x HDK,做汽车控制器开发的前期评估工作。TMS570LC43x HDK使用的是TMS570LC4357。HDK的原理图和TMS570LC4357数据手册上的MII部分的管脚定义有不一样的地方。 TMS570LC43x HDK,在第5页,有如下的管脚定义。 TMS570LC4357数据手册中,该
bryant 微控制器 MCU

评论

登录/注册

意见反馈

求资源

回顶部
查找数据手册?

EEWorld Datasheet 技术支持

热门活动

相关视频

可能感兴趣器件

About Us 关于我们 客户服务 联系方式 器件索引 网站地图 最新更新 手机版 版权声明

北京市海淀区知春路23号集成电路设计园量子银座1305 电话:(010)82350740 邮编:100191

电子工程世界版权所有 京B2-20211791 京ICP备10001474号-1 电信业务审批[2006]字第258号函 京公网安备 11010802033920号 Copyright © 2005-2022 EEWORLD.com.cn, Inc. All rights reserved
×