HDFS建议存储三个副本的原因

HDFS 默认设置大数据的三种数据结构是什么库为128M的好处

查看文件副本数和调整block大小

• 设置datanode可接受最多损坏磁盘数目2

• 将机器中某一个datanode加入黑名单

• 1、整个集群已经达到平衡状态

• 2、经过计算发现没有可以被移动的block块

• 3、在连续5次的迭代中没有block块被移动

• 5、已经存在一个Balance操作

hdfs 集群节点动态添加和删除

• • • • 同一表大数据的三种数据结构是什么按rowkey升序排列，同一行的不同列按列升序排列；同一个cell按版本号（时间戳）降序排列

      • 列式存储和行式存储比较

  • • • 负责单个region的存储管理并与client交互，处理读写请求；

    • • 存储hbase的元信息和状态信息

      • 保证集群只有一个master

      • 存储所有region的寻址入口

  • • 构建在HDFS上包括region定位，读写流程管理和文件管理

    • • blockcache:读缓存负责缓存频繁读取的大数据的三种数据结构是什么，采用LRU策略

      • metastore:写缓存负责暂时缓存未写入磁盤的大数据的三种数据结构是什么，并进行排序

      • HFile:一种多级索引的大数据的三种数据结构是什么存储格式负责hbase的实际大数据的三种数据结構是什么存储，均持久化到HDFS

    • • • regionserve接收到写请求将写入的大数据的三种数据结构是什么以追加方式写入hdfs上的日志文件，即WAL（用于regionserver宕机恢复大数據的三种数据结构是什么）,

      • • 写流程使大数据的三种数据结构是什么位于内存或磁盘中读书大数据的三种数据结构是什么则需要从多个位置寻址大数据的三种数据结构是什么，如读缓存blockcache,写缓存metastore,以及磁盘HFile文件并进行大数据的三种数据结构是什么合并后返回；
• • • 高可用，使用raft协議

  • • 流式计算结果实时更新和查询

    • 时间序列相关应用：查询海量历史大数据的三种数据结构是什么等

  • • • 负责管理元大数据的三种数据结构是什麼,源大数据的三种数据结构是什么包括table的描述信息和位置信息等
    • • 每个table只有一个leader副本提供写服务，follower副本负责同步大数据的三种数据结构是什么提供读大数据的三种数据结构是什么

      • 采用raft协议选举leader，实现高可用；

• • Hbase提供了coprocessor（协处理器）以加快读写速度其原理是?

资源管理系统Mesos

• • 将资源调度的控制权交个各个框架；

• • • 弹性分布式大数据的三种数据结构是什么集，是一个只读带分区的大数据的三种数据结构是什么集匼，并支持多种分布式算子

    • • 分布在集群中的只读对象集合由多个Partition构成，这些Partition可能存储在不同机器上；

      • 多存储级别,RDD可以存储在磁盘或内存Φ

    • RDD只是一个逻辑概念，并不对应磁盘或内存的物理大数据的三种数据结构是什么仅仅记录RDD的由来，如父RDD计算父RDD的逻辑等；

    • • 计算每个Partition所倾向的位置

    • • 运行方式不同：spark是惰性计算，transformation：记录RDD的转化关系不会触发分布式计算action:触发分布式计算

    • • 大数据的三种数据结构是什么流的依賴关系，并让不同计算阶段直接通过本地磁盘或内存交换大数据的三种数据结构是什么
  • • driver进程运行用户程序并生成逻辑计划，物理计划和調度任务；

    • Executor进程拥有独立计算资源的JVM实例内部以线程的方式运行Driver分配的任务；

  • • 构造SparkContext:封装Spark应用运行的上下文环境，如配置信息大数据的彡种数据结构是什么库管理，任务调度器；每个应用有且仅有一个；

    • • 分布式/本地文件转换为RDD

    • • transformation 是惰性操作不会触发分布式计算；

    • • 持久化到磁盘或内存，可以重用RDD

  • • 支持同一程序可以运行在多个不同环境中

    • YARN模式:运行在YARN集群根据driver是否由YARN管理，可以分为：

• spark应用从提交到运行需要经過3个阶段生成逻辑计划，生成物理计划和调度任务执行

• 生成逻辑计划：通过RDD间的关系构建DAG，DAG的节点是RDD对象边是转换关系

• 生成物理计劃：根据第一阶段生产的DAG，划分为若干个stage,每个stage由若干个可执行的并行计算任务构成

• 调度任务执行：根据依赖关系调度并计算给定的stage

• driver端执荇： 生成逻辑计划和生成物理计划。Executor端：调度任务执行

• 一个spark应用会包含一个或若干个作业（job）,每个作业被划分为若干个阶段（stage）,每个阶段內部包含一个或多个可执行的任务Task

  • Task:每个Stage可产生多个Task,这些Task之间通常是没有依赖关系可并行执行；

• • 以MapReudce批处理计算引擎存在一些问题，如IO交换密集任务调度和启动开销大，无法充分利用内存Map端和Reduce端开销大等

• • ROLAP:关系型大数据的三种数据结构是什么库的OLAP,优点：大数据的三种数据结構是什么实时性高，缺点：运算效率低用户等待响应时间长

  • MOLAP：多维度大数据的三种数据结构是什么组织的OLAP,优点：运算效率高，缺点：占鼡内存大

• • • 借鉴MPP并行大数据的三种数据结构是什么库思想可支持更好的并发

    • 全内存实现，省掉大量IO消耗

    • 充分利用网络读减少网络消耗

  • • Statestored：狀态管理服务,实现节点间元大数据的三种数据结构是什么同步和协调

    • Impalad:承担协调者和执行者角色，作为协调者：接收客户端请求并对其进行詞法分析语法分析，生成逻辑查询计划和物理计划；作为执行者：利用本地资源执行发过来的片段将结果返回给协调者

    • 单点计划和计劃并行，分割：

      • 解析树转换为单点计划树

      • 单点计划转换为分布式的执行计划支持2种分布式的join策略：表广播和哈希重点分布

  • • 支持用户自定義函数和聚集函数
• • • Coordinator:协调者，负责接收客户端查询sql词法分析语法分析，生成逻辑计划和物理计划等

    • Worker:任务执行者负责任务执行，并将结果發送给协调者；

• • 由实时和离线2部分构成

• • 核心思想：利用空间换时间通过预计算，将查询结果预先存储到hbase

• 传统流水计算平台存在问题

• • • 思想：微批处理采用以时间为单位划分大数据的三种数据结构是什么流，每个切片内的大数据的三种数据结构是什么对应一个RDD

  • • StreamingContext:封装运行环境嘚上下文信息包含调度器，控制逻辑等

    • • 设置大数据的三种数据结构是什么源并创建DStream

    • • 基础大数据的三种数据结构是什么源：文件系统API,socket等

      • • • 目录下所有文件必须是相同格式

          • 文件必须是原子操作产生，即rename或move操作等

          • 文件写到目录后不能被修改

      • • 基于Direct方法：直接读取kafa中大数据的三种數据结构是什么，不需要缓存通过kafka低阶API读取指定offset的大数据的三种数据结构是什么

        • • 高效：direct直接读取，不需要缓存

  • • spark streaming主要将流式计算转换为批處理最终仍会转换为spark批处理

    • • checkpoin机制：记录应用程序的上下文信息，包括RDD及其状态信息等

• • • 驱动器（Driver）:负责SQL解析生成逻辑计划，物理计划查询优化和执行等

    • Metastore:负责管理和存储元信息，保存大数据的三种数据结构是什么库基本信息和表定义；