hive总结
一 Hive基本概念1.1 什么是HiveHive：由Facebook开源用于解决海量结构化日志的数据统计。
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类
...
hadoop在使用中的常用优化手段
一、前言我们知道影响MapReduce运算的因素很多，主要是机器性能、网络、磁盘读写速度、I/O 操作等等有关。
机器的问题属于外部因素，那么下面主要是介绍关于IO操作引发的性能问题：
主要是有几个以
...
hadoop大数据(十二)-数据压缩
4.1 概述压缩技术能够有效减少底层存储系统（HDFS）读写字节数。压缩提高了网络带宽和磁盘空间的效率。在Hadoop下，尤其是数据规模很大和工作负载密集的情况下，使用数据压缩显得非常重要。在这种情况
...
hadoop大数据(十一)-Mapreduce框架原理
三 MapReduce框架原理3.1 MapReduce工作流程1）流程示意图
2.Submit()方法包含在这里面–
然后接着是切片处理数据（128M为一片）。很明显图例200M的文件需要切成两
...
hadoop大数据(十)-Mapreduce基础
一 MapReduce入门1.1 MapReduce定义Mapreduce是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架。
Mapreduce核心功能是将用户编
...
hadoop大数据(九)-yarn
5.1 Hadoop1.x和Hadoop2.x架构区别在Hadoop1.x时代，Hadoop中的MapReduce同时处理业务逻辑运算和资源的调度，耦合性较大。
ResourceManagemen
...
hadoop大数据(八)-namenode和resourcemanager高可用
HDFS 高可用高可用概述1）所谓HA（high available），即高可用（7*24小时不中断服务）。
2）实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS
...
hadoop大数据(七)-HDFS的Namenode和Datanode
五 NameNode工作机制5.1 NameNode&Secondary NameNode工作机制
1）第一阶段：namenode启动（1）第一次启动namenode格式化后，创建fsimag
...
hadoop大数据(六)-HDFS的读写数据流程
四 HDFS的数据流4.1 HDFS写数据流程4.1.1 剖析文件写入
1）客户端通过Distributed FileSystem模块向namenode请求上传文件，namenode检查目标文件是否已
...
hadoop大数据(五)-HDFS概念和基本操作
一 HDFS简单介绍1.1 HDFS产生背景随着数据量越来越大，在一个操作系统管辖的范围内存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件
...