Hadoop学习：深入解析MapReduce的大数据魔力之数据压缩（四）4.1 概述1）压缩的好处和坏处压缩的优点：以减少磁盘IO、减少磁盘存储空间。 压缩的缺点：增加CPU开销。2）压缩原则（1）运算密集型的Job，少用压缩 （2）IO密集型的Job，多用压缩4.2 MR 支持的压缩编码1）压缩算法对比介绍2）压缩性能的比较4.3 压缩方式选择压缩方式选择
......
327
0
0
2024-05-25
Hadoop学习：深入解析MapReduce的大数据魔力（三）3.5 MapReduce 内核源码解析3.5.1 MapTask 工作机制（1）Read阶段：MapTask通过InputFormat获得的RecordReader，从输入InputSplit中解析出一个个key/value。（2）Map阶段：该节点主要是将解析出的key/value交给用户编写
......
349
0
0
2024-05-25
Hadoop学习：深入解析MapReduce的大数据魔力（二）3.3 Shuffle 机制3.3.1 Shuffle 机制Map 方法之后，Reduce方法之前的数据处理过程称之为Shuffle。3.3.2 Partition 分区1、问题引出 要求将统计结果按照条件输出到不同文件中（分区）。比如：将统计结果按照手机 归属地不同省份输出到不同文件中（分区）
......
350
0
0
2024-05-25
Hadoop学习：深入解析MapReduce的大数据魔力（一）前言在大数据时代，高效地处理海量数据成为了各行各业的迫切需求。Hadoop作为一种重要的大数据处理框架，其核心概念之一就是MapReduce。今天开始将深入了解MapReduce，探索其在大数据处理中的重要作用。1.MapReduce概述1.1MapReduce 定义MapReduce 是一个分布
......
341
0
0
2024-05-25
Hadoop学习指南：探索大数据时代的重要组成——HDFS（下）HDFS的读写流程（面试重点）HDFS 写数据流程1.1 剖析文件写入（1）客户端通过Distributed FileSystem 模块向NameNode 请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。 （2）NameNode返回是否可以上传。 （3）客户端请求第一个 B
......
317
0
0
2024-05-25
HDFSHDFS概述1.1 HDFS 产出背景及定义1）HDFS产生背景随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。2）HDFS定义HDFS（Hadoop Distributed Fi
......
308
0
0
2024-05-25
Hadoop运行模式(下）前言接着上篇，我们继续学习Hadoop运行模式。2.6 配置历史服务器为了查看程序的历史运行情况，需要配置一下历史服务器。具体配置步骤如下：1）配置mapred-site.xml[atguigu@hadoop102 hadoop]$ vim mapred-site.xml
在该文件里面增加如下配置。<!-- 历史服务器端地
......
288
0
0
2024-05-25
Hadoop运行模式前言今天我们具体来介绍一下Hadoop的运行模式具体内容移步正文。Hadoop运行模式1）Hadoop 官方网站：http://hadoop.apache.org/ 2）Hadoop 运行模式包括：本地模式、伪分布式模式以及完全分布式模式。 ➢ 本地模式：单机运行，只是用来演示一下官方案例。==生产环境不用。 == ➢ 伪分布式模式：也是
......
300
0
0
2024-05-25
Hadoop运行环境搭建（开发重点）模板虚拟机环境准备数据来源层安装模板虚拟机，IP地址192.168.10.100、主机名称hadoop100、内存4G、硬盘50Ghadoop100 虚拟机配置要求如下（本文Linux系统全部以CentOS-7.5-x86-1804为例）使用yum安装需要虚拟机可以正常上网，yum安装前可以先测试下虚拟机联网情况[root
......
199
0
0
2024-05-25
步骤1：准备环境1.云服务器环境有三台云服务，系统centOS7.6，为了能够尽可能“分布”一下，所以三台机器都作为计算节点，master机器担任NameNode节点，兼任一个DataNode节点，slave1兼任secondaryNameNode和DataNode节点。内网IP主机名功能10.*.*.127masterNameNodesecondaryNa
......
211
0
0
2024-03-21
1.集群规划 集群节点分配 主机名 主机IP master 192.168.100.100 slave1 192.168.100.101 slave2 192.168.100.102 slave3 192.168.100.103 软件版本 软件名称 版本号 Java 1.8.0_15
......
198
0
0
2024-02-25
Hadoop是一个开源的分布式存储和分布式计算框架，主要用于处理大量非结构化或半结构化的数据。它最初是由Apache基金会开发的，灵感来自于Google的MapReduce和GFS（Google文件系统）论文。Hadoop的核心是Hadoop Distributed File System（HDFS，Hadoop分布式文件系统）和MapReduce编程模型，
......
216
0
0
2024-02-01
思维导图HIVE介绍Hive是Hadoop的一个模块。它是一个用于开发SQL类型脚本执行MapReduce操作的平台。MapReduce是一种并行编程模型，用于在大型商用硬件集群上处理大量结构化、半结构化和非结构化数据。Hadoop 模块Hive：用于开发SQL类型脚本执行MapReduce操作的平台。Sqoop：用于在HDFS和关系数据库之间导入和导出数据
......
244
0
0
2024-01-07
思维导图导语Hadoop是一个开源框架，允许在分布式环境中使用简单的编程模型来存储和处理大数据，跨计算机集群。它被设计成可以从单个服务器扩展到数千台机器，每台机器都提供本地计算和存储。Big Data概述大数据中的数据分为三种类型结构化数据：关系型数据。半结构化数据：XML数据。非结构化数据：Word、PDF、文本和媒体日志。研究处理大数据的技术时将考虑以下
......
259
0
0
2024-01-07
HDFS 概述 产生背景 随着数据量越来越大，在一个操作系统中存不下所有的数据。需要将这些数据分配到更多的操作系统中，带来的问题是多操作系统不方便管理和维护。需要 一种系统来管理多台机器上的文件 ，这就是分布式文件管理系统。 HDFS是分布式文件管理系统中的一种 定义 HDFS（ hadoop Distributed File System）它是一个文件
......
334
0
0
2023-12-12