大数据技术

hadoop简介

1.Hadoop是一个由Apache基金会所开发的分布式系统基础架构。

2.用户可以充分利用集群的威力进行高速运算和存储。

3.目的是从单一的服务器扩展到成千上万的机器，将集群部署在多台机器，每个机器提供本地计算和存储。

4.Hadoop框架最核心的设计是HDFS和MapReduce。

2020-3-2

安装jdk

• 查看一下系统内有没有jdk
• 上传文件至虚拟机 CRT
• 解压缩 tar
• 修改环境变量  /etc/profile

添加 JAVA_HOME=/simple/soft/jdk1.7.0_79

export PATH=$JAVA_HOME/bin:$PATH

使其生效

source /etc/profile

source /etc/profile    这个文件是每个用户登录时都会运行的环境变量设置，属于系统级别的环境变量，设置在里面的东西对所有用户适用。

javac 编译

javac  HelloWorld.java

Helloworld程序，运行！

java  HelloWorld

Hadoop 搭建

（1）集群：能够开启多台虚拟机

（2）伪分布式：一台虚拟机中搭建平台

伪分布式平台搭建

1. 修改ip地址

2. 修改主机名

3. 修改映射文件

4. 安装jdk并配置环境。

5. 安装hadoop配置环境变量

6.  /simple/hadoop-2.4.1/etc/Hadoop

    修改hadoop-env.sh  添加了JAVA_HOME=/simple/jdk1.7.0_79

    修改hdfs-site.xml 添加

    修改core-site.xml 添加