大数据技术

linux 8个月前 散逸
浏览:914 0

hadoop简介

1.Hadoop是一个由Apache基金会所开发的分布式系统基础架构。

2.用户可以充分利用集群的威力进行高速运算和存储。

3.目的是从单一的服务器扩展到成千上万的机器,将集群部署在多台机器,每个机器提供本地计算和存储。

4.Hadoop框架最核心的设计是HDFS和MapReduce。

2020-3-2

安装jdk

  • 查看一下系统内有没有jdk
  • 上传文件至虚拟机 CRT
  • 解压缩 tar
  • 修改环境变量  /etc/profile

添加 JAVA_HOME=/simple/soft/jdk1.7.0_79

export PATH=$JAVA_HOME/bin:$PATH

使其生效
source /etc/profile

source /etc/profile    这个文件是每个用户登录时都会运行的环境变量设置,属于系统级别的环境变量,设置在里面的东西对所有用户适用。

javac 编译
javac  HelloWorld.java

Helloworld程序,运行!

java  HelloWorld

Hadoop 搭建

(1)集群:能够开启多台虚拟机

(2)伪分布式:一台虚拟机中搭建平台

伪分布式平台搭建

1. 修改ip地址

2. 修改主机名

3. 修改映射文件

4. 安装jdk并配置环境。

5. 安装hadoop配置环境变量

6.  /simple/hadoop-2.4.1/etc/Hadoop

    修改hadoop-env.sh  添加了JAVA_HOME=/simple/jdk1.7.0_79

    修改hdfs-site.xml 添加

大数据技术

 

    修改core-site.xml 添加

大数据技术 大数据技术 大数据技术

 

版权声明:散逸 发表于 2020-03-02 17:18:23。
转载请注明:大数据技术 | 散逸-博客-导航

暂无评论

暂无评论...