Hadoop – Hadoop 2.2.0分散クラスタインストール

1 Star2 Stars3 Stars4 Stars5 Stars (まだ評価されていません)
Loading...
  転載:http://blog.csdn.net/l1028386804/article/details/45748111

まず、インストールシステム

仮想ソフトウェア:VMwareワークステーション10

システム:Centos 6.4 32bit

マスターIP:192.168.56.131

スレーブIP:192.168.56.132

ユーザーとパス:hadoop

注:1つはマスタ(namenode)として機能し、1つはスレーブ(datanode)として機能します。 これは最小クラスターです(疑似分散を除く)

次に、ファイアウォールをオフにします。

マスターとスレーブは、それぞれファイアウォールをオフにします(rootユーザーの下にある)

第3に、ホスト名を変更する

恒久改造:

確認

変更後の名前は、再起動後に有効になるため表示されません

一時的:

現在再起動していないシステムが有効になりましたが、コマンドラインヘッダーには引き続きlocalhostが表示され、端末の再開が有効になります。

スレーブの動作は上記と同じですが、マスタはスレーブに変更することができます。

第4に、ホストファイルを変更する

ホストファイルはアドレスマッピングファイルです(母親を見つけるために明確ではありません)

ホストホスト名とスレーブホスト名とIPアドレスのマッピングをそれぞれマスタホストファイルとスレーブホストファイルに書き込みます。

上記のスレーブ

5つのSSHパスワードのないログインを設定する

ハムープ通信にはパスワードなしのログインが必要です

特定の原則

ここにHadoopの専用アカウントがあります:hadoop;

特定のステップ:

1.コマンドssh-keygen -t rsaを実行した 、Enterキーを押して新しく作成したパスワードなしのキーペアを表示します。cd〜/ .sshとllを実行します

2. id_rsa.pubを認証キーに追加します。 cat〜/ .ssh / id_rsa.pub >>〜/ .ssh / authorized_keysコマンドを実行します。

3.アクセス権を変更する:chmod 600〜/ .ssh / authorized_keysを実行する

4. vi / etc / ssh / sshd_configを実行して、次のコンテンツの##コメント文字を削除します

viの変更後にSSHサービスを再起動する

5.公開鍵をすべてのスレーブマシンにコピーします。scp〜/ .ssh / id_rsa.pub 192.168.56.132:〜/次にyesと入力して、スレーブマシンのパスワードを入力します

6.スレーブマシンに.sshフォルダを作成します。mkdir〜/ .sshを実行し、chmod 700〜/ .sshを実行します(フォルダが存在する場合は作成する必要はありません)

7.次のコマンドを実行するために、authorized_keys認可ファイルに追加します。cat〜/ id_rsa.pub >>〜/ .ssh / authorized_keys次に、chmod 600〜/ .ssh / authorized_keysを実行します。

8.スレーブで手順4を繰り返します。

9.テスト

第6に、JDKをインストールする

1. JDKをダウンロードします(今回はjdk1.6_45を使用しています)

2. / usr / java /ディレクトリにアップロードします。

3. Jdkの実行権限を変更する

4.インストールを実行する

5.環境変数を設定する

追加:

exportJAVA_HOME = / usr / java / jdk1.6.0_45

exportCLASSPATH =。:$ JAVA_HOME / lib / tools.jar:/lib/dt.jar

エクスポートPATH = $ JAVA_HOME / bin:$ PATH

6.変更を直ちに有効にする

7.テスト

7つ、Hadoopのインストール

1. / home / hadoop /の下にフォルダクラウドを作成し、そのディレクトリにhadoop-2.2.0.tar.gzをダウンロードします。

2.解凍

3.環境変数を設定し、それらを直ちに有効にする

追加:

exportHADOOP_DEV_HOME = / home / hadoop / cloud / hadoop-2.2.0

ExportPATH = $ PATH:$ HADOOP_DEV_HOME / bin

ExportPATH = $ PATH:$ HADOOP_DEV_HOME / sbin

exportHADOOP_MAPARED_HOME = $ {HADOOP_DEV_HOME}

exportHADOOP_COMMON_HOME = $ {HADOOP_DEV_HOME}

exportHADOOP_HDFS_HOME = $ {HADOOP_DEV_HOME}

exportYARN_HOME = $ {HADOOP_DEV_HOME}

exportHADOOP_CONF_DIR = $ {HADOOP_DEV_HOME} / etc / hadoop

4.テスト

5. Haoop設定ファイルを変更する

5.1 hadoop-env.sh設定ファイルを変更し、jdkがあるパスを設定します。

5.2 core-site.xml構成ファイルを変更します(フォルダ/home/hadoop/cloud/tmp/hadoop2.2.0を作成します)

<構成>に追加


<property>

<name>fs.default.name</name>

<value>hdfs://master:8020</value>

<final>true</final>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/home/hadoop/cloud/tmp/hadoop2.2.0</value>

</property>

5.3 yarn-site.xml構成ファイルを変更する

<設定>に追加:


<property>

<name>yarn.resourcemanager.address</name>

<value>master:8032</value>

</property>

<property>

<name>yarn.resourcemanager.scheduler.address</name>

<value>master:8030</value>

</property>

<property>

<name>yarn.resourcemanager.resource-tracker.address</name>

<value>master:8031</value>

</property>

<property>

<name>yarn.resourcemanager.admin.address</name>

<value>master:8033</value>

</property>

<property>

<name>yarn.resourcemanager.webapp.address</name>

<value>master:8088</value>

</property>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<property>

<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

<value>org.apache.hadoop.mapred.ShuffleHandler</value>

</property>

5.4 mapred-site.xml構成ファイルを生成する

5.5 mapred-site.xml構成ファイルを変更します(/ hadoopおよび/ optの作成とアクセス権の問題に注意してください)

<構成>に追加


<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

<property>

<name>mapred.system.dir</name>

<value>file:/hadoop/mapred/system/</value>

<final>true</final>

</property>

<property>

<name>mapred.local.dir</name>

<value>file:/opt/cloud/hadoop_space/mapred/local</value>

<final>true</final>

</property>

5.6 hdfs-site.xml構成ファイルの変更

<設定>に追加:


<property>

<name>dfs.namenode.name.dir</name>

<value>file:/opt/cloud/hadoop_space/dfs/name</value>

<final>true</final>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>file:/opt/cloud/hadoop_space/dfs/data</value>

<description>Determines where on the local

filesystem an DFS data node should store its blocks.

If this is a comma-delimited list of directories,

then data will be stored in all named

Directories, typically on different devices.

Directories that do not exist are ignored.

</description>

<final>true</final>

</property>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

<property>

<name>dfs.permissions</name>

<value>false</value>

</property>

注:dfs.replicationはここではデータのバックアップ数です。データノードは1つだけですので、1になります。複数ある場合は、適切な値を指定できます。デフォルトは3です。

5.6スレーブファイルの変更

スレーブファイルのlocalhostをスレーブに変更する

5.7 hadoop2.2.0のフォルダ全体をスレーブにコピーする

(今回は、スレーブのパスワードを入力せずにリモートでコピーできるはずです)

5.8 /home/hadoop/cloud/tmp/hadoop2.2.0、/ hadoop、および/ opt権限を作成して、スレーブにhadoop環境変数を設定する

5.9マスターでHDFSをフォーマットする

あなたが見るとき

それは成功です!

8つのテスト

開始:

試験1

実行中のプロセスを確認しますが、母親はjdkパスに関連するものは何か、私は仮想マシンを正常に再起動しました。

マスター

スレーブ

試験2:

ブラウザを使用してクラスタの状態を表示する

ライブノードがあることがわかります。

ファイルシステムを参照する:

試験3:

wordcountプログラムの実行

HDFSにファイルを自由にアップロードする

結果を見る


1 Star2 Stars3 Stars4 Stars5 Stars (まだ評価されていません)
Loading...
      この投稿は審査処理中  | 元のサイトへ