腊月的季节

Hadoop研究(一)

Hadoop节点

Master:Namenode、Secondary、Namenode、Jobtracker。浏览器(用于观看 管理界面),其它Hadoop工具
Slave:Tasktracker、Datanode

三种运行模式

单机模式:安装简单,几乎不用作任何配置,但权限于调试用途。
伪分布模式:在单节点上同时启动namenode、datanode、jobtracker、tasktrack、secondary namenode等5个进程,模拟分布式运行的各个节点。
完全分布式模式:正常的hadoop集群,由多个各司其职的节点构成。

安装部署

namenode 192.168.83.130
datanode 192.168.83.128
datanode 192.168.83.131

ssh公钥私钥

在.ssh目录,这个目录一般设置到需要登录的用户目录下的.ssh目录,使用ssh-keygen -t rsa 生成公钥密钥对。
生成两个文件:
私钥文件:id_rsa
公钥文件:id_rsa.pub
将公钥文件id_rsa.pub内容放到authorized_keys文件中:

1
cat id_rsa.pub >> authorized_keys

将公钥文件authorized_keys分发到各个主机上:

1
scp authorized_keys root@ip地址或主机名:/root/.ssh/

即可无密码登录。

热评文章