Hadoop节点
Master:Namenode、Secondary、Namenode、Jobtracker。浏览器(用于观看 管理界面),其它Hadoop工具
Slave:Tasktracker、Datanode
三种运行模式
单机模式:安装简单,几乎不用作任何配置,但权限于调试用途。
伪分布模式:在单节点上同时启动namenode、datanode、jobtracker、tasktrack、secondary namenode等5个进程,模拟分布式运行的各个节点。
完全分布式模式:正常的hadoop集群,由多个各司其职的节点构成。
安装部署
namenode 192.168.83.130
datanode 192.168.83.128
datanode 192.168.83.131
ssh公钥私钥
在.ssh目录,这个目录一般设置到需要登录的用户目录下的.ssh目录,使用ssh-keygen -t rsa 生成公钥密钥对。
生成两个文件:
私钥文件:id_rsa
公钥文件:id_rsa.pub
将公钥文件id_rsa.pub内容放到authorized_keys文件中:1
cat id_rsa.pub >> authorized_keys
将公钥文件authorized_keys分发到各个主机上:1
scp authorized_keys root@ip地址或主机名:/root/.ssh/
即可无密码登录。