大数据常用集群脚本一、集群分发同步脚本1.1 在/bin目录下创建xsync文件1cd /bin && vim xsync
1.2 xsync集群分发同步Shell脚本12345678910111213141516171819202122232425262728#!/bin/bash#1. 判断参数个数if [ $# -lt 1 ]then echo Not Enough Arguement! exit;fi#2. 遍历集群所有机器for host in master slave1 slave2do echo ==================== $host ==================== #3. 遍历所有目录,挨个发送 for file in $@ do #4 判断文件是否存在 if [ -e $file ] then #5. 获取父目录 pdir=$(cd -P $(dirname $file); pwd) #6. 获取当前文件的名称 fname=$(basename $file ...
数据开发
未读常用端口号
常用端口号
2.x
3.x
访问 HDFS 端口号
50070
9870
NN 内部通信端口
9000
8020
访问 MR 执行任务情况端口
8088
8088
Yarn 内部通信端口
8032
8032
访问历史服务器端口
19888
19888
历史服务器内部端口
10020
10020
常用配置文件
常用配置文件
作用
core-site.xml
配置 Hadoop 的基本属性,例如 HDFS 的默认文件系统、I/O 和记录日志等设置。
hdfs-site.xml
配置 HDFS 的属性,例如数据块大小、副本数量、名字节点和数据节点的地址、缓存等。
yarn-site.xml
配置 YARN 的属性,例如资源管理器和节点管理器的地址、内存和 CPU 的分配、日志聚合等。
mapred-site.xml
配置 MapReduce 的属性,例如作业跟踪器和任务跟踪器的地址、作业优先级、输出压缩等。
hadoop-env.sh
配置 Hadoop 的环境变量,例如 JAVA_HOME、HADOOP_H ...
基于 Ububtu Server 20.04.1 LTS 版本Hadoop 3.1.3 版本
一、重新设置主机名12hostnamectl set-hostname localhostbash
二、关闭防火墙防火墙常用命令
Ubuntu安装防火墙 sudo apt-get install ufw -y
查看防火墙开启状态 sudo ufw status
开启某个端口(以8866为例) sudo ufw allow 8866
开启防火墙 sudo ufw enable
关闭防火墙 sudo ufw disable
重启防火墙 sudo ufw reload
禁止某个端口(以8866为例) sudo ufw delete allow 8866
查看端口IP netstat -ltn
2.1 关闭防火墙1ufw disable
2.2 检查防火墙是否关闭1ufw status
三、设置IP映射2.1 主节点配置 hosts 文件1vim /etc/hosts
3.2 添加ip地址和主机名110.211.55.60 localhost
3.3 测试IP映射配置1pin ...
