Centos 7.9 + Hadoop
참고 사이트
https://dataonair.or.kr/db-tech-reference/d-guide/data-practical/?mod=document&uid=385
하둡 설치
하둡 분산 파일 시스템을 구축하려면 다음과 같은 시스템 요구 사항을 만족해야 한다. 리눅스 운영체제 JDK 1.6.x 또는 그 이상 버전 ssh 지원 하둡은 리눅스 명령으로 시스템 정보를 수집한다. 그
dataonair.or.kr
1. 싱글노드
https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html
Apache Hadoop 3.3.4 – Hadoop: Setting up a Single Node Cluster.
<!--- Licensed under the Apache License, Version 2.0 (the "License"); you may not use this file except in compliance with the License. You may obtain a copy of the License at http://www.apache.org/licenses/LICENSE-2.0 Unless required by applicable law or a
hadoop.apache.org
-Standalone
-Pseudo-Distributed Operation
$HADOOP_HOME/etc/hadoop/core-site.xml 설정
$HADOOP_HOME/etc/hadoop/hdfs-site.xml 설정
명령어
#네임노드 포맷 : 네임노드 설정 디렉토리의 fsimage와 edits파일이 초기화된다.
bin/hdfs namecode -format#실행
sbin/start-dfs.sh
ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: Failed to start namenode.
java.lang.IllegalArgumentException: Invalid URI for NameNode address (check fs.defaultFS): file:/// has no authority.start-dfs.sh 실행 후 위와 같은 에러발생 시 hdfs-site.xml에 fs.defaultFS 관련 설정을 확인한다.
관리페이지 접속
2. 클러스터
https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/ClusterSetup.html
Apache Hadoop 3.3.4 – Hadoop Cluster Setup
<!--- Licensed under the Apache License, Version 2.0 (the "License"); you may not use this file except in compliance with the License. You may obtain a copy of the License at http://www.apache.org/licenses/LICENSE-2.0 Unless required by applicable law or a
hadoop.apache.org