[Mac, M1]Hadoop 특정 버전 설치(독립실행모드)

환경

• Mac, M1

 

 

1. 요구 사항

• Java

 

자바가 설치되어 있지 않다면, Java 설치 방법 을 참고한다.

하둡 버전에 따라 지원하는 자바 버전이 다르기 때문에,

Hadoop Java Versions 에서 참고하여 설치한다.

 

ex:

 

 

 

2. 설치

 

2-1. 하둡 아카이브 사이트 접근

https://archive.apache.org/dist/hadoop/core/

 

2-2. 원하는 버전 다운로드

 

원하는 버전의 hadoop-x.x.x.tar.gz 파일을 다운로드 한다. (ex: hadoop-3.3.3.tar.gz)

 

혹은 위 화면에서 hadoop-x.x.x.tar.gz 파일에 마우스 오른쪽 클릭을 해서 링크 복사를 한 다음 wget 명령어로 다운로드 받을 수 있다. 편의상 이 방법으로 하겠다.

$ wget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.3/hadoop-3.3.3.tar.gz

 

2-3. 압축 해제 및 원하는 경로로 파일 옮기기

 

다운로드 받은 파일이 있는 경로에서 아래 내용을 실행한다.

# 압축 해제
$ tar xvfz hadoop-3.3.3.tar.gz

# 원하는 경로로 파일 옮기기
$ mv hadoop-3.3.3 /Users/stopleaf/dev/hadoop-3.3.3 

# 심볼릭 링크 설정(선택)
$ ln -s /Users/stopleaf/dev/hadoop-3.3.3 /Users/stopleaf/dev/hadoop

# 압축 파일 삭제
$ rm hadoop-3.3.3.tar.gz

 

2-4. 설정

$ vi ~/.zshrc

# Java
export JAVA_HOME="/Library/Java/JavaVirtualMachines/adoptopenjdk-8.jdk/Contents/Home"
export CLASS_PATH="."

# Hadoop
export HADOOP_HOME="/Users/stopleaf/dev/hadoop"
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

위 내용을 ~/.zshrc 파일에 추가한다. JAVA_HOME 경로와 HADOOP_HOME 경로는 사용자 환경에 따라 다를 수 있기 때문에 확인해야 한다.

 

$ source ~/.zshrc

위와 같이 설정해주고 나면 기본적인 설치는 끝났다.

따로 추가 설정을 하지 않는 한 기본적으로 독립실행모드(Standalone)이다.

 

 

3. 테스트

# 하둡 명령어 확인
$ hadoop

# 하둡 버전 확인
$ hadoop version

 

 

$ cd $HADOOP_HOME
$ mkdir input
$ cp etc/hadoop/*.xml input

# jar 파일 실행 테스트
$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.3.jar grep input output 'dfs[a-z.]+'

# 결과 확인
$ cat output/*

 

 

끝.