환경 Mac, M1 Hadoop 3.3.3 - 독립실행모드(Standalone) 에러 상황 위와 같이 하둡 클러스터 운영을 시작하는 스크립트인 start-all.sh 를 실행시켰을 때, ~Permission denied (publickey,password,keyboard-interactive). 에러가 나는 경우가 있다. 이는 클러스터를 구성하는 각 노드에 공개키가 없을 경우 발생한다. 아래와 같이 해결하면 된다. * 필자는 클러스터를 구성하지 않고 독립실행모드(localhost)로 테스트 하다가 발생한 에러다. 해결 방법 # ssh key 생성 $ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa # 허가된 key 로 등록 $ cat ~/.ssh/id_rsa.pub >> ~/.s..

환경 Mac, M1 1. 요구 사항 Java 자바가 설치되어 있지 않다면, Java 설치 방법 을 참고한다. 하둡 버전에 따라 지원하는 자바 버전이 다르기 때문에, Hadoop Java Versions 에서 참고하여 설치한다. ex: 2. 설치 2-1. 하둡 아카이브 사이트 접근 https://archive.apache.org/dist/hadoop/core/ 2-2. 원하는 버전 다운로드 원하는 버전의 hadoop-x.x.x.tar.gz 파일을 다운로드 한다. (ex: hadoop-3.3.3.tar.gz) 혹은 위 화면에서 hadoop-x.x.x.tar.gz 파일에 마우스 오른쪽 클릭을 해서 링크 복사를 한 다음 wget 명령어로 다운로드 받을 수 있다. 편의상 이 방법으로 하겠다. $ wget http..

하둡 클러스터를 처음 구축하시는 분들에게 도움이 되었으면 합니다. 실습을 위해 VirtualBox 로 우분투 가상 머신을 생성하여 진행하겠습니다. 기본 환경 VitrualBox 6.1.32 Ubuntu 20.04 일단 가상 머신 3개를 생성합니다. 단순 구축 실습이 목적이므로 가상 머신별 리소스를 RAM 2GB, 용량 20GB 으로 할당하여 생성했습니다. 클러스터 환경을 만들기 위한 가상 머신 개수는 2개 이상이면 됩니다. VirtualBox 로 Ubuntu 를 설치하는 과정은 생략하겠습니다. 아래 내용부터 가상 머신을 서버로 표현하겠습니다. 1. 하둡용 계정 생성 서버들이 준비 되었다면, 하둡용 계정을 생성합니다. ​ * root 에서 작업하면 보안 문제가 있을 수 있고, 여러 프로세스가 실행되는 한 ..