Hadoop(2)
-
[Mac, M1]Permission denied (publickey,password,keyboard-interactive). 해결 방법
환경 Mac, M1 Hadoop 3.3.3 - 독립실행모드(Standalone) 에러 상황 위와 같이 하둡 클러스터 운영을 시작하는 스크립트인 start-all.sh 를 실행시켰을 때, ~Permission denied (publickey,password,keyboard-interactive). 에러가 나는 경우가 있다. 이는 클러스터를 구성하는 각 노드에 공개키가 없을 경우 발생한다. 아래와 같이 해결하면 된다. * 필자는 클러스터를 구성하지 않고 독립실행모드(localhost)로 테스트 하다가 발생한 에러다. 해결 방법 # ssh key 생성 $ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa # 허가된 key 로 등록 $ cat ~/.ssh/id_rsa.pub >> ~/.s..
2022.08.10 -
[Mac, M1]Hadoop 특정 버전 설치(독립실행모드)
환경 Mac, M1 1. 요구 사항 Java 자바가 설치되어 있지 않다면, Java 설치 방법 을 참고한다. 하둡 버전에 따라 지원하는 자바 버전이 다르기 때문에, Hadoop Java Versions 에서 참고하여 설치한다. ex: 2. 설치 2-1. 하둡 아카이브 사이트 접근 https://archive.apache.org/dist/hadoop/core/ 2-2. 원하는 버전 다운로드 원하는 버전의 hadoop-x.x.x.tar.gz 파일을 다운로드 한다. (ex: hadoop-3.3.3.tar.gz) 혹은 위 화면에서 hadoop-x.x.x.tar.gz 파일에 마우스 오른쪽 클릭을 해서 링크 복사를 한 다음 wget 명령어로 다운로드 받을 수 있다. 편의상 이 방법으로 하겠다. $ wget http..
2022.08.03