환경 Mac, M1 Hadoop 3.3.3 - 독립실행모드(Standalone) 에러 상황 위와 같이 하둡 클러스터 운영을 시작하는 스크립트인 start-all.sh 를 실행시켰을 때, ~Permission denied (publickey,password,keyboard-interactive). 에러가 나는 경우가 있다. 이는 클러스터를 구성하는 각 노드에 공개키가 없을 경우 발생한다. 아래와 같이 해결하면 된다. * 필자는 클러스터를 구성하지 않고 독립실행모드(localhost)로 테스트 하다가 발생한 에러다. 해결 방법 # ssh key 생성 $ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa # 허가된 key 로 등록 $ cat ~/.ssh/id_rsa.pub >> ~/.s..

1. 설치 $ brew install mariadb * Homebrew 가 설치되어 있지 않다면, Homebrew 설치 참고. 2. 설치 확인 $ mariadb -V 위 내용 중 15.1 은 MariaDB 가 사용하는 DB console 버전이고, 10.8.3 이 MariaDB 버전이다. 3. mariadb 서버 실행 # mariadb 서버 실행 $ brew services start mariadb # mariadb 서버 중지 $ brew services stop mariadb # mariadb 서버 재시작 $ brew services restart mariadb # mariadb 서버 실행 확인 $ brew services list * mariadb 는 mysql.server start 명령어로 실행하..

환경 Mac, M1 - macOS Monterey 12.4 설치 $ /usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)" $ echo 'eval "$(/opt/homebrew/bin/brew shellenv)"' >> /Users/{사용자명}/.zprofile $ eval "$(/opt/homebrew/bin/brew shellenv)" 사용자 환경에 따라 {사용자명} 수정 확인

환경 Mac, M1 1. 다운로드 https://archive.apache.org/dist/spark/ Index of /dist/spark archive.apache.org 위 사이트에서 원하는 버전을 다운로드 하면 된다. 단, 원하는 버전의 패키지 타입은 Spark 를 Yarn 에서 실행할 거라면 미리 Hadoop 버전을 고려해서 선택해야 한다. https://spark.apache.org/downloads.html Downloads | Apache Spark Download Apache Spark™ Choose a Spark release: Choose a package type: Download Spark: Verify this release using the and project release ..

1. openJDK 설치 1) adoptopenjdk/openjdk 저장소 추가 $ brew tap adoptopenjdk/openjdk 2) cask 설치 $ brew install cask 3) 설치 가능한 openjdk 리스트 확인 $ brew search adoptopenjdk 4) 원하는 버전 설치 $ brew install --cask adoptopenjdk16 5) 확인 2. openJDK 삭제 1) 삭제할 openJDK 확인 $ cd /Library/Java/JavaVirtualMachines $ ls # 아래와 같이 설치되어 있는 openJDK 를 확인할 수 있다.(ex: adoptopenjdk-16.jdk) stopleaf@stopleaf JavaVirtualMachines % ls a..