환경 Mac, M1 Hadoop 3.3.3 - 독립실행모드(Standalone) 에러 상황 위와 같이 하둡 클러스터 운영을 시작하는 스크립트인 start-all.sh 를 실행시켰을 때, ~Permission denied (publickey,password,keyboard-interactive). 에러가 나는 경우가 있다. 이는 클러스터를 구성하는 각 노드에 공개키가 없을 경우 발생한다. 아래와 같이 해결하면 된다. * 필자는 클러스터를 구성하지 않고 독립실행모드(localhost)로 테스트 하다가 발생한 에러다. 해결 방법 # ssh key 생성 $ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa # 허가된 key 로 등록 $ cat ~/.ssh/id_rsa.pub >> ~/.s..

환경 Mac, M1 해결 방법 ssh: connect to host localhost port 22: Connection refused 위와 같은 에러 메시지가 떴을 경우 해결하는 방법이다. # localhost 접속 시도 $ ssh localhost # remote login 상태 확인 $ sudo systemsetup -getremotelogin # remote login 상태 on(혹은 off) $ sudo systemsetup -setremotelogin on # localhost 접속 재시도 $ ssh localhost

환경 Mac, M1 MariaDB - 10.8.3 1. MariaDB 실행 MariaDB 가 설치되어 있지 않다면 MariaDB설치 를 참고한다. $ mariadb MariaDB 설치 후 따로 비밀번호 설정이 없었다면 위와 같이 바로 접속되는 것을 확인할 수 있다. 2. 계정 목록 확인 # 데이터베이스 목록 확인 > show database; # mysql 데이터베이스 접근 > use mysql # user 테이블에서 호스트, 유저, 패스워드 확인 > select host, user, password from user; localhost 호스트에서 root 유저를 확인할 수 있다. 3. root 계정 비밀번호 설정 # '비밀번호' 부분에 원하는 비밀번호 입력 후 명령어 실행 # MariaDB 10.5 이..

1. 다운로드 및 설치 https://dbeaver.io/download/ Download | DBeaver Community Download Tested and verified for MS Windows, Linux and Mac OS X. Install: Windows installer – run installer executable. It will automatically upgrade version (if needed). MacOS DMG – just run it and drag-n-drop DBeaver into Applications. Debian package dbeaver.io 위 사이트에 들어간다. 사용자 환경에 맞는 파일을 다운로드 후 설치한다. 2. 실행 설치한 DBeaver 를 실행..

1. 설치 $ brew install mariadb * Homebrew 가 설치되어 있지 않다면, Homebrew 설치 참고. 2. 설치 확인 $ mariadb -V 위 내용 중 15.1 은 MariaDB 가 사용하는 DB console 버전이고, 10.8.3 이 MariaDB 버전이다. 3. mariadb 서버 실행 # mariadb 서버 실행 $ brew services start mariadb # mariadb 서버 중지 $ brew services stop mariadb # mariadb 서버 재시작 $ brew services restart mariadb # mariadb 서버 실행 확인 $ brew services list * mariadb 는 mysql.server start 명령어로 실행하..

환경 Mac, M1 - macOS Monterey 12.4 설치 $ /usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)" $ echo 'eval "$(/opt/homebrew/bin/brew shellenv)"' >> /Users/{사용자명}/.zprofile $ eval "$(/opt/homebrew/bin/brew shellenv)" 사용자 환경에 따라 {사용자명} 수정 확인

환경 Mac, M1 1. 다운로드 https://archive.apache.org/dist/spark/ Index of /dist/spark archive.apache.org 위 사이트에서 원하는 버전을 다운로드 하면 된다. 단, 원하는 버전의 패키지 타입은 Spark 를 Yarn 에서 실행할 거라면 미리 Hadoop 버전을 고려해서 선택해야 한다. https://spark.apache.org/downloads.html Downloads | Apache Spark Download Apache Spark™ Choose a Spark release: Choose a package type: Download Spark: Verify this release using the and project release ..

Mac, M1 환경에서 vi 를 사용할 때 백스페이스가 안될 경우 아래와 같이 해결할 수 있다. $ vi ~/.vimrc # 아래 내용을 ~/.vimrc 에 추가 set backspace=indent,eol,start $ source ~/.vimrc

환경 Mac, M1 1. 요구 사항 Java 자바가 설치되어 있지 않다면, Java 설치 방법 을 참고한다. 하둡 버전에 따라 지원하는 자바 버전이 다르기 때문에, Hadoop Java Versions 에서 참고하여 설치한다. ex: 2. 설치 2-1. 하둡 아카이브 사이트 접근 https://archive.apache.org/dist/hadoop/core/ 2-2. 원하는 버전 다운로드 원하는 버전의 hadoop-x.x.x.tar.gz 파일을 다운로드 한다. (ex: hadoop-3.3.3.tar.gz) 혹은 위 화면에서 hadoop-x.x.x.tar.gz 파일에 마우스 오른쪽 클릭을 해서 링크 복사를 한 다음 wget 명령어로 다운로드 받을 수 있다. 편의상 이 방법으로 하겠다. $ wget http..

* zsh-syntax-highlighting: 구문 강조 zsh 플러그인 1. 설치 $ brew install zsh-syntax-highlighting 2. 추가 작업 $ vi ~/.zshrc # .zshrc 파일에 아래 내용을 추가 후 저장한다. source /opt/homebrew/share/zsh-syntax-highlighting/zsh-syntax-highlighting.zsh # 아래 명령어를 입력하거나 새로운 터미널을 실행한다. $ source ~/.zshrc 3. 확인 사용 가능한 명령어는 초록색으로 표시되고, 아닌 경우는 빨간색으로 표시된다.

1. openJDK 설치 1) adoptopenjdk/openjdk 저장소 추가 $ brew tap adoptopenjdk/openjdk 2) cask 설치 $ brew install cask 3) 설치 가능한 openjdk 리스트 확인 $ brew search adoptopenjdk 4) 원하는 버전 설치 $ brew install --cask adoptopenjdk16 5) 확인 2. openJDK 삭제 1) 삭제할 openJDK 확인 $ cd /Library/Java/JavaVirtualMachines $ ls # 아래와 같이 설치되어 있는 openJDK 를 확인할 수 있다.(ex: adoptopenjdk-16.jdk) stopleaf@stopleaf JavaVirtualMachines % ls a..

환경 Mac, M1 - macOS Monterey 12.4 참고 pyenv: 파이썬 버전 관리 pyenv-virtualenv: 파이썬 가상환경 관리 1. pyenv 설치 $ brew install pyenv * Homebrew 가 설치되어 있지 않다면, Homebrew 설치 참고. $ vi ~/.zshrc # ~/.zshrc 에 아래 내용 추가 export PYENV_ROOT="$HOME/.pyenv" export PATH="$PYENV_ROOT/bin:$PATH" if command -v pyenv 1>/dev/null 2>&1; then eval "$(pyenv init --path)" fi $ source ~/.zshrc 2. Python 설치 $ brew install zlib bzip2 $ vi..

하둡 클러스터를 처음 구축하시는 분들에게 도움이 되었으면 합니다. 실습을 위해 VirtualBox 로 우분투 가상 머신을 생성하여 진행하겠습니다. 기본 환경 VitrualBox 6.1.32 Ubuntu 20.04 일단 가상 머신 3개를 생성합니다. 단순 구축 실습이 목적이므로 가상 머신별 리소스를 RAM 2GB, 용량 20GB 으로 할당하여 생성했습니다. 클러스터 환경을 만들기 위한 가상 머신 개수는 2개 이상이면 됩니다. VirtualBox 로 Ubuntu 를 설치하는 과정은 생략하겠습니다. 아래 내용부터 가상 머신을 서버로 표현하겠습니다. 1. 하둡용 계정 생성 서버들이 준비 되었다면, 하둡용 계정을 생성합니다. ​ * root 에서 작업하면 보안 문제가 있을 수 있고, 여러 프로세스가 실행되는 한 ..