Data Engineering(13)
-
[Mac, M1]Permission denied (publickey,password,keyboard-interactive). 해결 방법
환경 Mac, M1 Hadoop 3.3.3 - 독립실행모드(Standalone) 에러 상황 위와 같이 하둡 클러스터 운영을 시작하는 스크립트인 start-all.sh 를 실행시켰을 때, ~Permission denied (publickey,password,keyboard-interactive). 에러가 나는 경우가 있다. 이는 클러스터를 구성하는 각 노드에 공개키가 없을 경우 발생한다. 아래와 같이 해결하면 된다. * 필자는 클러스터를 구성하지 않고 독립실행모드(localhost)로 테스트 하다가 발생한 에러다. 해결 방법 # ssh key 생성 $ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa # 허가된 key 로 등록 $ cat ~/.ssh/id_rsa.pub >> ~/.s..
2022.08.10 -
[Mac, M1]ssh: connect to host localhost port 22: Connection refused 해결 방법
환경 Mac, M1 해결 방법 ssh: connect to host localhost port 22: Connection refused 위와 같은 에러 메시지가 떴을 경우 해결하는 방법이다. # localhost 접속 시도 $ ssh localhost # remote login 상태 확인 $ sudo systemsetup -getremotelogin # remote login 상태 on(혹은 off) $ sudo systemsetup -setremotelogin on # localhost 접속 재시도 $ ssh localhost
2022.08.10 -
[Mac, M1]MariaDB root 비밀번호 설정
환경 Mac, M1 MariaDB - 10.8.3 1. MariaDB 실행 MariaDB 가 설치되어 있지 않다면 MariaDB설치 를 참고한다. $ mariadb MariaDB 설치 후 따로 비밀번호 설정이 없었다면 위와 같이 바로 접속되는 것을 확인할 수 있다. 2. 계정 목록 확인 # 데이터베이스 목록 확인 > show database; # mysql 데이터베이스 접근 > use mysql # user 테이블에서 호스트, 유저, 패스워드 확인 > select host, user, password from user; localhost 호스트에서 root 유저를 확인할 수 있다. 3. root 계정 비밀번호 설정 # '비밀번호' 부분에 원하는 비밀번호 입력 후 명령어 실행 # MariaDB 10.5 이..
2022.08.08 -
[Mac, M1]DBeaver 설치
1. 다운로드 및 설치 https://dbeaver.io/download/ Download | DBeaver Community Download Tested and verified for MS Windows, Linux and Mac OS X. Install: Windows installer – run installer executable. It will automatically upgrade version (if needed). MacOS DMG – just run it and drag-n-drop DBeaver into Applications. Debian package dbeaver.io 위 사이트에 들어간다. 사용자 환경에 맞는 파일을 다운로드 후 설치한다. 2. 실행 설치한 DBeaver 를 실행..
2022.08.06 -
[Mac, M1]MariaDB 설치
1. 설치 $ brew install mariadb * Homebrew 가 설치되어 있지 않다면, Homebrew 설치 참고. 2. 설치 확인 $ mariadb -V 위 내용 중 15.1 은 MariaDB 가 사용하는 DB console 버전이고, 10.8.3 이 MariaDB 버전이다. 3. mariadb 서버 실행 # mariadb 서버 실행 $ brew services start mariadb # mariadb 서버 중지 $ brew services stop mariadb # mariadb 서버 재시작 $ brew services restart mariadb # mariadb 서버 실행 확인 $ brew services list * mariadb 는 mysql.server start 명령어로 실행하..
2022.08.06 -
[Mac, M1]Homebrew 설치
환경 Mac, M1 - macOS Monterey 12.4 설치 $ /usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)" $ echo 'eval "$(/opt/homebrew/bin/brew shellenv)"' >> /Users/{사용자명}/.zprofile $ eval "$(/opt/homebrew/bin/brew shellenv)" 사용자 환경에 따라 {사용자명} 수정 확인
2022.08.06 -
[Mac, M1]Spark 특정 버전 설치
환경 Mac, M1 1. 다운로드 https://archive.apache.org/dist/spark/ Index of /dist/spark archive.apache.org 위 사이트에서 원하는 버전을 다운로드 하면 된다. 단, 원하는 버전의 패키지 타입은 Spark 를 Yarn 에서 실행할 거라면 미리 Hadoop 버전을 고려해서 선택해야 한다. https://spark.apache.org/downloads.html Downloads | Apache Spark Download Apache Spark™ Choose a Spark release: Choose a package type: Download Spark: Verify this release using the and project release ..
2022.08.05 -
[Mac, M1]vi 백스페이스 안됨 해결
Mac, M1 환경에서 vi 를 사용할 때 백스페이스가 안될 경우 아래와 같이 해결할 수 있다. $ vi ~/.vimrc # 아래 내용을 ~/.vimrc 에 추가 set backspace=indent,eol,start $ source ~/.vimrc
2022.08.03 -
[Mac, M1]Hadoop 특정 버전 설치(독립실행모드)
환경 Mac, M1 1. 요구 사항 Java 자바가 설치되어 있지 않다면, Java 설치 방법 을 참고한다. 하둡 버전에 따라 지원하는 자바 버전이 다르기 때문에, Hadoop Java Versions 에서 참고하여 설치한다. ex: 2. 설치 2-1. 하둡 아카이브 사이트 접근 https://archive.apache.org/dist/hadoop/core/ 2-2. 원하는 버전 다운로드 원하는 버전의 hadoop-x.x.x.tar.gz 파일을 다운로드 한다. (ex: hadoop-3.3.3.tar.gz) 혹은 위 화면에서 hadoop-x.x.x.tar.gz 파일에 마우스 오른쪽 클릭을 해서 링크 복사를 한 다음 wget 명령어로 다운로드 받을 수 있다. 편의상 이 방법으로 하겠다. $ wget http..
2022.08.03 -
[Mac, M1]zsh-syntax-highlighting 설치
* zsh-syntax-highlighting: 구문 강조 zsh 플러그인 1. 설치 $ brew install zsh-syntax-highlighting 2. 추가 작업 $ vi ~/.zshrc # .zshrc 파일에 아래 내용을 추가 후 저장한다. source /opt/homebrew/share/zsh-syntax-highlighting/zsh-syntax-highlighting.zsh # 아래 명령어를 입력하거나 새로운 터미널을 실행한다. $ source ~/.zshrc 3. 확인 사용 가능한 명령어는 초록색으로 표시되고, 아닌 경우는 빨간색으로 표시된다.
2022.08.02