13주차

22 Nov 2021

Reading time ~1 minute

13주차

아키텍쳐 정하기
아키텍쳐 사용 방법 알아보기
빅데이터 환경 구현 - 1 : 데이터 분석

아키텍쳐

Elasticsearch 사용 방법 알아보기 (1순위)
Hadoop 설치 해보기 (2순위) -> Ealsticsearch 사용이 어려운 경우

ELK 사용 방법

1. Elasticsearch 설치

Elasticsearch 7.9.2 패키지 설치

$ wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.9.2-amd64.deb 
$ wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.9.2-amd64.deb.sha512 
$ shasum -a 512 -c elasticsearch-7.9.2-amd64.deb.sha512 
$ sudo dpkg -i elasticsearch-7.9.2-amd64.deb

2. Logstash 설치

리포지토리 키 설치

root# wget -O - https://artifacts.elastic.co/GPG-KEY-elasticsearch | apt-key add -

리포지토리 키 추가

root# echo "deb https://artifacts.elastic.co/packages/7.x/apt stable main" > /etc/apt/sources.list.d/elasticsearch.list

apt-get 업데이트

root# sudo apt-get update

logstash 다운로드

root# sudo apt-get install logstash

3. Kibana 설치

4. csv 파일 import 하기

logstash.conf 파일 작성

VM이 제대로 작동하지 않아 부득이하게 window cmd를 사용하여 ELK 설치

1. Elasticsearch

아래 주소에서 윈도우용 Elasticsearch 다운로드

https://www.elastic.co/kr/downloads/elasticsearch

다운로드한 파일 압축 푼 후 elasticsearch.bat 실행 및 elasticsearch 설치

Elasticsearch 설치 확인 -> http://localhost:9200/

2. Logstash

Logstash 다운로드

https://www.elastic.co/kr/downloads/logstash

Elasticsearch가 켜져있는 상태에서 cmd 입력

C:\logstash-7.15.2\bin>logstash -e "input {stdin{}} output {stdout{}}"

lostash가 실행되면 hello world 입력 테스트

3. Kibana

Elasticsearch와 같은 버전 다운로드 (후에 7.15.2버전에서 에러나 생겨 6.8.20버전 사용)

https://www.elastic.co/kr/downloads/kibana

C:\Users\klose\Downloads\kibana-6.8.20-windows-x86_64\bin> kibana

kibana 성공

kibana, elasticsearch 연동 성공