15주차

• 빅데이터 구현 마무리 - elasticsearch를 통한 kibana 시각화 방법 알아보기
• 데이터 샘플(가능 할 경우)
• 주피터 노트북 가상화 - 데이터 재검색 및 통합시키기
• 발표 ppt
• 발표 영상 업로드

진행상황

• 현재 logstash, elasticsearch를 통한 데이터 import 안됨 [2021.12.11 오후 2:18]
• elk 버전 7.1.0으로 재설치 후 재시도
• logstash로 json 파일 읽어들여 elasticsearch index 조회 성공 [2021.12.11 오후 4:25]
• logstash에서 elasticsearch로 csv 파일 데이터 넣기 실패 [2021.12.11 오후 5:44]
• logstash에서 elasticsearch로 csv 파일 데이터 불러오기 성공 [2021.12.11 오후 6:03]
• 엘라스틱서치에서 디스크 용량 부족으로 에러 발생 [2021.12.12 오전 10:14]
• 데이터 양이 많아 60만개에서 1-3만개 정도로 축소중 [2021.12.12 오전 11:33]
• 데이터 축소 완료 [2021.12.12 오후 3:29]
• 갑자기 elasticsearch 및 kibana .bat파일 실행 안 됨. [2021.12.12 오후 3:45]

logstash에서 elasticsearch로 데이터 불러오기

csv 데이터

• kaggle : Air pollutants measured in Seoul

• seoul_dust_logstash.conf

• csv 파일, conf 파일을 logstash.bat 파일이 있는 곳으로 이동

• cmd에서 logstash, seoul_dust_logstash.conf 실행

C:\logstash-7.1.0\bin>logstash -f seoul_dust_logstash.conf

• logstash에서 elasticsearch로 csv 데이터 불러오는 중

• kibana에서 elasticsearch로 데이터 불러오기 성공 확인

• index 필터 목록 확인

• Time Filter에 사용할 필드 지정

• index pattern 생성

엘라스틱서치에서 디스크 용량 부족으로 에러 발생

[2021-12-12T10:04:16,808][WARN ][o.e.c.r.a.DiskThresholdMonitor] [DESKTOP-TE219JC] flood stage disk watermark [95%] exceeded on [dB3cLSxjSYOxxQZzVOBYKA][DESKTOP-TE219JC][C:\Users\klose\Downloads\elasticsearch-7.1.0\data\nodes\0] free: 4.7gb[4%], all indices on this node will be marked read-only

에러가 난 관계로 kibana 기능을 사용해 직접 파일을 추가하여 임포트 하는 방법 시도

• 데이터 양 = 8709개

• 데이터 정보