11주차 회의
회의 주제
- 빅데이터 프로젝트 주제 선정
- 빅데이터 아키텍쳐 선택 및 조사
- 특장점 설명
프로젝트 주제
- 미세먼지 농도 분석
- 주제 선정 이유
- 현재 중국의 황사나 심한 스모그때 우리나라로 날아오는 것만으로도 미세먼지가 발생한다. 자동차 배출가스나 공장 굴뚝 등을 통해서 배출이 되는데, 우리나라에서도 미세먼지는 이제 함께 안고 가야 할 대기 오염 중 하나이다. 이러한 환경 오염의 상태를 보다 더 정확하고 앞으로 다가올 더욱 심한 환경 오염에 대비 할 수 있도록 그와 관련된 데이터를 통해 경각심을 가지려 노력해야 한다.
데이터 수집
- 데이터 자료수집에 참고한 사이트
아키텍쳐 선정
- 교수님께서 수업 때 설명해 주셨던 elasticsearch 고려중(12주차에 다시 정하기)
특장점(아키텍쳐)
- Beats 6.4.2 : 가벼운 데이터 수집기. 로그, 메트릭, 네트워크, 이벤트, 감사데이터, 가동시간 모니터링 등을 실시간 수집
- Logstash 6.4.2 : 데이터 집계, 변환, 저장. 다양한 소스에서 동시에 데이터를 수집하여 변환한 후 분석, 변환하여 저장소(elasticsearch)에 전달
- Elasticsearch 6.4.2 : 분산형 RESTful 검색 및 분석 엔진. 정형, 비정형 데이터, 위치정보, 메트릭등 다양한 데이터를 원하는 방식으로 검색하고 저장
- Kibana 6.4.2 : 로그 검색, 관계 분석 등을 위한 인터랙티브 시각화 도구
다음 회의 까지 생각해 볼 것
- 더 좋은 아키텍쳐가 있는지 알아보기(한규리)
- 아키텍쳐 선정 후 각각의 자세한 특장점 조사하기(김효진)
- 데이터 자료 최종 결정하기(김효진, 한규리)