시작하며
Elastic Stack(ELK Stack)은 ElasticSearch, Logstash, Beats, Kibana의 네 가지 오픈소스 도구로 구성되는 데이터 수집·저장·검색·시각화 플랫폼이다. 각 컴포넌트의 역할과 상호 연계 방식을 전체적으로 정리한다.
Elastic Stack 전체 구성
데이터 흐름
Elastic Stack의 전형적인 데이터 흐름은 다음과 같다.
데이터 소스 → Beats → (Logstash) → ElasticSearch → Kibana
- Beats: 최전방에서 데이터를 수집하는 경량 에이전트
- Logstash: 수집된 데이터를 전처리하고 변환하는 파이프라인 도구 (선택적)
- ElasticSearch: 데이터를 색인하고 검색·집계 쿼리를 처리하는 분산 검색 엔진
- Kibana: ElasticSearch 데이터를 시각화하고 탐색하는 웹 UI
각 컴포넌트 요약
| 컴포넌트 | 역할 | 주요 특징 |
|---|---|---|
| ElasticSearch | 검색·저장·집계 | REST API, 역인덱싱, 분산 아키텍처 |
| Logstash | 데이터 전처리 | input/filter/output 파이프라인 |
| Beats | 경량 데이터 수집 | Go 기반, 다양한 환경 지원 |
| Kibana | 시각화·탐색 | 인덱스 패턴, Discover, Dashboard |
학습 포인트
이 시리즈에서 다룬 주요 내용은 다음과 같다.
- ElasticSearch 기초: 인덱스/도큐먼트 CRUD, 벌크 API, 매핑, 인덱스 템플릿, 분석기
- ElasticSearch 집계: 메트릭 집계, 버킷 집계, 파이프라인 집계
- Logstash: grok/dissect 필터, sincedb, 코덱, 다중 파이프라인
- Beats: Filebeat 구조(input-harvester-spooler), 멀티라인, 모듈
- Kibana: 인덱스 패턴, Discover, Visualize, Dashboard, Canvas
- 실전 예제: Kaggle CSV 적재, Twitter 데이터 수집과 한글 형태소 분석기 적용
정리하며
Elastic Stack은 로그 분석, 검색 서비스, 데이터 파이프라인 구축 등 다양한 목적으로 활용되는 성숙한 오픈소스 플랫폼이다. 단순한 도구 학습을 넘어 각 컴포넌트가 어떤 역할을 담당하고 어떻게 연계되는지 이해하는 것이 실무 활용의 핵심이다. 이 시리즈를 통해 Elastic Stack의 전체 흐름을 파악하고, 실제 데이터 파이프라인 설계에 응용해볼 수 있다.