[끄적끄적] Apache Storm, Hbase, 빅데이터 보안, Flume&Kafka
* 스톰 1. 개요 - 실시간 데이터를 병렬 분산 처리하기 위한 SW. 실시간 처리를 위해서는 이벤트가 발생함과 동시에 감지하여 데이터를 적재하는 방식과 데이터 적재와 동시에 마이크로 배치를 실행해 이벤트를 감지하는 방식이 있는데, 스톰은 전자에 해당한다. 2. 주요 구성요소 - spout : 외부로부터 데이터를 유입받아 가공 처리해서 튜플을 생성. 이후 해당 튜플을 bolt에 전송 - bolt : 튜플을 받아 실제 분산 작업을 수행하며, 필터링(filtering), 집계(aggregation), 조인(join)등의 연산을 병렬로 실행 - topology : spout-bolt의 데이터 처리 흐름을 정의. 하나의 spout와 다수의 bolt로 구성 - nimbus : topology를 supervisor..
02.IT공부(간헐적취미)/IT뉴스
2017. 12. 28. 17:40
