헤링의 일상

하둡을 공부하기 시작하면서, 하둡을 한다는 것이 무엇을 의미하는것인지 잘 와닿지 않았다. 처음에는 일차원적으로 M/W로써의 일반적인 특성 (아키텍쳐를 이해하고 그것의 설정값들을 최적화 함으로써 성능을 극대화 시키는 것)을 생각하였고, 그것도 분명히 하둡을 하는 것의 부분집합일 것이다. 하지만 주된 일은 분석하고자 하는 데이터에 따라 MapReduce를 적절히 구현하는 것이며, 이를 위해서 사전에 미리 '빅데이터 분석을 위한 기획'이 정확하게 이루어져야 한다. 그렇다면 MapReduce를 적절히 구현하는 것은 무엇일까? 여러가지 상황들을 보면서 감을 잡아보자. 1. 블로그 접속 수 집계 1) 문제상황 : 어떤 블로그 서비스에서 블로그 별 열람자 수를 확인하고자 한다. 블로그의 열람 요구는 웹 서버에 일 단..