헤링의 일상

Apache Storm에 자세히 알아보기에 앞서 개발환경을 구성하고 platform을 구성하여 간단한 예제를 수행해 보도록하자. 이를 통해서 대략적으로 storm의 구성이나 동작들을 유추할 수 있다. 1. VM 환경구성 : Apache Storm은 CentOS7에 distributed cluster가 아닌 local mode로 설치할 인데, 이는 테스트와 개발용도로 자주 사용된다. Virtual box 위에 centOS7를 올리고, putty를 통해서 SSH로 접속하였다. 기본적인 OS 환경설정이 궁금하다면 다음을 참고하라. (링크예정) 2. Zookeeper 구성 : Apache Storm을 local mode로 구성하더라도 내부적으로 fast-fail처리를 수행하기 위해서 Apache Zookeepe..

1. Apache Ambari 소개 - Apache ambari 프로젝트는 하둡 관리를 보다 쉽게 만들기 위한 것을 목표로 한다. 이를 위해 하둡 cluster에 대한 provisioning, managing, monitoring 소프트웨어를 개발하였으며, 계속 발전시키고 있다. Ambari는 직관적이고 사용하기 쉽도록 RESTfull API들을 통하여 webUI를 제공하며, customizing을 쉽게 수행할 수 있다. Ambari를 통해 다음과 같은 시스템 관리를 수행할 수 있다. > Provision a Hadoop Cluster . 여러 host에 hadoop services를 설치하기 위한 wizard를 제공한다. . Cluster들에 대한 hadoop services들의 configuratio..

Virtual Box에 Linux 를 설치하여 사용하는 경우, GUI 에서 작업시 버벅거림으로 사용감이 좋지 않습니다. 하여 포트 포워딩을 통해 putty로 접속하여 사용하는 경우가 많은데, 노트북에서 VM 화면을 띄운 상태로 작업을 하면 이상하게 거슬립니다. 이런 경우 아래와 같이 수행하면 됩니다. ----------------------------------------- * GUIVirtual Box > VM 선택 > 시작 > 헤드리스headless 시작 ----------------------------------------- * CLI> cd {%virtual_box_home%} > VBoxManage list vms (.. 설치된 VM 리스트 확인) >VBoxHeadless -s {%vm_nam..

투명인간 / 성석제 - 주인공 김만수를 기억하는 사람들의 이야기. 다양한 화자들이 돌아가며 만수와 인연이 있었던 이야기를 늘어놓는다. 어릴적부터 만수는 부족함이 많았다. 머리는 크고 팔다리는 가늘었다. 천재 소리를 듣던 백수와는 달리, 공부를 잘 하던 다른 형제들과는 달리 머리도 좋지 못했다. 다만 만수는 성실했고 본인보다 가족들을 항상 우선시 생각했다. 단지 그가 좋아서 했던 일이었다. 그런 그는 역동적인 현대사를 관통하며 다른 이들을 위한 삶을 살았다. 가까이는 그의 가족이였으며, 멀리는 얼굴도 모르는 사람들이었다. 투명인간은 만수가 아니라 그들이었다. 마지막 서강대교 위의 만남은 무엇을 의미하는것인지 잘 모르겠다. 단순히 투명인간 석수의 망상이라고 생각하기엔 너무나 많은 이야기들을 설명하고 있다. ..

빅데이터 분석에서 가장 기본예제로 많이 다루어지고, 많이 쓰이는 WordCount.java 라는 예제가 있다. 현업에서의 데이터는 더욱 복잡하고 고려사하이 많아, 주어진 코드와 동일하게 작성되지는 않을지도 모르겠다. 하지만 기본적인 MapReduce의 구성을 분석하는 것은 꼭 필요한 것이라고 생각한다. 소스코드가 조금은 길 수도 있고 쌩뚱맞은 부분들(import가 중간에 나오는 것과 같이)도 있지만, 이것은 소스의 흐름에 따라 이해를 돕기 위함이다.

하둡을 공부하기 시작하면서, 하둡을 한다는 것이 무엇을 의미하는것인지 잘 와닿지 않았다. 처음에는 일차원적으로 M/W로써의 일반적인 특성 (아키텍쳐를 이해하고 그것의 설정값들을 최적화 함으로써 성능을 극대화 시키는 것)을 생각하였고, 그것도 분명히 하둡을 하는 것의 부분집합일 것이다. 하지만 주된 일은 분석하고자 하는 데이터에 따라 MapReduce를 적절히 구현하는 것이며, 이를 위해서 사전에 미리 '빅데이터 분석을 위한 기획'이 정확하게 이루어져야 한다. 그렇다면 MapReduce를 적절히 구현하는 것은 무엇일까? 여러가지 상황들을 보면서 감을 잡아보자. 1. 블로그 접속 수 집계 1) 문제상황 : 어떤 블로그 서비스에서 블로그 별 열람자 수를 확인하고자 한다. 블로그의 열람 요구는 웹 서버에 일 단..