Ant 와 Ivy를 통해서 Java로 작성된 Open Source를 반영하던 중 특정 Jar 파일에 대한 dependency lock으로 인해 빌드가 더 이상 진행되지 않는 현상이 발생했다. 이는 공통 빌드 서버에서 Apache Solr에 대한 배포작업 (ant deploy)과 바이너리 패키지 작업(ant package)를 진행하던 중 발생한 것으로 동일한 jar파일에 대해 접근하려고 하다가 dead lock이 발생한 것으로 보였다. NOTE: If your build hangs when building and especially on a "resolve" step, it's probably because there are left over lock files in your ivy directory (o..
이클립스Eclipse 작업 중 예기치 않게 종료되는경우나 SVN과 같은 프로세스 진행중 강제로 작업을 종료한 경우, 이클립스를 재실행을 하여도 플러그인을 읽다가 정상적으로 수행되지 않는 경우가 있다. 다양한 이유가 있을 수 있겠지만 대부분 workbench 데이터를 삭제해주면 정상적으로 이클립스를 수행할 수 있다. 1) 이클립스 workspace의 '.lock' 또는 '*.log' 파일 확인하여 에러로그 확인(예제)!ENTRY org.eclipse.e4.ui.workbench.swt 4 2 !MESSAGE Problems occurred when invoking code from plug-in: "org.eclipse.e4.ui.workbench.swt". !STACK 0 java.lang.Illegal..
Apache Storm 빌드 및 테스트
Apache Storm 빌드 및 테스트 - 해당 글은 Apache Storm 1.1.0 을 기준으로 작성되었으며, 릴리즈에 따라서 상세 내용이 변경될 수 있습니다. 1. 사전요구사항 - 메뉴얼에는 Maven 3.2.5 나 그 이하의 버전을 사용할 것을 권고하며 latest는 버그가 많으며 이러한 것들은 패키지간의 의존성을 제대로 연결하지 못할 수 있다고함. 그리고 이것을 사용하면 mvn dependency:tree 명령어가 제대로된 결과값을 보여주지 못할 수도 있다고 기술되어 있음. (https://issues.apache.org/jira/browse/MSHADE-206) 하지만 2017년 09월 06일 기준으로 최신 Maven 버전은 3.5.0 이기 때문에 Maven 3.3.3, 3.3.9 또는 3.5..
Apache Storm 튜토리얼 - (1) 개발환경 구성 및 사전준비
Apache Storm에 자세히 알아보기에 앞서 개발환경을 구성하고 platform을 구성하여 간단한 예제를 수행해 보도록하자. 이를 통해서 대략적으로 storm의 구성이나 동작들을 유추할 수 있다. 1. VM 환경구성 : Apache Storm은 CentOS7에 distributed cluster가 아닌 local mode로 설치할 인데, 이는 테스트와 개발용도로 자주 사용된다. Virtual box 위에 centOS7를 올리고, putty를 통해서 SSH로 접속하였다. 기본적인 OS 환경설정이 궁금하다면 다음을 참고하라. (링크예정) 2. Zookeeper 구성 : Apache Storm을 local mode로 구성하더라도 내부적으로 fast-fail처리를 수행하기 위해서 Apache Zookeepe..
Apache Ambari 튜토리얼 (1)
1. Apache Ambari 소개 - Apache ambari 프로젝트는 하둡 관리를 보다 쉽게 만들기 위한 것을 목표로 한다. 이를 위해 하둡 cluster에 대한 provisioning, managing, monitoring 소프트웨어를 개발하였으며, 계속 발전시키고 있다. Ambari는 직관적이고 사용하기 쉽도록 RESTfull API들을 통하여 webUI를 제공하며, customizing을 쉽게 수행할 수 있다. Ambari를 통해 다음과 같은 시스템 관리를 수행할 수 있다. > Provision a Hadoop Cluster . 여러 host에 hadoop services를 설치하기 위한 wizard를 제공한다. . Cluster들에 대한 hadoop services들의 configuratio..
Virtual Box에 Linux 를 설치하여 사용하는 경우, GUI 에서 작업시 버벅거림으로 사용감이 좋지 않습니다. 하여 포트 포워딩을 통해 putty로 접속하여 사용하는 경우가 많은데, 노트북에서 VM 화면을 띄운 상태로 작업을 하면 이상하게 거슬립니다. 이런 경우 아래와 같이 수행하면 됩니다. ----------------------------------------- * GUIVirtual Box > VM 선택 > 시작 > 헤드리스headless 시작 ----------------------------------------- * CLI> cd {%virtual_box_home%} > VBoxManage list vms (.. 설치된 VM 리스트 확인) >VBoxHeadless -s {%vm_nam..
빅데이터 분석에서 가장 기본예제로 많이 다루어지고, 많이 쓰이는 WordCount.java 라는 예제가 있다. 현업에서의 데이터는 더욱 복잡하고 고려사하이 많아, 주어진 코드와 동일하게 작성되지는 않을지도 모르겠다. 하지만 기본적인 MapReduce의 구성을 분석하는 것은 꼭 필요한 것이라고 생각한다. 소스코드가 조금은 길 수도 있고 쌩뚱맞은 부분들(import가 중간에 나오는 것과 같이)도 있지만, 이것은 소스의 흐름에 따라 이해를 돕기 위함이다.
