헤링의 일상

> Google Cloud Summit 2019 를 다녀왔다. 작년에 이어 올해 서울에서 두번째로 진행이 되었다고 하는데, 사실상 올해부터 무료 온라인 교육, 오프라인 세미나 등 공격적으로 마켓팅을 하고 있다. 이미 AWS가 시장을 선도하고 있는 가운데, Google이라는 공룡이 새로이 시장에 뛰어듬으로써 AWS - MS - Google 의 치열한 경쟁이 펼쳐질 것으로 생각된다. TechRepublic (https://www.techrepublic.com/article/public-cloud-market-share-numbers-keep-missing-the-point/)을 참조해 보면 2018년 기준 AWS(47.8%), MS(15.5%), Google(4.0%) 의 시장 점유율을 보이고 있는데 이는 ..

데이터 엔지니어, 데이터 분석가 그리고 데이터 사이언티스트 차이 요즘 가장 핫한 직업을 꼽으라면 빠지지 않는 것이 바로 '데이터 사이언티스트(Data Scientist)'이다. 많은 사람들이 직업을 얻기 위해, 직장에서 조금 더 좋은 대우를 받기 위해서 데이터 사이언티스트가 되고자 한다. 실제로 많은 기업에서 많은 기업에서 데이터 사이언티스트를 채용공고하고 있으며, 많은 구직자가 데이터 사이언티스트의 역할을 하기 위해 지원한다. 그리고 그런 구직자들 중 대부분이 데이터 사이언티스트로써의 경험이 없고, 데이터 사이언티스트가 하는 일이 무엇인지 명확하게 정의하지 못한다. 현업에서도 크게 다르지 않은 것 같다. 데이터 분석가와 사이언티스트의 구분을 느낌적으로 하는 이들이 대다수 이며 데이터 엔지니어를 구분하지..

컴퓨터 공부를 한지 꽤 오래 되었음에도 불구하고 Web이랑은 벽을 쌓고 지냈지만, 요즘들어 JS 코드를 볼 일이 많아졌다. 주어진 시간이 많지 않아 꼼꼼히 하나하나 확인하기 어렵지만, 간이라도 맞추기 위해 나무위키에서 찾아 끄적여 보았다. JavaScript (JS) - 동적으로 웹페이지를 생성하기 위해 사용되는 언어. - HTML, CSS, JavaScript가 웹 구성의 3요소 정도로 인식되고 있다. - HTML이 웹 페이지의 기본 구조를 담당하고, CSS가 디자인을 담당한다면 JavaScript는 클라이언트 단에서 웹 페이지가 동작하는 것을 담당한다. - 브라우저 내에 스크립트엔진(interpreter)가 존재하여 client 에서 동작하여 웹페이지를 생성함. Java와 Javascript는 별개의..

* 스톰 1. 개요 - 실시간 데이터를 병렬 분산 처리하기 위한 SW. 실시간 처리를 위해서는 이벤트가 발생함과 동시에 감지하여 데이터를 적재하는 방식과 데이터 적재와 동시에 마이크로 배치를 실행해 이벤트를 감지하는 방식이 있는데, 스톰은 전자에 해당한다. 2. 주요 구성요소 - spout : 외부로부터 데이터를 유입받아 가공 처리해서 튜플을 생성. 이후 해당 튜플을 bolt에 전송 - bolt : 튜플을 받아 실제 분산 작업을 수행하며, 필터링(filtering), 집계(aggregation), 조인(join)등의 연산을 병렬로 실행 - topology : spout-bolt의 데이터 처리 흐름을 정의. 하나의 spout와 다수의 bolt로 구성 - nimbus : topology를 supervisor..

2017.11.07 Centos-6에서 기본적으로 설정되어 있는 yum repository를 통해서는 python 2.6.6 까지 밖에 설치가 되지 않는다. 하지만 많은 경우 python 2.6.6 에서 제공되지 않는 PyPI를 사용해야 하는 경우가 생기는데, 이럴 때 아래 repository를 넣어주면 된다. * 사전 준비사항 $ sudo yum install python-setuptools ($ sudo yum upgrade python-setuptools) $ sudo yum install python-pip python-wheel * PyPA 저장소 추가 $ vi /etc/yum.repo/CentOS-Pypa.repo ------------------------------------------- ..

Ant 와 Ivy를 통해서 Java로 작성된 Open Source를 반영하던 중 특정 Jar 파일에 대한 dependency lock으로 인해 빌드가 더 이상 진행되지 않는 현상이 발생했다. 이는 공통 빌드 서버에서 Apache Solr에 대한 배포작업 (ant deploy)과 바이너리 패키지 작업(ant package)를 진행하던 중 발생한 것으로 동일한 jar파일에 대해 접근하려고 하다가 dead lock이 발생한 것으로 보였다. NOTE: If your build hangs when building and especially on a "resolve" step, it's probably because there are left over lock files in your ivy directory (o..

이클립스Eclipse 작업 중 예기치 않게 종료되는경우나 SVN과 같은 프로세스 진행중 강제로 작업을 종료한 경우, 이클립스를 재실행을 하여도 플러그인을 읽다가 정상적으로 수행되지 않는 경우가 있다. 다양한 이유가 있을 수 있겠지만 대부분 workbench 데이터를 삭제해주면 정상적으로 이클립스를 수행할 수 있다. 1) 이클립스 workspace의 '.lock' 또는 '*.log' 파일 확인하여 에러로그 확인(예제)!ENTRY org.eclipse.e4.ui.workbench.swt 4 2 !MESSAGE Problems occurred when invoking code from plug-in: "org.eclipse.e4.ui.workbench.swt". !STACK 0 java.lang.Illegal..

Virtual Box에 Linux 를 설치하여 사용하는 경우, GUI 에서 작업시 버벅거림으로 사용감이 좋지 않습니다. 하여 포트 포워딩을 통해 putty로 접속하여 사용하는 경우가 많은데, 노트북에서 VM 화면을 띄운 상태로 작업을 하면 이상하게 거슬립니다. 이런 경우 아래와 같이 수행하면 됩니다. ----------------------------------------- * GUIVirtual Box > VM 선택 > 시작 > 헤드리스headless 시작 ----------------------------------------- * CLI> cd {%virtual_box_home%} > VBoxManage list vms (.. 설치된 VM 리스트 확인) >VBoxHeadless -s {%vm_nam..