* HBase Shell commands - HBase shell을 통해 수행되는 operation을 통해서 HBase에서 제공하는 기초적인 기능 및 사용목적을 이해하고자 작성함 1) General HBase shell commands - status : cluster 상태를 보여주며, 추가옵션을 통해 상세정보를 확인> status > status 'simple' > status 'summary' > status 'detailed' - version : 설치된 HBase의 버전정보를 확인> version - whoami : 현재 hbase의 사용자를 확인> whoami 2) Table Management commands - alter : (1)table의 schema를 변경하기위해 사용된다. dictio..
[HBase] Data Versioning & Compaction
* 데이터 버저닝Data Versioning - HBase의 특별한 기능 중 하나로 각 셀cell의 특정column 값에 여러 버전 을 저장할 수 있다. 각 버전에 타임스탬프timestamp를 사용하여 구현되었으며 내림차순으로 정렬된다. long integer 타입으로 millisecond로 환산되는데, 1970년 1월 1일 이후부터의 UTC 시간을 기록하고 있으며 이것을 유닉스시간UnixTime 이라고 한다. 그리고 최초의 시간을 Epoch라 한다. - Timestamp는 명시적으로 입력하는 것도 가능한데, default로 HBase는 각 cell의 변경을 3개 까지 보관하며 기본적으로 scan을 통해서 조회하게 되면 내림차순이기 때문에 가장 최신의 데이터가 조회된다. 또한 저장되어 있는 모든 vers..
[HBase] Shard와 Region의 구조
* Shard와 Region의 구조 - 일반적으로 샤딩이란 논리적 테이블을 수평적으로 파티셔닝하여 레코드를 논리적으로 분할하는 것인데, 데이터를 분산저장하기 위해서 사용한다. 각 데이터를 적절한 장소로 라우팅routing 하기위해서는 해시함수와 같은 규칙을 미리 정의해야 한다. 수평적 파티션에서 하나의 파티션 용량이 가득 찬 경우 리샤딩reshard 작업이 수행되는데 이는 경우에 따라 데이터의 저장구조가 변경 될(파티션 간 경계를 재설정, 데이터 수평적 재분배 등) 필요가 있음으로 리소스의 비용이 많이 든다. 이때는 I/O가 높아짐으로 데이터 update가 제대로 안 일어날 수도 있다. Reshard 문제는 가상샤드(virtual shard)를 통해 어느정도 완화할 수 있다. 이것은 논리적 테이블을 매우..
* ISSUE1) spark 설치 후 yarn에 작업을 올려 수행하는 경우 ( beeline 수행, spark shell 수행, zeppelin 수행 등) yarn 에 올라간 작업이 아래 에러로그를 발생 시키면서 hang이 걸린다. 2) spark thrift server 가 정상적으로 올라오지 않음. * ERROR LOG17/06/04 11:47:03 WARN DefaultChannelPipeline: An exception 'java.lang.NoSuchMethodError: org.apache.spark.network.client.TransportClient.getChannel()Lio/netty/channel/Channel;' [enable DEBUG level for full stacktrace..
* 스톰 1. 개요 - 실시간 데이터를 병렬 분산 처리하기 위한 SW. 실시간 처리를 위해서는 이벤트가 발생함과 동시에 감지하여 데이터를 적재하는 방식과 데이터 적재와 동시에 마이크로 배치를 실행해 이벤트를 감지하는 방식이 있는데, 스톰은 전자에 해당한다. 2. 주요 구성요소 - spout : 외부로부터 데이터를 유입받아 가공 처리해서 튜플을 생성. 이후 해당 튜플을 bolt에 전송 - bolt : 튜플을 받아 실제 분산 작업을 수행하며, 필터링(filtering), 집계(aggregation), 조인(join)등의 연산을 병렬로 실행 - topology : spout-bolt의 데이터 처리 흐름을 정의. 하나의 spout와 다수의 bolt로 구성 - nimbus : topology를 supervisor..
2017.11.07 Centos-6에서 기본적으로 설정되어 있는 yum repository를 통해서는 python 2.6.6 까지 밖에 설치가 되지 않는다. 하지만 많은 경우 python 2.6.6 에서 제공되지 않는 PyPI를 사용해야 하는 경우가 생기는데, 이럴 때 아래 repository를 넣어주면 된다. * 사전 준비사항 $ sudo yum install python-setuptools ($ sudo yum upgrade python-setuptools) $ sudo yum install python-pip python-wheel * PyPA 저장소 추가 $ vi /etc/yum.repo/CentOS-Pypa.repo ------------------------------------------- ..
[개인연습 20171018 // 2시간] 악기를 가지러 갈겸 연습함 * 연습한 것 - 롱톤(저음이 고르게 나는지 확인함) : 1oct Bb, B 는 조금 더 입술을 앞쪽으로 움직여서 불어야 하는것을 확인함. C음은 어제와 같이 제대로 불어짐 - 저음에서의 텅잉(투) 연습. 툿은 잘됨. - 32비트 텅잉 어려움. 16비트를 계속 연습하고 좀 더 빠르게 해야할 것으로 보임 - 3oct G 알티시모는 어림도 없음. 3oct D~F까지의 롱톤연습해야할듯. - 눈의 꽃 운지연습 * 알게된 것 - 볼륨조절을 하면서 연주하기위해서는 많은 호흡이 필요한데, 과도하게 복식호흡을 의식하여서 더 호흡이 안되는 것 같다는 생각을 함. - 재즈셀렉트 2H는 아직 강함, 2M이 적당함. - 고음에서 강한 뱃힘이 필요함. 배힘이 ..
[강습 6회차-20171016 // 연습2시간 + 강습1시간] 지방 출장을 갈뻔 했지만 다행히 미루어지고 힘든 심신을 이끌고 6번째 강습에 참여했다. 연습곡으로 '눈의꽃'을 주셨는데, 생각보다 신경써야 하는 포인트가 많아서 배우는게 많고 재미있었다. 1시간이 넘어가는 강습으로 다음타임 아저씨가 인사도 받지 않고 짜증을 냈다. 다음부터는 인사를 하지 않아야겠다. * 강습 참여 전 궁금하거나 잘 안되었던 것 - 고음에서 답답한 소리가 남. - 텅잉을 할 때 고음이나 스퀵이 발생함. * 강습을 통해 알게된 것 - 고음에서 답답한 것은 목을 좀 더 열고 배에 힘을주어 공기를 밀어내야 한다. - 각 음에 맞는 호흡(압력)을 찾는 것이 중요하다. 텅잉을 물고 하거나 쎄게만 불면 원치않는 음이 난다. 각 운지에 맞는..
