Hive Partitioning 개요 Hive 파티셔닝의 개념은 RDBMS 와 크게 다르지 않다. 테이블을 하나 이상의 키로 파티셔닝 할 수 있으며, 이것은 각 테이블에 데이터가 얼마나 저장될 것이냐를 기준으로 설정하면 된다. 예를 들어 테이블이 id, name, age 3개의 칼럼으로 구성되어 있고 age로 파티셔닝 하기로 설정하였더만, 같은 나이를 갖는 row 들이 물리적으로 같이 저장된다. 파티션 테이블 일반적으로 non-partition 테이블은 아래와 같이 선언할 수 있다. create table salesdata_source( salesperson_id int, product_id int, date_of_sale string ) 이와 같은 구조를 'data_of_sale' 로 아래와 같이 파티..
Hive LLAP 사이징 및 설정 Hive LLAP 사이징 및 설정1. 기본 클러스터 설정1) LLAP 를 수행할 YARN 노드를 설정하라.사용자 요구 및 사용하는 작업workload에 따라서 일반적으로 클러스터의 15~50%의 노드를 LLAP로 사용하거나, 전체 클러스터를 LLAP 노드로 설정할 수 있다. Hive LLAP를 수행하기 위한 3가지 YARN container 종류가 있다. 데이터를 직접 처리하는 execution daemon 쿼리 수행을 관리하기 위한 쿼리 코디네이터, TEZ AMsexecution daemon을 모니터링 하고 AM을 실행하기 위한 SliderLLAP에 할당된 용량의 대부분이 execution daemon에 의해서 사용된다. 최적의 결과를 위해서 YARN 노드 전체가 ex..