Hadoop (2) 썸네일형 리스트형 [Hadoop] Hive 학습하기 SQL on Hadoop 이라고 불리는 Hive를 정리합니다.HDFS과 동일하게 버전별 특징을 먼저 정리합니다. Hive v111 April 2024: EOL for release 1.x line → SQL을 이용한 맵리듀스 처리→ 파일 데이터의 논리적 표현→ 빅데이터의 배치 처리를 목표→ MR engine을 사용(default engine이 MR) Hive v220 May 2024: EOL for release 2.x line→ LLAP(Live Long and Process) 구조 추가→ Spark 지원 강화→ CBO 강화→ HPLSQL 추가→ Tez Engine이 추가(default engine이 Tez로 변경) Hive v3→ MR, Hive CLI 제거→ beeline→ 롤을 이용한 작업 .. [Hadoop] HDFS 학습하기 하둡은 현재 v3입니다.버전별 특징을 키워드로 정리하여 필요한 상황에 맞는 설정을 할 수 있도록 합니다.하둡 v1에서 하둡의 기본 아키텍처를 정립하였습니다.→ 분산저장(HDFS) / 병렬처리(맵리듀스)→ 클러스터 자원관리 및 라이프사이클 관리 어려움, 병목현상 발생→ SPOF(Single Point of Failure) 하둡 v2는 이전 버전의 한계를 극복합니다.→ YARN 아키텍처 도입 : 잡트래커의 병목현상을 개선→ HDFS HA(High Availability) 지원 : Namenode 이중화하여 SPOF 해결, Journal node → MR 외 Spark, HBase, Storm 등 다양한 컴포넌트들을 실행→ HDFS Federation : Namespace의 분리 하둡 v3는 HDFS의 데이.. 이전 1 다음
