[Hadoop Study] 하이브(Hive) (1) - 하이브 구조와 작동 과정

 

Hadoop 이전글

2020/11/12 - [Data Science/Hadoop] - [Hadoop Study] vol 1. Hadoop이란?

2020/11/28 - [Data Science/Hadoop] - [Hadoop Study] vol 2. HDFS(Hadoop Distributed File System) 개념과 구조

2021/01/10 - [Data Science/Hadoop] - [Hadoop Study] vol 3. 맵리듀스(MapReduce) 개념과 구조

 

 

들어가며

하둡에 저장된 데이터(HDFS)를 SQL같은 쿼리로 질의, 분석 등의 기능을 해주는 하이브에 대해 알아보겠습니다. 초기에 Facebook에서 RDBMS로는 처리하기 힘든  대용량의 데이터를 처리하기 위해 개발했으며 현재는 아파치에 속해있는 오픈소스로 하둡 에코시스템의 일부가 되었습니다. HDFS를 처리하기 위해서는 맵리듀스 작업을 Java/Python으로 직접 작성해야 하는데, 이러한 작업은 오래걸리고 진입장벽이 있습니다. 이를 위해, SQL만 알면 누구나 HDFS를 처리할 수 있는 하이브가 개발 되었습니다.

하이브에서 사용하는 SQL은 HiveQL이라고 하는 SQL의 일부에 속하는 언어를 사용합니다. SQL과 거의 비슷하지만 Having절과 같은 일부 기능을 사용하지 못하는 특징이 있습니다.

 

 

Hive Architecture

Hive가 어떤 구조로 구성되어 있는지 보겠습니다.

출처 https://datacookbook.kr/88

전체적인 구조에서 주요 역할을 하는 세가지 요소를 살펴보겠습니다.

 

1. Meta Store

Meta Store는 Hive가 구동될 때 필요한 테이블 스키마 구조나 다양한 설정값들을 저장하고 있습니다. 따라서, Hive 구조에서 가장 중요한 요소이고 만약 Meta Store에 이상이 생길 경우 하이브는 정상 작동이 힘듦니다. 따라서 Meta Store에 저장된 정보에 대한 백업 계획을 세우고 관리해야 합니다.

 

2. Hive Server

하이브 서버는 하이브에 질의하는 가장 앞단의 서버입니다. 즉, JDBC나 ODBC로부터 질의를 받고 이를 Driver에 전달하는 역할을 합니다. 하이브 서버는 권한과 접근성 검증을 체크합니다. 그림에서 하이브 서버 위에 CLI(Comment Line Interface)가 보이는데 CLI를 통할경우, Driver에 바로 접근하여 기타 권한이나 제어권을 무시하고 모든 컨트롤이 가능해집니다. 실제 서비스를 운영할 때는 주의가 필요한 접근 방식입니다.

 

3. Driver

드라이버는 Hive의 엔진으로써 여러 질의를 받아서 Optimizer를 통해 HiveQL을 해석하고 MR, Spark 등의 여러 처리 도구와 연동하는 역할을 합니다.

 

 

Hive Work Process

하이브 Work의 실행 프로세스를 간단히 정리하자면

1. 사용자가 요청한 SQL문을 드라이버가 컴파일러에 요청

2. 컴파일러가 메타스토어 정보를 이용하여 처리에 적합한 형태로 컴파일

3. 컴파일된 SQL 실행

4. 리소스 매니저가 클러스터 자원을 적절히 사용하여 실행

5. 실행 중 사용하는 데이터는 HDFS 등의 저장장치를 이용

6. 실행결과를 사용자에게 반환

 

 

마치며

오늘은 하둡 에코시스템에서 가장 많이 쓰이는 기능인 Hive의 구조와 동작 과정에 대해 알아보았습니다. SQL로 방대한 양의 데이터를 조회, 분석, 처리 등을 할 수 있기때문에 실제로 정말 편리한 기능입니다. 사실 Hive보다 상위의 편리한 기능들도 많지만 범용적으로 쓰이고 있고 연동되는 부분도 많기 때문에 Hive에 대해 한번쯤은 집고 넘어가는게 맞다고 생각합니다. 

다음 포스팅에서 하이브의 테이블과 함수에 대해 알아보겠습니다. 감사합니다.

 

 

Reference

wikidocs.net/23572

datacookbook.kr/88

dontdiethere.tistory.com/14