[Hadoop Study] vol 2. HDFS(Hadoop Distributed File System) 개념과 구조

Hadoop Study 이전글

2020/11/12 - [Data Science/Hadoop] - [Hadoop Study] vol 1. Hadoop이란?

 

 

이번 포스팅에서는 Hadoop의 구성 요소 중 HDFS(Hadoop Distributed File System)에 대해 알아보겠습니다.

HDFS는 File System 중 하나입니다. 다만, 수 많은 컴퓨터로 이루어진 클러스터에 파일을 분산 저장할 수 있는 Hadoop 맞춤 파일 시스템입니다. 이러한 시스템이 필요한 이유와 어떻게 구현되는지 살펴보겠습니다.

 

 

HDFS Architecture

Hadoop은 DBMS가 한 대의 머신으로 처리가 곤란해지게 방대해지는 데이터를 효율적으로 분산 저장 및 처리하기 위해 만들어졌습니다. HDFS는 클러스터에 파일을 분산하여 저장하고 이를 적절하게 관리해줍니다. 아래는 HDFS의 전체적인 구조입니다.

출처 : https://wooyoung85.tistory.com/46

HDFS는 Name node, Data node, Client 모듈로 구성되어 있습니다. Name node는 HDFS 전반적인 구성 정보와 블록 정보를 포함하는 메타데이터를 관리합니다. Data node는 실제 파일을 저장하는 곳입니다. Client는 사용자가 작성한 프로그램으로 HDFS에 파일을 쓰거나 읽는 작업을 요청합니다.

 

 

HDFS 파일 저장 방식

HDFS는 파일을 분산 저장하기 위해 먼저 파일의 메타 데이터와 컨텐츠 데이터를 분리합니다. 메타 데이터는 파일의 접근 권한, 생성/수정 시간, name space 등 파일의 설명 정보를 담고 있습니다. 컨텐츠 데이터는 실제 파일에 저장된 데이터입니다.

메타데이터는 Name node에 저장되고 컨텐츠 데이터는 블록 단위로 쪼개져 Data node에 저장됩니다. 블록의 기본 크기는 128MB이며 최소 3개의 복사본을 생성하여 분산 저장됩니다.

출처 : https://faqreviews.net/question/what-is-hdfs-data-block/

블록을 Data node에 분산 저장했기 때문에 Name node는 한 파일이 나눠 저장된 블록 리스트와 그 블록이 저장된 위치를 기록합니다. Data node 역시 블록과 함께 블록에 대한 메타 데이터를 저장합니다.

 

 

Name node

Name node의 주요 역할은 메타 데이터 관리와 Data node 관리입니다. 또한, HDFS에 파일을 읽거나 쓰는 작업의 시작점 역할을 수행합니다.

 

메타데이터 관리

메타데이터는 파일이름, 파일크기, 생성시간, 접근권한, 소유자 및 그룹 소유자, 파일이 위치한 블록의 정보 등으로 구성됩니다. 각 데이터 노드에서 전달하는 메타데이터를 받아서 전체 노드의 메타데이터 정보와 파일 정보를 묶어서 관리합니다.

메타데이터의 종류에는 Fsimage 파일과 Edits 파일이 있습니다. Fsimage 파일에는 name space와 블록 정보를 저장하고 Edits 파일은 생성/삭제에 대한 트랜젝션 로그를 저장하고 데이터의 수정사항을 다음 구동시 적용하기 위해 주기적으로 생성됩니다.

 

Data node 관리

맨 처음 Data node를 Name node에 등록할 때 handshake를 수행합니다. 또한, Name node는 Data node가 주기적으로 전달하는 heart beat(3초)와 블록리포트(6시간)를 이용하여 Data node의 동작 상태, 블록 상태를 관리합니다.

• hand shake를 통해 Name node는 Data node가 통신이 가능한지 적절한 소프트웨어 버전을 사용하는지 확인합니다. 적합한 Data node임이 확인되면 식별가능한 고유 id를 부여합니다.
• heart beat를 이용하여 데이터노드의 동작 여부를 파악하고 문제 발생시 조치합니다.
• 블록리포트를 이용하여 HDFS에 저장된 파일에 대한 최신 정보를 유지합니다. 블록리포트에는 Data node에 저장된 블록 목록과 각 블록이 저장된 위치에 대한 정보를 포함하고 있습니다.

 

파일 읽기 작업

1. 클라이언트는 Name node에 파일의 name space에 해당하는 블록들의 목록과 주소를 요청합니다.
2. 클라이언트는 가장 가까이 위치한 Data node에서 블록을 읽어옵니다.

파일쓰기 작업

1. 클라이언트는 Name node에게 어느 Data node에 블록을 쓰면 좋을지 요청합니다.
2. Name node가 Data node를 할당합니다.
3. 클라이언트는 블록을 쓰기 위한 데이터 파이프라인을 생성합니다.
4. 데이터 파이프라인을 이용해서 블록 쓰기 작업을 수행합니다.

 

 

Data node

파일의 컨텐츠 데이터는 블록 단위로 나뉘며, 하나의 블록은 적어도 3개의 복사본을 생성합니다. Data node는 그중 하나의 복사본을 저장합니다.

출처 : https://yeomko.tistory.com/38

 

 

Name node Back up & Availability

위와 같이 Name node는 매우 중요하고 많은 역할을 담당하고 있습니다. 이러한 Name node에 문제가 발생한다면 전체 시스템에 큰 타격을 입을 것입니다. 이를 위해, Image, Check point, Journal 개념을 사용합니다.

image란 파일의 메타 정보를 담은 inode와 각 파일을 구성하는 블록들의 리스트를 합쳐 지칭하는 개념(실제 블록이 저장된 위치 정보는  계속 변할 수 있기 때문에 제외)입니다. 이러한 image를 디스크에 쓴 것이 check point입니다. journal은 image에 발생한 모든 변화들을 기록한 로그 파일입니다.

Name node는 가용성을 보장하기 위해 주기적으로 check point를 생성합니다. Name node 장애 발생시, 가장 최신 check point를 읽어온 다음 journal을 순차적으로 실행시켜 복원합니다. 게임에서 check point와 아주 유사합니다. check point 생성이 Name node에 부담이 될 수 있으므로 별도의 백업 노드를 추가하여 Name node의 부담을 줄여 주기도 합니다.

그럼에도 한 대의 Name node가 너무 많은 역할을 수행하기 때문에 장애을 일으키면 전체 클러스터가 멈추게 될 위험성이 존재합니다. 이를 방지하기 위해 Active/Standby 구조로 운영됩니다.

현재 실행되는 Active Name node와 장애시 Active를 대신할 Standby Name node를 마련하여 Availability를 높이는 구조입니다. 그리고 백업노드 역할을 수행하는 journal node를 Name node에 연결합니다.

 

 

Block Placement

블록을 어떻게 배치할 것이냐도 파일의 availability, I/O performance 등을 결정하는 중요한 사안입니다. HDFS는 두 단계의 추상화를 사용합니다.

각각의 Data node들은 하나의 rack(서버 컴퓨터들을 꽂아넣은 일종의 케이스)에 묶입니다. 같은 rack에 꽂힌 Data node들은 같은 네트워크 스위치를 공유합니다. 따라서 같은 rack에 속한 Data node들 간에 네트워크 통신이 빠릅니다. 여러 개의 rack들은 코어 스위치로 묶입니다. HDFS는 이렇게 묶여있는 Data node들에 아래의 원칙으로 블록 replica(복제본)들을 분산 시킵니다.

1. 하나의 Data node에는 블록 replica를 하나만 저장합니다.
2. 하나의 rack에는 블록 replica를 최대 두 개까지만 저장합니다.

이러한 원칙에 따라 블록을 분산할 경우 availability가 확보됩니다. 하나의 Data node나 rack이 고장나더라도 여전히 남은 다른 곳에 블록 replica가 저장되어 있기 때문입니다.

 

 

Balancer

Data node들을 운영하다보면 unbalance 문제가 발생합니다. 기존 Data node의 디스크 용량과 나중에 추가한 Data node의 디스크 공간의 균형이 맞지 않는 현상입니다. 이를 위해, balancer 모듈은 Data node들의 디스크 사용량을 비슷하게 데이터를 옮겨 균형을 맞춰줍니다. 그리고 동시에 가용성을 저하하지 않도록 같은 노드에 두 replica를 저장하지 않고 같은 rack에 세 replica를 저장하지 않도록 최적화해줍니다.

 

 

 

마치며

Hadoop의 구성요소 중 분산 저장 시스템인 HDFS에 대해 알아봤습니다. 개념 자체는 어렵지 않지만 안정성 확보를 위한 구조와 개념이 많고 복잡합니다. 편리한 상위 Tool들의 기반이되는 개념이라 확실히 알아두면 좋을 것 같습니다. 다음 포스팅은 Map Reduce에 대해 알아볼 예정입니다.

 

 

Reference

wikidocs.net/22766

hadoop.apache.org/docs/r3.0.3/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html

yeomko.tistory.com/38