[Hadoop Study] vol 3. 맵리듀스(MapReduce) 개념과 구조

Hadoop Study 이전글

2020/11/12 - [Data Science/Hadoop] - [Hadoop Study] vol 1. Hadoop이란?

2020/11/28 - [Data Science/Hadoop] - [Hadoop Study] vol 2. HDFS(Hadoop Distributed File System) 개념과 구조

 

 

들어가며

저번 포스팅에서 알아봤던 HDFS는 데이터를 분산 저장하는 방식이었습니다. 그러면 저장된 데이터를 분산처리하는 방법도 알아봐야겠죠? 그 방법이 바로 MapReduce입니다. Google이 MapReduce 논문을 발표했고 그 개념을 구현하여 오픈소스화한 것이 하둡입니다. 최근 맵리듀스보다 성능이 뛰어난 스파크나 빅 쿼리 등에 자리를 많이 내주었습니다. 하지만 여전히 빅데이터 배치 처리에 많이 사용되고 근간이 되는 개념이기 때문에 알아둘 가치가 충분합니다.

맵리듀스를 간단히 말하면 1) 큰 덩어리를 작게 나누어서 2) 여러 명의 사람이 각각 처리한 후, 3) 처리된 것을 모아서 결과물을 내는 방식입니다. 사실 아주 간단한 개념이지만 데이터 개념에 바로 적용하여 와닿지 않는 분들을 위해 이야기를 하나 가져왔습니다.

 

어느 만석꾼 부자 이야기

여러분이 조선시대 어느 만석꾼 부자집 일꾼이라고 합시다. 하루는 주인 양반이 이런 지시를 내립니다. "이보게, 이 쌀 한그릇에 모래가 들어갔네. 모래를 다 골라내게!"

어떻게 하시겠습니까? 한그릇 분량의 쌀은 대충 2000 알갱이 정도 된다고 합니다.참고 여러분은 매초 한알씩 쉬지않고 열심히 쌀알갱이와 모래를 골라냈습니다. 그래서 30여분이 지나서 '주인님 다 되었습니다!' 하고 보고할 수 있게 되었습니다.

그랬더니, 주인 양반 왈, "아이구 참 잘했네. 그런데 보니 이 쌀을 퍼낸 저 가마니 안에 온통 이렇게 모래가 들어가 있지 뭔가, 이보게, 이거 전부다 좀 골라내 주게. 이거 다 골라내지 않으면 오늘 밥은 없네."
큰일났습니다. 쌀 한가마니는 대략 4000그릇이라고 합니다. 아까 방법으로 모래를 골라냈다가는… 대략 2400시간, 딱 100일 동안 밥을 못먹겠군요.

이 소식을 들은 동네의 친구 100명이 몰려들었습니다. 이 착하고 성실한 친구들은 하루종일 쉬지도 않고 열심히 여러분과 같은 방법으로 모래를 골라서 깨끗한 쌀알만을 추려 모아 다시 깨끗한 쌀 한가마니를 만들어 냈습니다. 이렇게 맵리듀스 마을의 친구들은 멋진 분산처리를 통해 여러분을 위기에서 구해낼 수 있었습니다. 그들이 쓴 방법은 바로,

• 1) 한가마니의 쌀을 100등분으로 잘게 나누어서
• 2) 한명당 그 1/100을 가져가 각각 처리(한알씩 골라내기)를 열심히 한 후에
• 3) 각자가 분리해 낸 깨끗한 쌀을 한데 모아 다시 한가마니를 만들어 냈습니다.

 

 

그러면 지금부터 맵리듀스의 핵심 개념을 살펴보겠습니다.

 

MapReduce 핵심 개념

맵리듀스는 크게 map과 reduce 작업으로 나눌 수 있습니다. map은 전체 데이터를 작은 단위로 나눈 청크에 대해 수행할 로직입니다. 예를 들어, 텍스트 데이터라면 텍스트를 파싱해서 단어의 갯수를 카운팅하는 것입니다. reduece 는 분산되어 처리된 결과값들을 다시 하나로 합쳐주는 과정이며, 분산된 환경에서 병렬적으로 수행됩니다. 정리하자면

1. 쪼개기(Split) : 큰 파일을 작은 단위의 청크들로 나누어 분산 파일 시스템(ex. HDFS)에 저장

2. 데이터 고나리하기(Map) : 나누어진 파일을 인풋으로 받아서 분석하는 로직 수행

3. 처리된 데이터 합치기(Reduce) : 처리된 데이터를 병합(Merge)하는 과정

https://butter-shower.tistory.com/159

(1) Fork

사용자가 map과 reduce 함수를 정의한 프로그램을 실행하면 이는 Master 노드, map을 실행할 worker노드(이하 Mapper 노드), reduce를 실행할 worker노드(이하 Reducer 노드)들에 복사됩니다.

 

(2) Assign map and reduce

Master 노드는 Mapper 노드들에게 mapping 역할을, Reducer 노드들에게 reducing 역할을 수행하라고 지정해줍니다. 이 때, mapper 노드의 개수나 reducer 노드의 개수는 사용자가 설정할 수 있습니다.

 

(3)(4) Read map, Local write

Mapper 노드들은 데이터 청크를 HDFS로부터 읽어옵니다. 그 다음 이 데이터에 Map 함수를 실행하여 Key:Value 형태의 Intermediate 데이터를 생성하고 이를 자기 자신의 로컬 디스크에 저장합니다. 그 다음 Mapper 노드는 마스터 노드에게 Mapping 작업을 모두 완료하였다고 알려줍니다.

 

(5)(6) Reduce, Write

그러면 Master 노드는 Reducer 노드들에게 reduce 실행을 명령합니다. reducer 노드들은 mapper 노드들의 디스크에 저장되어 있는 Intermediate 데이터를 읽어오고 reduce 함수를 실행하여 최종 결과물을 설정한 파일 형태로 출력합니다.

 

 

다음은 "hello python"이라는 문자열의 알파벳 빈도수를 찾는 예제입니다.

https://butter-shower.tistory.com/159

Mapper : 입력 데이터를 나누고 Mapping

#input data
text = "hello python"

def mapper(text):
	split = []
    for i in text:
    		split.append((i, 1))
    return split

 

Reducer : Mapper에서 입력받은 값 중 같은 항목을 합침.

def reducer(split):
	out = {}
    for i in split:
    	if i[0] not in out.keys():
        	out[i[0]] = 1
        else:
        	out[i[0]] += 1
    return out

 

MapReduce 결과

 

 

마치며

오늘은 MapReduce에 대해 알아봤습니다. 사실 오래 전부터 있던 개념이고 Mapreduce의 약점이 많이 알려져 있는 상황입니다. map함수가 모두 종료되야 reduce함수가 실행되는 구조이기 때문에 실시간 분석이 어렵습니다. 그 대안으로 Spark는 map함수가 전부 종료되지 않더라도 map의 결과를 스트리밍하는 방식으로 보완했습니다. 그럼에도 불구하고 MapReduce는 배치성 통계작업에 유리하고 Spark 또한 하둡을 기반으로 구동하는 방식이 보편적이기 때문에 MapReduce에 대한 확실한 이해는 중요합니다.

요즘 글쓰기에 소홀하여 포스팅이 늦어지고 있는데 확실히 글쓰기 시간을 정해놓고 집중하는 것이 좋아보입니다. 그래서 일요일 오후를 글쓰기 시간으로 잡았습니다. 공부 정리하는 것 이외에도 생활이나 최신 기술에 대한 포스팅도 생각 중입니다. 올해에는 더 좋은 글쓰기를 하기 위해 노력해야겠습니다. 읽어주셔서 감사합니다 :)

 

 

Reference

butter-shower.tistory.com/159

yeomko.tistory.com/31