[Hadoop Study] vol 1. Hadoop이란?

 

 

 

출처 https://platum.kr/archives/39285

 

Hadoop

데이터를 분산 처리할 수 있는 자바기반의 오픈소스 프레임워크

 

 

 

등장 배경

• 구글이 대용량 데이터 처리를 위해 GFS(Google File System)과 MapReduce 기술을 개발하고 논문으로 발표했다. 하지만 공개하지 않음.

• 더그 커팅(Doug Cutting)이를 연구하여 Hadoop을 개발하고 Apache(비영리 SW 재단)에서 오픈소스로 공개했다.

 

 

 

철학

• 일반적인 프로그램은 데이터를 프로그램이 있는 컴퓨터에 가져와서 처리한다.
• 하지만 하둡은 데이터가 있는 컴퓨터에 프로그램을 전송하여 처리한다.
• 데이터가 대용량일 경우, 데이터를 옮기는 것보다 프로그램을 옮기는 것이 효율적이라는 개념

 

 

 

원리

• 고성능 컴퓨터 한대 VS 적당한 성능의 컴퓨터 여러 대로 병렬처리 -> 하둡은 후자
• 빅데이터를 여러 대로 구성된 클러스터에서 병렬로 동시에 분산처리하여 속도를 높이는 것이 목적

 

장단점

장점

• 오픈소스로 라이선스에 대한 비용부담이 적음 >> 비용대비 빠른 데이터 처리(Open Source)
• 시스템을 중단하지 않고, 장비의 추가가 용이(Scale Out)
• 일부 장비에 장애가 발생해도 전체 시스템 운영에 영향이 적음(Fault Tolerance)
• 오프라인 배치 프로세싱에 최적화

단점

• HDFS에 저장된 데이터 변경 불가
• 실시간 데이터 분석처럼 신속한 작업에 부적합
• 버전별 연동 어려움
• 설치와 세팅의 어려움

 

 

 

구성요소

• HDFS(Hadoop Distributed File System) : 여러 서버를 하나의 서버처럼 묶어서 데이터 분산 저장 모듈
• MapReduce : 분산 저장된 데이터를 병렬 처리할 수 있게 해주는 분산 처리 모듈
• 기능이 점차 추가되어 Hadoop EcoSystem으로 확장됨
  

출처 https://velog.io/@shinychan95/0323-2-Hadoop-Ecosystem

 

 

 

 

 

 

 

참고 사이트

opentutorials.org/course/2908/17055

wikidocs.net/22766