Udemy-Hadoop

what is Hadoop

Hadoop 방대한 양의 데이터를 클러스터내의 하드 드라이브 들에 분산시킨다. 또한 이 분산된 모든 데이터들을 단일 파일 시스템으로 보여준다. 또한 데이터의 여분 또한 제공 혹여 클러스터 내 한 노드가 불이나서 데이터의 손실이 생겼다. 데이터의 백업 복사본을 클러스터의 다른 컴퓨터에도 보관하기 때문에 이런 상황에 있어 자동으로 소실된 데이터를 복구한다. 저장뿐 아니라 데이터를 처리할 때도 클러스터의 컴퓨터들을 함께 이용해 병렬 처리 한다. 클러스터 내 모든 컴퓨터 cpu에게 작업을 분배하여 동시 처리하게 한다. Why Hadoop? 현대 사회가 다루는 데이터는 너무나도 커졌다. 하나의 컴퓨터는 충분하지 않다. 한 대의 성능을 수직적으로 확장하는것의 한계 그리고 그 방대한 데이터 안에서 원하는 데이터를 탐..