- 하둡의 릴리즈 역사는 아래의 공식사이트에서 찾을 수 있다.
http://hadoop.apache.org/releases.html
하둡이 1.0 에서 2.0으로 바뀔때 아래와 같은기능이 개발되었다. 다만, 안타깝게도 자세한 릴리즈 노트는 링크가 삭제되었다.
---------------------------------------------------------------------------------------------
23 May, 2012: Release 2.0.0-alpha available
This is the first (alpha) version in the hadoop-2.x series.
This delivers significant major features over the currently stable hadoop-1.x series including:
- HDFS HA for NameNode (manual failover)
- YARN aka NextGen MapReduce
- HDFS Federation
- Performance
- Wire-compatibility for both HDFS and YARN/MapReduce (using protobufs)
1. HDFS HA for NameNode (manual failover)
- 어쨌든, HA(고가용성)은 어느 시스템이든 중요한데, 이력을 찾아보니 하둡의 HDFS 1은, 장애가 쉽게 나지는 않아도
장애가 났을때 복구가 쉽지 않았던 문제가 있었다.
이것을 failover를 통해, 다른 HDFS로 절체시키는 방법인듯 하다. ( 테스트가 완료되면 링크 삽입 예정 )
2. YARN aka NextGen MapReduce
- YARN 이라고 불리는 새로운 세대의 맵리듀스
3. HDFS Federation
- 자세한 링크는 공식사이트 https://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-hdfs/Federation.html 에서 참고가 가능한데,
위와같이, NameNode 와 Datanode를 여러개 두고, 수평적 확장이 가능해보인다. ( 테스트가 완료되면 링크 삽입 예정 )
4. Performance
- 자세한 릴리즈 데이터가 없어서 뭐가 좋아졌는지 모르겠다.
5. Wire-compatibility for both HDFS and YARN/MapReduce (using protobufs)
- 우선 protobufs 즉 프로토콜 버퍼는 일반적으로 구글에서 사용하는 구조체 직렬화 방식이다.
json과 같이 노출되고 데이터가 큰 방법에 비해서, 직렬화는 항상 빠르게 동작하지만 특수성을 띈다..
어찌되었든, 하둡의 고유 프로토콜 버퍼가 있는지는 잘 모르겠지만
이 프로토콜 버퍼를 이용해서 HDFS와 YRAN을 동시호환 한다는 내용같다.
공식사이트에서 발췌한 공식 변화점은 아래와 같다.
