슈퍼엘레강스하이퍼베베

ORA-15041: diskgroup "DATA" space exhausted 테이블스페이스는 여유가 있는데(있는 것 처럼 보였는데) 에러가 뜨는 현상. RAC로 구성되면서, 관리하고 있는 외부 tablespace가 있었는데 그 부분을 잊고있었다. 그래서 계정을 만들때 테이블 스페이스를 기본으로 잡아서 발생했던 것. user add identified by 만 주어버리니 아래와같이 기본 테이블 스페이스로 잡혀있는것을 확인. CREATE USER IDENTIFIED BY DEFAULT TABLESPACE TEMPORARY TABLESPACE 아래와 같이 alter 하여 해결 ALTER USER DEFAULT TABLESPACE USERS; ALTER USER TEMPORARY TABLESPACE TEMP;

apache kudu의 공식 사이트이다. https://kudu.apache.org/docs/index.html 소개하기로는, Hadoop 플랫폼 용으로 개발된 스토리지 관리 소프트웨어라고 한다. 시작은 클라우데라에서 시작되었다고 하고, "Columnar Data Store 라는 독특한 저장소를 사용한다. 용어와, 장단점 등은 나중에 따로 찾아보도록하고 설치를 진행해본다. # 설치환경 : CentOS 7 x64 참조 문서 : https://kudu.apache.org/docs/installation.html yum 설치를 권장하고있는데, 저장소를 참조하기 위해 .repo를 추가한다. vim /etc/yum.repos.d/cloudera-kudu.repo #아래 내용을 입력 [cloudera-cdh5] #..

통신 프로토콜 방식에는 여러가지가 존재한다. 그중 JAVA의 경우 직렬화를 통해, 객체 인스턴스를 스트림으로 전송하고, 그것을 받을 수 있는데, 언어에 한정적인게 문제이다. 다른 방법으로는 XML 방식과, JSON 처럼 언어에 종속받지 않는 표준 포맷을 사용하는 경우가 많다. 하둡을 공부하면서, 통신방식으로 PB를 사용한다는것을 발견했는데, 이 PB라는것은 구글에서 개발한 데이터 직렬화 방법이다. 아래는 구글 프로토콜 버퍼 공식 사이트이다. https://developers.google.com/protocol-buffers/ 자신들이 소개하기로는 XML에 비하여 심플하고, 3배에서 10배가량 작은 용량에, 20배에서 100배 이상 빠른 속도를 가진다고 한다. 또한 모호하지 않다(are less ambig..

0. 사전작업 1) 트위터를 연동하기 위한 사전준비작업은 http://stat-and-news-by-daragon9.tistory.com/105 이 블로그를 참고했다. 2) R과 하둡을 연동하기 위한 클라이언트를 설치해야하는데, https://github.com/RevolutionAnalytics/RHadoop/wiki/Downloads RHadoop 이라는 프로젝트있으니 설치하면 된다. 문제는, 요것을 윈도우즈의 r studio 에서 설치를 하다가 실패를 해서, 그냥 수집서버인 리눅스를 이용하기로.. R 자체는 yum 으로 한번에 다운로드받았다. 하기위해 epel-release 를 사전에 설치해야 yum repo가 잡히는것은 주의. R studio 를 설치하려했으나, glibc 버전이 맞지 않아 스킵...

이 문서는 저번의 https://hadoop.apache.org/docs/r2.7.5/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithNFS.html#Administrative_commands 의 수동 절체 다음인, 자동 절체에 대해 설명한다. 위 링크에 "Automatic Failover" 섹션을 보면 자동절체는, 주키퍼와, ZKFailoverController(약자 ZKFC) 라는 프로세스를 HDFS에 적용을 해야한다고 나와있다. 각각의 기능은 아래와 같지만, 실질적으로 그냥 감시프로세스이고, 독자적인 마스터 선출 프로세스가 있는듯 하다. 혹 나중에 기회가된다면, 선출 프로세스에 대해 다루고 이 글에 링크를 첨부해놓겠다. 1. 주키퍼는 아래와 같은 ..

원문 https://hadoop.apache.org/docs/r2.7.5/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithNFS.html#Administrative_commands 하둡이 2.0 으로 올라가기 전에는 네임노드가 죽었을경우, 네임노드가 다시 시작되거나 별도의 시스템에서 네임노드가 대체 실행될때까지 클러스터 전체를 사용할 수 없었다고 한다. 그래서 2.x대에는 Active/Passive 단위로 HA를 지원하여, Active 네임노드가 죽었을 경우, failover를 통해 장애를 조치할 수 있다. 즉, 이 테스트를 위해서는 총 두개의 개별 네임노드 서버가 필요하고, 이 중 하나는 항상 대기상태에 있게된다. 하지만 안타깝게도, 두 노드가 HA를..

데이터노드가 기존에 하나라, 분산 테스트를 위해 3개로 늘리려 한다. 기존 : 192.168.192.10 HADOOP1 ( NAME NODE ) 192.168.192.11 HADOOP2 ( DATA NODE ) 변경 192.168.192.10 NN1 192.168.192.20 DN1 ( NAME NODE 1 ) 192.168.192.21 DN2 ( NAME NODE 2 ) 192.168.192.22 DN3 ( NAME NODE 3 ) 1. DATA NODE 수정 (1). 아래 3개의 파일을 수정한다. 네임노드의 호스트명이 바뀐것과, slaves의 호스명과 리스트가 늘어간것을 생각하고 편집. - core-site.xml - hdfs-site.xml - slaves (2). 편집한 파일을 데이터노드 서버에 ..

* 이 포스팅은 FLUME 을 이용해 HDFS에 저장하는 샘플까지만 다룬다. 공식홈페이지는 심플하다. https://flume.apache.org/ /* 설치 */ 최신버전인 1.8을 설치 [root@localhost flume]# wget http://archive.apache.org/dist/flume/1.8.0/apache-flume-1.8.0-bin.tar.gz --2018-04-10 10:19:39-- http://archive.apache.org/dist/flume/1.8.0/apache-flume-1.8.0-bin.tar.gz Resolving archive.apache.org... 163.172.17.199 Connecting to archive.apache.org|163.172.17.19..

원문은 여기 http://hadoop.apache.org/docs/r2.7.5/hadoop-project-dist/hadoop-common/ClusterSetup.html /* 사전 작업 */ 1. host 이름을 각 서버에 할당한다. ( 이때 _ 등이 들어가면, 하둡 실행할때 에러난다. )[root@HADOOP1 hadoop]# cat /etc/hosts 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 192.168.192.10 HADOOP1 192.168.192.11 HADOOP2 [ro..

- 하둡의 릴리즈 역사는 아래의 공식사이트에서 찾을 수 있다.http://hadoop.apache.org/releases.html 하둡이 1.0 에서 2.0으로 바뀔때 아래와 같은기능이 개발되었다. 다만, 안타깝게도 자세한 릴리즈 노트는 링크가 삭제되었다. ---------------------------------------------------------------------------------------------23 May, 2012: Release 2.0.0-alpha availableThis is the first (alpha) version in the hadoop-2.x series.This delivers significant major features over the currently..