분석활용인프라매뉴얼 - kbig.kr¶„석활용인프라 사용자 설명서.pdf · 1...
TRANSCRIPT
![Page 1: 분석활용인프라매뉴얼 - kbig.kr¶„석활용인프라 사용자 설명서.pdf · 1 분석활용인프라 1. 개요 1.1 개요 1 목 차 2. 메뉴구조도 2.1 메뉴구조도](https://reader034.vdocuments.site/reader034/viewer/2022042401/5f0fe34c7e708231d4466217/html5/thumbnails/1.jpg)
빅데이터분석활용센터
분석활용 인프라매뉴얼
![Page 2: 분석활용인프라매뉴얼 - kbig.kr¶„석활용인프라 사용자 설명서.pdf · 1 분석활용인프라 1. 개요 1.1 개요 1 목 차 2. 메뉴구조도 2.1 메뉴구조도](https://reader034.vdocuments.site/reader034/viewer/2022042401/5f0fe34c7e708231d4466217/html5/thumbnails/2.jpg)
1 분석활용 인프라
1. 개요
1.1 개요 1
목 차
2. 메뉴구조도
2.1 메뉴구조도 2
3. 화면설명
3.1 플라밍고 로그인 3
3.2 데스크탑 화면 8
3.3 대시보드 9
3.4 워크플로우 디자이너 13
3.5 파일시스템 브라우저 27
3.6 Apache Hive 편집기 42
3.7 Apache Pig 편집기 48
3.8 BI Matrix 52
3.9 Mdp 53
3.10 R Studio 58
3.11 Visual 59
![Page 3: 분석활용인프라매뉴얼 - kbig.kr¶„석활용인프라 사용자 설명서.pdf · 1 분석활용인프라 1. 개요 1.1 개요 1 목 차 2. 메뉴구조도 2.1 메뉴구조도](https://reader034.vdocuments.site/reader034/viewer/2022042401/5f0fe34c7e708231d4466217/html5/thumbnails/3.jpg)
1. 개요
1.1 개요
1) 플라밍고는 웹 브라우저에서 빅데이터 분석을 하는 도구이며, 빅데이터 분석가들이 터미널 환경에서 수고
스럽게 작업하던 환경을 개선했다.
2) 편리하게 플라밍고를 사용하는 사용법 및 각종 분석 도구에 대한 설명을 기술했다.
![Page 4: 분석활용인프라매뉴얼 - kbig.kr¶„석활용인프라 사용자 설명서.pdf · 1 분석활용인프라 1. 개요 1.1 개요 1 목 차 2. 메뉴구조도 2.1 메뉴구조도](https://reader034.vdocuments.site/reader034/viewer/2022042401/5f0fe34c7e708231d4466217/html5/thumbnails/4.jpg)
2. 메뉴구조도
2.1 메뉴구조도
![Page 5: 분석활용인프라매뉴얼 - kbig.kr¶„석활용인프라 사용자 설명서.pdf · 1 분석활용인프라 1. 개요 1.1 개요 1 목 차 2. 메뉴구조도 2.1 메뉴구조도](https://reader034.vdocuments.site/reader034/viewer/2022042401/5f0fe34c7e708231d4466217/html5/thumbnails/5.jpg)
3. 화면설명
3.1 플라밍고 로그인
1) 빅데이터 전략센터에 로그인한 다음 분석활용 인프라를 예약한다.
![Page 6: 분석활용인프라매뉴얼 - kbig.kr¶„석활용인프라 사용자 설명서.pdf · 1 분석활용인프라 1. 개요 1.1 개요 1 목 차 2. 메뉴구조도 2.1 메뉴구조도](https://reader034.vdocuments.site/reader034/viewer/2022042401/5f0fe34c7e708231d4466217/html5/thumbnails/6.jpg)
3. 화면설명
3.1 플라밍고 로그인
2) 관리자 승인 후 “실행” 버튼을 클릭하여 분석활용 인프라를 사용한다.
![Page 7: 분석활용인프라매뉴얼 - kbig.kr¶„석활용인프라 사용자 설명서.pdf · 1 분석활용인프라 1. 개요 1.1 개요 1 목 차 2. 메뉴구조도 2.1 메뉴구조도](https://reader034.vdocuments.site/reader034/viewer/2022042401/5f0fe34c7e708231d4466217/html5/thumbnails/7.jpg)
3. 화면설명
3.1 플라밍고 로그인
3) 플라밍고 화면
![Page 8: 분석활용인프라매뉴얼 - kbig.kr¶„석활용인프라 사용자 설명서.pdf · 1 분석활용인프라 1. 개요 1.1 개요 1 목 차 2. 메뉴구조도 2.1 메뉴구조도](https://reader034.vdocuments.site/reader034/viewer/2022042401/5f0fe34c7e708231d4466217/html5/thumbnails/8.jpg)
3. 화면설명
3.2 데스크탑 화면
1) 데스크탑 바탕화면의 실행 아이콘
![Page 9: 분석활용인프라매뉴얼 - kbig.kr¶„석활용인프라 사용자 설명서.pdf · 1 분석활용인프라 1. 개요 1.1 개요 1 목 차 2. 메뉴구조도 2.1 메뉴구조도](https://reader034.vdocuments.site/reader034/viewer/2022042401/5f0fe34c7e708231d4466217/html5/thumbnails/9.jpg)
3. 화면설명
3.2 데스크탑 화면
2) 시작메뉴
![Page 10: 분석활용인프라매뉴얼 - kbig.kr¶„석활용인프라 사용자 설명서.pdf · 1 분석활용인프라 1. 개요 1.1 개요 1 목 차 2. 메뉴구조도 2.1 메뉴구조도](https://reader034.vdocuments.site/reader034/viewer/2022042401/5f0fe34c7e708231d4466217/html5/thumbnails/10.jpg)
3. 화면설명
3.2 데스크탑 화면
3) 작업표시줄
![Page 11: 분석활용인프라매뉴얼 - kbig.kr¶„석활용인프라 사용자 설명서.pdf · 1 분석활용인프라 1. 개요 1.1 개요 1 목 차 2. 메뉴구조도 2.1 메뉴구조도](https://reader034.vdocuments.site/reader034/viewer/2022042401/5f0fe34c7e708231d4466217/html5/thumbnails/11.jpg)
3. 화면설명
3.3 대시보드
1) 워크플로우 이력
![Page 12: 분석활용인프라매뉴얼 - kbig.kr¶„석활용인프라 사용자 설명서.pdf · 1 분석활용인프라 1. 개요 1.1 개요 1 목 차 2. 메뉴구조도 2.1 메뉴구조도](https://reader034.vdocuments.site/reader034/viewer/2022042401/5f0fe34c7e708231d4466217/html5/thumbnails/12.jpg)
3. 화면설명
3.3 대시보드
2) 실행 중인 워크플로우
![Page 13: 분석활용인프라매뉴얼 - kbig.kr¶„석활용인프라 사용자 설명서.pdf · 1 분석활용인프라 1. 개요 1.1 개요 1 목 차 2. 메뉴구조도 2.1 메뉴구조도](https://reader034.vdocuments.site/reader034/viewer/2022042401/5f0fe34c7e708231d4466217/html5/thumbnails/13.jpg)
3. 화면설명
3.4 워크플로우 디자이너
1) 워크플로우 작성
- “컴포넌트”를 끌어다 “워크플로우 디자이너”의 “캔버스”에 놓는다.
- "Start“ 노드와 ”컴포넌트“를 연결하고, ”컴포넌트“와 ”End" 노드를 연결하여 작업흐름을 완성한다.
- “워크플로우 이름”을 입력한다.
- 컴포넌트를 더블클릭하여 필수정보를 입력한다.
![Page 14: 분석활용인프라매뉴얼 - kbig.kr¶„석활용인프라 사용자 설명서.pdf · 1 분석활용인프라 1. 개요 1.1 개요 1 목 차 2. 메뉴구조도 2.1 메뉴구조도](https://reader034.vdocuments.site/reader034/viewer/2022042401/5f0fe34c7e708231d4466217/html5/thumbnails/14.jpg)
3. 화면설명
3.4 워크플로우 디자이너
1) 워크플로우 작성
![Page 15: 분석활용인프라매뉴얼 - kbig.kr¶„석활용인프라 사용자 설명서.pdf · 1 분석활용인프라 1. 개요 1.1 개요 1 목 차 2. 메뉴구조도 2.1 메뉴구조도](https://reader034.vdocuments.site/reader034/viewer/2022042401/5f0fe34c7e708231d4466217/html5/thumbnails/15.jpg)
3. 화면설명
3.4 워크플로우 디자이너
1) 워크플로우 작성
![Page 16: 분석활용인프라매뉴얼 - kbig.kr¶„석활용인프라 사용자 설명서.pdf · 1 분석활용인프라 1. 개요 1.1 개요 1 목 차 2. 메뉴구조도 2.1 메뉴구조도](https://reader034.vdocuments.site/reader034/viewer/2022042401/5f0fe34c7e708231d4466217/html5/thumbnails/16.jpg)
3. 화면설명
3.4 워크플로우 디자이너
2) 워크플로우 저장
![Page 17: 분석활용인프라매뉴얼 - kbig.kr¶„석활용인프라 사용자 설명서.pdf · 1 분석활용인프라 1. 개요 1.1 개요 1 목 차 2. 메뉴구조도 2.1 메뉴구조도](https://reader034.vdocuments.site/reader034/viewer/2022042401/5f0fe34c7e708231d4466217/html5/thumbnails/17.jpg)
3. 화면설명
3.4 워크플로우 디자이너
2) 워크플로우 저장
- 워크플로우를 저장할 폴더를 선택하고 확인을 눌러 좌측 트리에 워크플로우를 저장한다.
![Page 18: 분석활용인프라매뉴얼 - kbig.kr¶„석활용인프라 사용자 설명서.pdf · 1 분석활용인프라 1. 개요 1.1 개요 1 목 차 2. 메뉴구조도 2.1 메뉴구조도](https://reader034.vdocuments.site/reader034/viewer/2022042401/5f0fe34c7e708231d4466217/html5/thumbnails/18.jpg)
3. 화면설명
3.4 워크플로우 디자이너
3) 워크플로우 실행
![Page 19: 분석활용인프라매뉴얼 - kbig.kr¶„석활용인프라 사용자 설명서.pdf · 1 분석활용인프라 1. 개요 1.1 개요 1 목 차 2. 메뉴구조도 2.1 메뉴구조도](https://reader034.vdocuments.site/reader034/viewer/2022042401/5f0fe34c7e708231d4466217/html5/thumbnails/19.jpg)
3. 화면설명
3.4 워크플로우 디자이너
3) 워크플로우 실행
- 워크플로우 “실행” 버튼을 클릭하고, “예”를 클릭한다.
- 워크플로우 실행 성공 메시지
![Page 20: 분석활용인프라매뉴얼 - kbig.kr¶„석활용인프라 사용자 설명서.pdf · 1 분석활용인프라 1. 개요 1.1 개요 1 목 차 2. 메뉴구조도 2.1 메뉴구조도](https://reader034.vdocuments.site/reader034/viewer/2022042401/5f0fe34c7e708231d4466217/html5/thumbnails/20.jpg)
3. 화면설명
3.4 워크플로우 디자이너
3) 워크플로우 실행
- 워크플로우 실행결과를 “대시보드”에서 확인한다.
![Page 21: 분석활용인프라매뉴얼 - kbig.kr¶„석활용인프라 사용자 설명서.pdf · 1 분석활용인프라 1. 개요 1.1 개요 1 목 차 2. 메뉴구조도 2.1 메뉴구조도](https://reader034.vdocuments.site/reader034/viewer/2022042401/5f0fe34c7e708231d4466217/html5/thumbnails/21.jpg)
3. 화면설명
3.4 워크플로우 디자이너
4) 워크플로우 불러오기
- 좌측 트리에서 워크플로우를 더블클릭하여 워크플로우를 불러온다.
![Page 22: 분석활용인프라매뉴얼 - kbig.kr¶„석활용인프라 사용자 설명서.pdf · 1 분석활용인프라 1. 개요 1.1 개요 1 목 차 2. 메뉴구조도 2.1 메뉴구조도](https://reader034.vdocuments.site/reader034/viewer/2022042401/5f0fe34c7e708231d4466217/html5/thumbnails/22.jpg)
3. 화면설명
3.4 워크플로우 디자이너
5) 워크플로우 XML 보기
- “XML 보기”를 클릭하여 저장한 XML을 확인한다.
![Page 23: 분석활용인프라매뉴얼 - kbig.kr¶„석활용인프라 사용자 설명서.pdf · 1 분석활용인프라 1. 개요 1.1 개요 1 목 차 2. 메뉴구조도 2.1 메뉴구조도](https://reader034.vdocuments.site/reader034/viewer/2022042401/5f0fe34c7e708231d4466217/html5/thumbnails/23.jpg)
3. 화면설명
3.4 워크플로우 디자이너
6) 워크플로우 복사
- “복사”를 클릭하여 복사할 경로를 지정한 후 복사를 한다.
![Page 24: 분석활용인프라매뉴얼 - kbig.kr¶„석활용인프라 사용자 설명서.pdf · 1 분석활용인프라 1. 개요 1.1 개요 1 목 차 2. 메뉴구조도 2.1 메뉴구조도](https://reader034.vdocuments.site/reader034/viewer/2022042401/5f0fe34c7e708231d4466217/html5/thumbnails/24.jpg)
3. 화면설명
3.4 워크플로우 디자이너
6) 워크플로우 복사
- 복사한 워크플로우는 트리에서 주황색이며, 저장하면 파란색으로 변한다.
![Page 25: 분석활용인프라매뉴얼 - kbig.kr¶„석활용인프라 사용자 설명서.pdf · 1 분석활용인프라 1. 개요 1.1 개요 1 목 차 2. 메뉴구조도 2.1 메뉴구조도](https://reader034.vdocuments.site/reader034/viewer/2022042401/5f0fe34c7e708231d4466217/html5/thumbnails/25.jpg)
3. 화면설명
3.4 워크플로우 디자이너
7) 워크플로우 삭제
- 트리에서 마우스 오른쪽 버튼을 클릭하고 “삭제”를 선택한다.
![Page 26: 분석활용인프라매뉴얼 - kbig.kr¶„석활용인프라 사용자 설명서.pdf · 1 분석활용인프라 1. 개요 1.1 개요 1 목 차 2. 메뉴구조도 2.1 메뉴구조도](https://reader034.vdocuments.site/reader034/viewer/2022042401/5f0fe34c7e708231d4466217/html5/thumbnails/26.jpg)
3. 화면설명
3.4 워크플로우 디자이너
8) 워크플로우 이름변경
- 트리에서 마우스 오른쪽 버튼을 클릭하고 “이름변경”을 선택한다.
![Page 27: 분석활용인프라매뉴얼 - kbig.kr¶„석활용인프라 사용자 설명서.pdf · 1 분석활용인프라 1. 개요 1.1 개요 1 목 차 2. 메뉴구조도 2.1 메뉴구조도](https://reader034.vdocuments.site/reader034/viewer/2022042401/5f0fe34c7e708231d4466217/html5/thumbnails/27.jpg)
3. 화면설명
3.4 워크플로우 디자이너
9) 워크플로우 변수 설정
- ”캔버스” 우측의 워크플로우 변수에서 Key-Value를 등록하면 ${Key} 값이 value의 값으로 치환된다.
![Page 28: 분석활용인프라매뉴얼 - kbig.kr¶„석활용인프라 사용자 설명서.pdf · 1 분석활용인프라 1. 개요 1.1 개요 1 목 차 2. 메뉴구조도 2.1 메뉴구조도](https://reader034.vdocuments.site/reader034/viewer/2022042401/5f0fe34c7e708231d4466217/html5/thumbnails/28.jpg)
3. 화면설명
3.4 워크플로우 디자이너
10) 워크플로우 알고리즘 설명
- ”워크플로우 디자이너” 우측 상단의 “?”를 클릭한다.
![Page 29: 분석활용인프라매뉴얼 - kbig.kr¶„석활용인프라 사용자 설명서.pdf · 1 분석활용인프라 1. 개요 1.1 개요 1 목 차 2. 메뉴구조도 2.1 메뉴구조도](https://reader034.vdocuments.site/reader034/viewer/2022042401/5f0fe34c7e708231d4466217/html5/thumbnails/29.jpg)
3. 화면설명
3.5 파일시스템 브라우저
1) 디렉토리 생성
- ”디렉토리 생성” 버튼을 클릭하고, 입력필드에 “디렉토리 명”을 입력한다.
![Page 30: 분석활용인프라매뉴얼 - kbig.kr¶„석활용인프라 사용자 설명서.pdf · 1 분석활용인프라 1. 개요 1.1 개요 1 목 차 2. 메뉴구조도 2.1 메뉴구조도](https://reader034.vdocuments.site/reader034/viewer/2022042401/5f0fe34c7e708231d4466217/html5/thumbnails/30.jpg)
3. 화면설명
3.5 파일시스템 브라우저
2) 디렉토리 복사
- ”디렉토리 복사” 버튼을 클릭하고, 복사할 디렉토리를 선택한다.
![Page 31: 분석활용인프라매뉴얼 - kbig.kr¶„석활용인프라 사용자 설명서.pdf · 1 분석활용인프라 1. 개요 1.1 개요 1 목 차 2. 메뉴구조도 2.1 메뉴구조도](https://reader034.vdocuments.site/reader034/viewer/2022042401/5f0fe34c7e708231d4466217/html5/thumbnails/31.jpg)
3. 화면설명
3.5 파일시스템 브라우저
3) 디렉토리 이동
- ”디렉토리 이동” 버튼을 클릭하고, 이동할 디렉토리를 선택한다.
![Page 32: 분석활용인프라매뉴얼 - kbig.kr¶„석활용인프라 사용자 설명서.pdf · 1 분석활용인프라 1. 개요 1.1 개요 1 목 차 2. 메뉴구조도 2.1 메뉴구조도](https://reader034.vdocuments.site/reader034/viewer/2022042401/5f0fe34c7e708231d4466217/html5/thumbnails/32.jpg)
3. 화면설명
3.5 파일시스템 브라우저
4) 디렉토리 이름 변경
- ”디렉토리 이름 변경” 버튼을 클릭하고, 변경할 이름을 입력한다.
![Page 33: 분석활용인프라매뉴얼 - kbig.kr¶„석활용인프라 사용자 설명서.pdf · 1 분석활용인프라 1. 개요 1.1 개요 1 목 차 2. 메뉴구조도 2.1 메뉴구조도](https://reader034.vdocuments.site/reader034/viewer/2022042401/5f0fe34c7e708231d4466217/html5/thumbnails/33.jpg)
3. 화면설명
3.5 파일시스템 브라우저
5) 디렉토리 삭제
- ”디렉토리 삭제” 버튼을 클릭하고, “예”를 클릭한다.
![Page 34: 분석활용인프라매뉴얼 - kbig.kr¶„석활용인프라 사용자 설명서.pdf · 1 분석활용인프라 1. 개요 1.1 개요 1 목 차 2. 메뉴구조도 2.1 메뉴구조도](https://reader034.vdocuments.site/reader034/viewer/2022042401/5f0fe34c7e708231d4466217/html5/thumbnails/34.jpg)
3. 화면설명
3.5 파일시스템 브라우저
6) Hive 데이터베이스 생성
- ”Hive 데이터베이스 생성” 버튼을 클릭하고, 필수 입력 필드를 채운다.
![Page 35: 분석활용인프라매뉴얼 - kbig.kr¶„석활용인프라 사용자 설명서.pdf · 1 분석활용인프라 1. 개요 1.1 개요 1 목 차 2. 메뉴구조도 2.1 메뉴구조도](https://reader034.vdocuments.site/reader034/viewer/2022042401/5f0fe34c7e708231d4466217/html5/thumbnails/35.jpg)
3. 화면설명
3.5 파일시스템 브라우저
6) Hive 데이터베이스 생성
- 데이터베이스 아이콘으로 변한다.
![Page 36: 분석활용인프라매뉴얼 - kbig.kr¶„석활용인프라 사용자 설명서.pdf · 1 분석활용인프라 1. 개요 1.1 개요 1 목 차 2. 메뉴구조도 2.1 메뉴구조도](https://reader034.vdocuments.site/reader034/viewer/2022042401/5f0fe34c7e708231d4466217/html5/thumbnails/36.jpg)
3. 화면설명
3.5 파일시스템 브라우저
7) Hive 테이블 생성
- “Hive 테이블 생성” 버튼을 클릭한다.
![Page 37: 분석활용인프라매뉴얼 - kbig.kr¶„석활용인프라 사용자 설명서.pdf · 1 분석활용인프라 1. 개요 1.1 개요 1 목 차 2. 메뉴구조도 2.1 메뉴구조도](https://reader034.vdocuments.site/reader034/viewer/2022042401/5f0fe34c7e708231d4466217/html5/thumbnails/37.jpg)
3. 화면설명
3.5 파일시스템 브라우저
8) 파일 복사
- 그리드에서 “복사” 버튼을 클릭한다.
![Page 38: 분석활용인프라매뉴얼 - kbig.kr¶„석활용인프라 사용자 설명서.pdf · 1 분석활용인프라 1. 개요 1.1 개요 1 목 차 2. 메뉴구조도 2.1 메뉴구조도](https://reader034.vdocuments.site/reader034/viewer/2022042401/5f0fe34c7e708231d4466217/html5/thumbnails/38.jpg)
3. 화면설명
3.5 파일시스템 브라우저
9) 파일 이동
- 그리드에서 “이동” 버튼을 클릭한다.
![Page 39: 분석활용인프라매뉴얼 - kbig.kr¶„석활용인프라 사용자 설명서.pdf · 1 분석활용인프라 1. 개요 1.1 개요 1 목 차 2. 메뉴구조도 2.1 메뉴구조도](https://reader034.vdocuments.site/reader034/viewer/2022042401/5f0fe34c7e708231d4466217/html5/thumbnails/39.jpg)
3. 화면설명
3.5 파일시스템 브라우저
10) 파일 이름변경
- 그리드에서 “이름변경” 버튼을 클릭한다.
![Page 40: 분석활용인프라매뉴얼 - kbig.kr¶„석활용인프라 사용자 설명서.pdf · 1 분석활용인프라 1. 개요 1.1 개요 1 목 차 2. 메뉴구조도 2.1 메뉴구조도](https://reader034.vdocuments.site/reader034/viewer/2022042401/5f0fe34c7e708231d4466217/html5/thumbnails/40.jpg)
3. 화면설명
3.5 파일시스템 브라우저
11) 파일 삭제
- 그리드에서 “삭제” 버튼을 클릭한다.
![Page 41: 분석활용인프라매뉴얼 - kbig.kr¶„석활용인프라 사용자 설명서.pdf · 1 분석활용인프라 1. 개요 1.1 개요 1 목 차 2. 메뉴구조도 2.1 메뉴구조도](https://reader034.vdocuments.site/reader034/viewer/2022042401/5f0fe34c7e708231d4466217/html5/thumbnails/41.jpg)
3. 화면설명
3.5 파일시스템 브라우저
12) 파일 업로드
- 그리드에서 “업로드” 버튼을 클릭한다.
![Page 42: 분석활용인프라매뉴얼 - kbig.kr¶„석활용인프라 사용자 설명서.pdf · 1 분석활용인프라 1. 개요 1.1 개요 1 목 차 2. 메뉴구조도 2.1 메뉴구조도](https://reader034.vdocuments.site/reader034/viewer/2022042401/5f0fe34c7e708231d4466217/html5/thumbnails/42.jpg)
3. 화면설명
3.5 파일시스템 브라우저
13) 파일 다운로드
- 그리드에서 “다운로드” 버튼을 클릭한다.
![Page 43: 분석활용인프라매뉴얼 - kbig.kr¶„석활용인프라 사용자 설명서.pdf · 1 분석활용인프라 1. 개요 1.1 개요 1 목 차 2. 메뉴구조도 2.1 메뉴구조도](https://reader034.vdocuments.site/reader034/viewer/2022042401/5f0fe34c7e708231d4466217/html5/thumbnails/43.jpg)
3. 화면설명
3.5 파일시스템 브라우저
14) 파일 보기
- 그리드에서 “파일 보기” 버튼을 클릭한다.
![Page 44: 분석활용인프라매뉴얼 - kbig.kr¶„석활용인프라 사용자 설명서.pdf · 1 분석활용인프라 1. 개요 1.1 개요 1 목 차 2. 메뉴구조도 2.1 메뉴구조도](https://reader034.vdocuments.site/reader034/viewer/2022042401/5f0fe34c7e708231d4466217/html5/thumbnails/44.jpg)
3. 화면설명
3.6 Apache Hive 편집기
1) Hive 테이블 추가
- 좌측 트리에서 “테이블 추가” 버튼을 클릭한다.
![Page 45: 분석활용인프라매뉴얼 - kbig.kr¶„석활용인프라 사용자 설명서.pdf · 1 분석활용인프라 1. 개요 1.1 개요 1 목 차 2. 메뉴구조도 2.1 메뉴구조도](https://reader034.vdocuments.site/reader034/viewer/2022042401/5f0fe34c7e708231d4466217/html5/thumbnails/45.jpg)
3. 화면설명
3.6 Apache Hive 편집기
2) Hive 데이터베이스 추가
- 좌측 트리에서 “데이터베이스 추가” 버튼을 클릭한다.
![Page 46: 분석활용인프라매뉴얼 - kbig.kr¶„석활용인프라 사용자 설명서.pdf · 1 분석활용인프라 1. 개요 1.1 개요 1 목 차 2. 메뉴구조도 2.1 메뉴구조도](https://reader034.vdocuments.site/reader034/viewer/2022042401/5f0fe34c7e708231d4466217/html5/thumbnails/46.jpg)
3. 화면설명
3.6 Apache Hive 편집기
3) Hive 쿼리 작성
- 우측 편집기에서 Hive 쿼리를 작성하고, “Hive 쿼리 이름”을 입력하고 “저장” 버튼을 클릭한다.
![Page 47: 분석활용인프라매뉴얼 - kbig.kr¶„석활용인프라 사용자 설명서.pdf · 1 분석활용인프라 1. 개요 1.1 개요 1 목 차 2. 메뉴구조도 2.1 메뉴구조도](https://reader034.vdocuments.site/reader034/viewer/2022042401/5f0fe34c7e708231d4466217/html5/thumbnails/47.jpg)
3. 화면설명
3.6 Apache Hive 편집기
4) Hive 쿼리 실행
- 편집기 우측 상단의 “실행” 버튼을 클릭한다.
![Page 48: 분석활용인프라매뉴얼 - kbig.kr¶„석활용인프라 사용자 설명서.pdf · 1 분석활용인프라 1. 개요 1.1 개요 1 목 차 2. 메뉴구조도 2.1 메뉴구조도](https://reader034.vdocuments.site/reader034/viewer/2022042401/5f0fe34c7e708231d4466217/html5/thumbnails/48.jpg)
3. 화면설명
3.6 Apache Hive 편집기
5) Hive 이력
- “이력” 탭에는 쿼리 실행 정보및 실행 결과가 나타난다.
![Page 49: 분석활용인프라매뉴얼 - kbig.kr¶„석활용인프라 사용자 설명서.pdf · 1 분석활용인프라 1. 개요 1.1 개요 1 목 차 2. 메뉴구조도 2.1 메뉴구조도](https://reader034.vdocuments.site/reader034/viewer/2022042401/5f0fe34c7e708231d4466217/html5/thumbnails/49.jpg)
3. 화면설명
3.6 Apache Hive 편집기
6) Hive 쿼리 이력
- “Hive 쿼리” 탭에는 저정한 쿼리가 나타난다.
![Page 50: 분석활용인프라매뉴얼 - kbig.kr¶„석활용인프라 사용자 설명서.pdf · 1 분석활용인프라 1. 개요 1.1 개요 1 목 차 2. 메뉴구조도 2.1 메뉴구조도](https://reader034.vdocuments.site/reader034/viewer/2022042401/5f0fe34c7e708231d4466217/html5/thumbnails/50.jpg)
3. 화면설명
3.7 Apache Pig 편집기
1) Pig 쿼리 작성
- 편집기에서 Pig Script를 작성한다.
![Page 51: 분석활용인프라매뉴얼 - kbig.kr¶„석활용인프라 사용자 설명서.pdf · 1 분석활용인프라 1. 개요 1.1 개요 1 목 차 2. 메뉴구조도 2.1 메뉴구조도](https://reader034.vdocuments.site/reader034/viewer/2022042401/5f0fe34c7e708231d4466217/html5/thumbnails/51.jpg)
3. 화면설명
3.7 Apache Pig 편집기
2) Pig 쿼리 실행
- 편집기에서 “실행” 버튼을 클릭하고, 실행 정보창이 나타난다.
![Page 52: 분석활용인프라매뉴얼 - kbig.kr¶„석활용인프라 사용자 설명서.pdf · 1 분석활용인프라 1. 개요 1.1 개요 1 목 차 2. 메뉴구조도 2.1 메뉴구조도](https://reader034.vdocuments.site/reader034/viewer/2022042401/5f0fe34c7e708231d4466217/html5/thumbnails/52.jpg)
3. 화면설명
3.7 Apache Pig 편집기
3) Pig 이력
- “이력” 탭에는 쿼리 실행 정보및 실행 결과가 나타난다.
![Page 53: 분석활용인프라매뉴얼 - kbig.kr¶„석활용인프라 사용자 설명서.pdf · 1 분석활용인프라 1. 개요 1.1 개요 1 목 차 2. 메뉴구조도 2.1 메뉴구조도](https://reader034.vdocuments.site/reader034/viewer/2022042401/5f0fe34c7e708231d4466217/html5/thumbnails/53.jpg)
3. 화면설명
3.7 Apache Pig 편집기
4) Pig 쿼리 이력
- “Pig Latin 스크립트” 탭에는 저장한 스크립트가 나타난다.
![Page 54: 분석활용인프라매뉴얼 - kbig.kr¶„석활용인프라 사용자 설명서.pdf · 1 분석활용인프라 1. 개요 1.1 개요 1 목 차 2. 메뉴구조도 2.1 메뉴구조도](https://reader034.vdocuments.site/reader034/viewer/2022042401/5f0fe34c7e708231d4466217/html5/thumbnails/54.jpg)
3. 화면설명
3.8 BI Matrix
1) BI Matrix
- 데스크탑에서 “BIMatrix” 아이콘을 클릭하여 창의 띄운다.
- 참조 : http://www.bimatrix.co.kr/product/matrix01.html
![Page 55: 분석활용인프라매뉴얼 - kbig.kr¶„석활용인프라 사용자 설명서.pdf · 1 분석활용인프라 1. 개요 1.1 개요 1 목 차 2. 메뉴구조도 2.1 메뉴구조도](https://reader034.vdocuments.site/reader034/viewer/2022042401/5f0fe34c7e708231d4466217/html5/thumbnails/55.jpg)
3. 화면설명
3.9 Mdp
1) Mdp
- MDP 스크립트 작성법은 사용자 홈 폴더의 “/mdp/MDP-설명서.txt” 파일로 작성되어 있다.
MDP는 원본 자료에서 일부 필드를 변형하여 새로운 데이터를 생성하는 ETL툴입니다. (ETL, Extract-Transform-Load)
샘플 예제는 mdp_demo.ats 라는 파일로서 local FS에 수집된 PDS 1개월 데이터를 ETL로 정제하여 HDFS 로드 하는 코드입니다.
주의: 파일 내에 있는 계정 폴더(/home/demo02)명을 자기 계정에 맞게 수정해 줘야 합니다.
자기 ID 가 userid-7 이면 /home/userid-7 로 수정해 줘야 합니다.
예제 파일: /home/demo02/mdp/mdp_demo.ats
로컬 파일: /home/demo02/mdp/POS_RAW_201201.txt (입력파일)
출력 파일: hdfs: /home/demo02/PDS/POS_CLEANED_DATA_201201.txt (출력파일)
결과적으로 생긴 하둡의 파일은 다음 명령어로 볼 수 있습니다.
$ hadoop fs -cat /home/demo02/PDS/POS_CLEANED_DATA_201201.txt | more (파일브라우저로 HDFS 디렉토리에서 볼 수 있습니다.)
입력 파일은 다음 명령어로 볼 수 있습니다.
$ cat /home/demo02/mdp/POS_RAW_201201.txt | more (파일브라우저로 로컬 디렉토리에서 볼 수 있습니다.)
![Page 56: 분석활용인프라매뉴얼 - kbig.kr¶„석활용인프라 사용자 설명서.pdf · 1 분석활용인프라 1. 개요 1.1 개요 1 목 차 2. 메뉴구조도 2.1 메뉴구조도](https://reader034.vdocuments.site/reader034/viewer/2022042401/5f0fe34c7e708231d4466217/html5/thumbnails/56.jpg)
3. 화면설명
3.9 Mdp
2) Mdp 쿼리 작성
![Page 57: 분석활용인프라매뉴얼 - kbig.kr¶„석활용인프라 사용자 설명서.pdf · 1 분석활용인프라 1. 개요 1.1 개요 1 목 차 2. 메뉴구조도 2.1 메뉴구조도](https://reader034.vdocuments.site/reader034/viewer/2022042401/5f0fe34c7e708231d4466217/html5/thumbnails/57.jpg)
3. 화면설명
3.9 Mdp
2) Mdp 쿼리 저장
- “저장” 또는 “다른 이름으로 저장” 버튼을 클릭한다.
![Page 58: 분석활용인프라매뉴얼 - kbig.kr¶„석활용인프라 사용자 설명서.pdf · 1 분석활용인프라 1. 개요 1.1 개요 1 목 차 2. 메뉴구조도 2.1 메뉴구조도](https://reader034.vdocuments.site/reader034/viewer/2022042401/5f0fe34c7e708231d4466217/html5/thumbnails/58.jpg)
3. 화면설명
3.9 Mdp
3) Mdp 쿼리 실행
- “실행” 버튼을 클릭한다.
![Page 59: 분석활용인프라매뉴얼 - kbig.kr¶„석활용인프라 사용자 설명서.pdf · 1 분석활용인프라 1. 개요 1.1 개요 1 목 차 2. 메뉴구조도 2.1 메뉴구조도](https://reader034.vdocuments.site/reader034/viewer/2022042401/5f0fe34c7e708231d4466217/html5/thumbnails/59.jpg)
3. 화면설명
3.9 Mdp
4) Mdp 작업 히스토리
![Page 60: 분석활용인프라매뉴얼 - kbig.kr¶„석활용인프라 사용자 설명서.pdf · 1 분석활용인프라 1. 개요 1.1 개요 1 목 차 2. 메뉴구조도 2.1 메뉴구조도](https://reader034.vdocuments.site/reader034/viewer/2022042401/5f0fe34c7e708231d4466217/html5/thumbnails/60.jpg)
3. 화면설명
3.10 R Studio
1) R Code 작성 및 실행
![Page 61: 분석활용인프라매뉴얼 - kbig.kr¶„석활용인프라 사용자 설명서.pdf · 1 분석활용인프라 1. 개요 1.1 개요 1 목 차 2. 메뉴구조도 2.1 메뉴구조도](https://reader034.vdocuments.site/reader034/viewer/2022042401/5f0fe34c7e708231d4466217/html5/thumbnails/61.jpg)
3. 화면설명
3.10 R Studio
2) R Hdfs
// rhdfs를 사용하기 위한 Dependency Library import
library(“rJava”, lib.loc=“/usr/lib64/R/library”);
// rhdfs를 사용하기 위한 Library import
library(“rhdfs”, lib.loc=“/usr/lib64/R/library”);
// hdfs 초기화
hdfs.init();
// list 명령
hdfs.ls(”/”);
// local fs에서 hdfs로 파일 복사
hdfs.get(”/home/admin/test.csv”, ”/home/admin”, srcFS=hdfs.defaults(”fs”));
// hdfs에서 local fs로 파일 복사
hdfs.put(”/home/admin/test.java”, ”/home/admin”, dstFS=hdfs.defaults(”fs”));
![Page 62: 분석활용인프라매뉴얼 - kbig.kr¶„석활용인프라 사용자 설명서.pdf · 1 분석활용인프라 1. 개요 1.1 개요 1 목 차 2. 메뉴구조도 2.1 메뉴구조도](https://reader034.vdocuments.site/reader034/viewer/2022042401/5f0fe34c7e708231d4466217/html5/thumbnails/62.jpg)
3. 화면설명
3.10 R Studio
3) R Hive
// RHvie를 사용하기 위한 Library import
library("RHive”);
// rhive 초기화
rhive.init();
// 분석활용 인프라
rhive.connect(host=“192.168.3.1”, port=10000, hiveServer2=TRUE, defaultFS=“hdfs://192.168.3.1:8020”);
// 교육실습 인프라
rhive.connect(host=“192.168.1.35”, port=10000, hiveServer2=TRUE, defaultFS=“hdfs://192.168.1.35:8020”);
// databases 보기
rhive.show.databases();
// database 사용
rhive.use.database(“test1”);
// tables 보기
rhive.show.tables();
// rows counting 쿼리 실행
rhive.query(“select count(*) from product”);
![Page 63: 분석활용인프라매뉴얼 - kbig.kr¶„석활용인프라 사용자 설명서.pdf · 1 분석활용인프라 1. 개요 1.1 개요 1 목 차 2. 메뉴구조도 2.1 메뉴구조도](https://reader034.vdocuments.site/reader034/viewer/2022042401/5f0fe34c7e708231d4466217/html5/thumbnails/63.jpg)
3. 화면설명
3.11 Visual
1) Visualazation은 빅데이터 분석자료를 차트로 표시해준다.
차트를 보려면 아래의 4가지 단계를 거쳐야 한다.
1 단계 “데이터셋 선택” 영역에서 입력 파일을 선택한다.
2 단계 “데이터셋 조회” 영역에서 데이터셋의 포멧을 결정해야 한다.
3 단계 “차트 선택” 영역에서 40가지 시각화 차트중에서 선택한다.
4 단계 “시각화 항목/속성”에서 “x축/y축” 등의 표시할 속성을 입력한다.
![Page 64: 분석활용인프라매뉴얼 - kbig.kr¶„석활용인프라 사용자 설명서.pdf · 1 분석활용인프라 1. 개요 1.1 개요 1 목 차 2. 메뉴구조도 2.1 메뉴구조도](https://reader034.vdocuments.site/reader034/viewer/2022042401/5f0fe34c7e708231d4466217/html5/thumbnails/64.jpg)
3. 화면설명
3.11 Visual
2) 1 단계 “데이터셋 선택” 영역에서 입력 파일을 선택한다.
“/home/{userid}/chart” 폴더에는 차트 샘플이 있다.
![Page 65: 분석활용인프라매뉴얼 - kbig.kr¶„석활용인프라 사용자 설명서.pdf · 1 분석활용인프라 1. 개요 1.1 개요 1 목 차 2. 메뉴구조도 2.1 메뉴구조도](https://reader034.vdocuments.site/reader034/viewer/2022042401/5f0fe34c7e708231d4466217/html5/thumbnails/65.jpg)
3. 화면설명
3.11 Visual
3) 2 단계 “데이터셋 조회” 영역에서 데이터셋의 포멧을 결정해야 한다.
입력 파일의 실제 값을 확인하고 구분자를 결정한다.
![Page 66: 분석활용인프라매뉴얼 - kbig.kr¶„석활용인프라 사용자 설명서.pdf · 1 분석활용인프라 1. 개요 1.1 개요 1 목 차 2. 메뉴구조도 2.1 메뉴구조도](https://reader034.vdocuments.site/reader034/viewer/2022042401/5f0fe34c7e708231d4466217/html5/thumbnails/66.jpg)
3. 화면설명
3.11 Visual
4) 3 단계 “차트 선택” 영역에서 40가지 시각화 차트중에서 선택한다.
차트의 모양을 보고 원하는 차트를 선택한다.
![Page 67: 분석활용인프라매뉴얼 - kbig.kr¶„석활용인프라 사용자 설명서.pdf · 1 분석활용인프라 1. 개요 1.1 개요 1 목 차 2. 메뉴구조도 2.1 메뉴구조도](https://reader034.vdocuments.site/reader034/viewer/2022042401/5f0fe34c7e708231d4466217/html5/thumbnails/67.jpg)
3. 화면설명
3.11 Visual
5) 4 단계 “시각화 항목/속성”에서 “x축/y축” 등의 표시할 속성을 입력한다.
차트에 최적화된 색상 및 레이블명 등을 지정한다.
![Page 68: 분석활용인프라매뉴얼 - kbig.kr¶„석활용인프라 사용자 설명서.pdf · 1 분석활용인프라 1. 개요 1.1 개요 1 목 차 2. 메뉴구조도 2.1 메뉴구조도](https://reader034.vdocuments.site/reader034/viewer/2022042401/5f0fe34c7e708231d4466217/html5/thumbnails/68.jpg)
3. 화면설명
3.11 Visual
6) 차트 종류
![Page 69: 분석활용인프라매뉴얼 - kbig.kr¶„석활용인프라 사용자 설명서.pdf · 1 분석활용인프라 1. 개요 1.1 개요 1 목 차 2. 메뉴구조도 2.1 메뉴구조도](https://reader034.vdocuments.site/reader034/viewer/2022042401/5f0fe34c7e708231d4466217/html5/thumbnails/69.jpg)
3. 화면설명
3.11 Visual
6) 차트 종류
![Page 70: 분석활용인프라매뉴얼 - kbig.kr¶„석활용인프라 사용자 설명서.pdf · 1 분석활용인프라 1. 개요 1.1 개요 1 목 차 2. 메뉴구조도 2.1 메뉴구조도](https://reader034.vdocuments.site/reader034/viewer/2022042401/5f0fe34c7e708231d4466217/html5/thumbnails/70.jpg)
3. 화면설명
3.11 Visual
6) 차트 종류
![Page 71: 분석활용인프라매뉴얼 - kbig.kr¶„석활용인프라 사용자 설명서.pdf · 1 분석활용인프라 1. 개요 1.1 개요 1 목 차 2. 메뉴구조도 2.1 메뉴구조도](https://reader034.vdocuments.site/reader034/viewer/2022042401/5f0fe34c7e708231d4466217/html5/thumbnails/71.jpg)
3. 화면설명
3.11 Visual
6) 차트 종류
![Page 72: 분석활용인프라매뉴얼 - kbig.kr¶„석활용인프라 사용자 설명서.pdf · 1 분석활용인프라 1. 개요 1.1 개요 1 목 차 2. 메뉴구조도 2.1 메뉴구조도](https://reader034.vdocuments.site/reader034/viewer/2022042401/5f0fe34c7e708231d4466217/html5/thumbnails/72.jpg)
3. 화면설명
3.11 Visual
6) 차트 종류
![Page 73: 분석활용인프라매뉴얼 - kbig.kr¶„석활용인프라 사용자 설명서.pdf · 1 분석활용인프라 1. 개요 1.1 개요 1 목 차 2. 메뉴구조도 2.1 메뉴구조도](https://reader034.vdocuments.site/reader034/viewer/2022042401/5f0fe34c7e708231d4466217/html5/thumbnails/73.jpg)
3. 화면설명
3.11 Visual
6) 차트 종류
- TREE MAP
![Page 74: 분석활용인프라매뉴얼 - kbig.kr¶„석활용인프라 사용자 설명서.pdf · 1 분석활용인프라 1. 개요 1.1 개요 1 목 차 2. 메뉴구조도 2.1 메뉴구조도](https://reader034.vdocuments.site/reader034/viewer/2022042401/5f0fe34c7e708231d4466217/html5/thumbnails/74.jpg)
3. 화면설명
3.11 Visual
6) 차트 종류
- ZOOMABLE PARTITION LAYOUT
![Page 75: 분석활용인프라매뉴얼 - kbig.kr¶„석활용인프라 사용자 설명서.pdf · 1 분석활용인프라 1. 개요 1.1 개요 1 목 차 2. 메뉴구조도 2.1 메뉴구조도](https://reader034.vdocuments.site/reader034/viewer/2022042401/5f0fe34c7e708231d4466217/html5/thumbnails/75.jpg)
3. 화면설명
3.11 Visual
6) 차트 종류
- WORD CLOUD
![Page 76: 분석활용인프라매뉴얼 - kbig.kr¶„석활용인프라 사용자 설명서.pdf · 1 분석활용인프라 1. 개요 1.1 개요 1 목 차 2. 메뉴구조도 2.1 메뉴구조도](https://reader034.vdocuments.site/reader034/viewer/2022042401/5f0fe34c7e708231d4466217/html5/thumbnails/76.jpg)
3. 화면설명
3.11 Visual
6) 차트 종류
![Page 77: 분석활용인프라매뉴얼 - kbig.kr¶„석활용인프라 사용자 설명서.pdf · 1 분석활용인프라 1. 개요 1.1 개요 1 목 차 2. 메뉴구조도 2.1 메뉴구조도](https://reader034.vdocuments.site/reader034/viewer/2022042401/5f0fe34c7e708231d4466217/html5/thumbnails/77.jpg)