azarea-cluster (hadoop conference japan 2013 winter demo image)

1 Copyright © 2013 CAC Corporation. All rights reserved.

株式会社シーエーシー

生産技術部

AZAREA-Cluster

デモ画面イメージ

2013年1月31日

2 Copyright © 2013 CAC Corporation. All rights reserved.

概要

本資料は、Hadoop Conference Japan 2013 Winterで行ったAZAREA-Clusterのデモ（の一部）の画面イメージをまとめたものです。 ◦ 若干追加しています。

講演資料本体はこちらです。 ◦ http://www.slideshare.net/AzareaCluster/hcj2013-

w

3 Copyright © 2013 CAC Corporation. All rights reserved.

デモアプリケーション仕様

デモで作成するHadoopアプリケーションの仕様 ◦ 売上と顧客を顧客IDで結合し、地域別に集計する

結合

売上 ・商品コード ・顧客ID ・金額

顧客 ・顧客ID (PK) ・地域

地域別売上 ・地域 (PK) ・件数 ・金額

グループ化

顧客IDで結合

地域でグループ化

4 Copyright © 2013 CAC Corporation. All rights reserved.

デモの流れ

エンティティクラスの作成

エンティティフローの作成

エンティティフローのテスト

その他の機能

5 Copyright © 2013 CAC Corporation. All rights reserved.

エンティティクラスの生成

Excelファイルでエンティティクラスを定義する ◦ 売上、顧客、地域別売上の3エンティティ

1エンティティ1シートに対応

◦ エンティティ毎に項目を定義する

6 Copyright © 2013 CAC Corporation. All rights reserved.

エンティティクラスの作成

Eclipseプラグインでメニューを選択するだけで、Excelファイルからエンティティクラスが自動生成される

7 Copyright © 2013 CAC Corporation. All rights reserved.

エンティティクラスの作成

Eclipseプラグインの画面で編集・作成することも可能

8 Copyright © 2013 CAC Corporation. All rights reserved.

エンティティフローの作成

Eclipseプラグインからエンティティフロー編集画面を開く

9 Copyright © 2013 CAC Corporation. All rights reserved.

エンティティフローの作成

ドラッグ＆ドロップによりエンティティや処理を配置

10 Copyright © 2013 CAC Corporation. All rights reserved.

エンティティフローの作成

矢印アイコンをドラッグしてエンティティと処理を接続

11 Copyright © 2013 CAC Corporation. All rights reserved.

エンティティフローの作成

詳細画面を開いて結合条件や出力エンティティを設定

12 Copyright © 2013 CAC Corporation. All rights reserved.

エンティティフローの作成

同様にしてフローを完成させる

13 Copyright © 2013 CAC Corporation. All rights reserved.

エンティティフローの作成

エンティティフローからソースが自動生成される

14 Copyright © 2013 CAC Corporation. All rights reserved.

エンティティフローの作成

必要に応じて処理の詳細をコーディングする

15 Copyright © 2013 CAC Corporation. All rights reserved.

エンティティフローの作成

コーディング後も再びフロー図を開くことができる ◦ 修正し、再度ソースを生成することが可能

コーディング箇所も維持される

16 Copyright © 2013 CAC Corporation. All rights reserved.

エンティティフローのテスト

テストデータを用意する ◦ テキストファイル

◦ Excelファイル

17 Copyright © 2013 CAC Corporation. All rights reserved.

エンティティフローのテスト

ダイアログによりテストクラスを自動生成 ◦ テストクラス名とテストデータのパスを設定するだけ

後はデフォルトでよい

18 Copyright © 2013 CAC Corporation. All rights reserved.

エンティティフローのテスト

Eclipseのメニューから実行するだけ ◦ コンソールに結果が出力される

◦ ファイルにも結果が出力される

19 Copyright © 2013 CAC Corporation. All rights reserved.

エンティティフローのテスト

Eclipse上でデバッグも可能

20 Copyright © 2013 CAC Corporation. All rights reserved.

エンティティフローのテスト

結果の検証機能 ◦ 想定結果を用意しておく

テキストファイル

Excelファイル

◦ テスト終了後、実行結果と想定結果を比較することができる 自動回帰テストが容易に作成できる

21 Copyright © 2013 CAC Corporation. All rights reserved.

その他の機能

SVG出力機能 ◦ フロー図をSVGファイルとして出力できる

印刷

HTMLへの貼り付け

22 Copyright © 2013 CAC Corporation. All rights reserved.

その他の機能

MapReduceジョブ表示機能 ◦ 実際にHadoop上で実行される際のジョブの単位を表示する

◦ デバッグやパフォーマンスの分析に利用できる

フロー上では3つの処理 だが、Hadoop上では 2ジョブに最適化される

23 Copyright © 2013 CAC Corporation. All rights reserved.

その他の機能

JAR作成機能 ◦ Hadoop上で実行可能なJARファイルを作成する

コピーしてhadoop jarコマンドを実行するだけ

24 Copyright © 2013 CAC Corporation. All rights reserved.

AZAREA-Clusterに関する情報

ホームページ ◦ http://www.cac.co.jp/product/azarea-

cluster/index.html

評価版ダウンロード ◦ http://www.cac.co.jp/product/azarea-

cluster/download/index.html

お問合せ先 ◦ 株式会社シーエーシー AZAREA-Clusterサポートチーム

azarea-cluster@cac.co.jp