AWS Glueのご紹介

クラスメソッド株式会社

データインテグレーション部

甲木 洋介

classmethod.jp 2

2016/12/06

AWS Glueとは

『フルマネージドなデータカタログと

ETL処理を提供するサービス』

• Data Catalog

• Job Authoring

• Job Execution

classmethod.jp 3

3つの機能を提供

AWS Glue誕生の背景

DWH構築作業の約70～80%がETL処理

ETL処理の70%が手組みのプログラム

• Brittle(脆い)

• Error-prone(間違いやすい)

• Laborious(骨が折れる)

classmethod.jp 4

Data Catalog

『データ検索と型定義を自動化』

• Hiveメタストア互換のメタデータリポジトリ

• 予め設定していたデータソースのメタ情報を定期的に取得

classmethod.jp 5

Data Catalog

『パーティション情報の自動検知と更新』

classmethod.jp 6

Job Authoring

『データ連携のロジックを自動生成』

• データ連携のためのPythonコード(PySpark)を自動生成

• 任意のIDEで改造し、Gitで共有

classmethod.jp 7

Job Authoring

『データ連携のロジックを自動生成』

classmethod.jp 8

Job Authoring

『生成コードを編集、共有』

classmethod.jp 9

Job Execution

『スケーラブルなジョブ実行』

classmethod.jp 10

Job Execution

『データ、スケジュールベースのジョブ実行』

classmethod.jp 11

続報は…

classmethod.jp 12

https://aws.amazon.com/jp/glue/

#cmdevio

ご清聴ありがとうございました

検 索クラスメソッド Glue