[db tech showcase tokyo 2015] d32:hpの全方位インメモリdb化に向けた取り組みとsap...

© Copyright 2014 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

～HP Presents : インメモリDBを見据えた、スケールアップへの回帰その1～

インメモリデータベースSAP HANAを使ったデータ分析基盤性能検証2015年6月12日

日本ヒューレット・パッカード株式会社

プリセールス統括本部 / ソリューションセンター

小森博之

1

© Copyright 2015 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.2

データ分析環境の変化

データ量の爆発的増加• サービスのネットワーク化

• あらゆる情報のデジタル化

• モバイル

• IoT

HPDA基盤

ビジネス環境

の変化

テクノロジの進歩

要求されるサービスの高度化• 全数分析、フル・バリュエーション

• リアルタイム

• ダイレクトマーケティング

• 不正検知

• 高頻度金融取引

• ゲノム解析、パスウェイ

• パーソナライズケア

半導体技術の進歩• メモリの大容量化、高速化

• メモリの低価格化

• CPUの高性能化

• CPUのマルチコア化

データ分析技術の進歩• ベイズ統計学の進歩、深化

• 機械学習、ディープラーニング

• MCMC(マルコフ連鎖モンテカルロ法), HMC(ハイブリッド・モンテカルロ法)

データベースの進歩• インメモリデータベース

• 統計処理の実装


サンプリング(標本抽出)が有効でない分野

データを1件ずつ分析する必要があるもの• ダイレクト・マーケティング• スマートメータ• スマートカー

すべてのデータを分析する必要があるもの• クレジットカードの不正検知• マネーロンダリング取引の検知• 不正アクセスの発見

個々の行動に基づくアクション

顧客属性に基づくアクション

社会的な要請• 犯罪による収益の移転防止に関する法律• 情報漏えい対策

大量のデータを高速に処理したい• データベースから分析サーバーへのデータ転送時間の削減

• データベースのデータ読み込み時間の削減

• 計算時間の削減


High Performance Data Analysis

High Performance Data Analysisで今までできなかったことを可能にします！

データベースから分析サーバーへのデータ転送時間の削減

データベースのデータ読み込み時間の削減

計算時間の削減

インメモリデータベース大容量メモリ

マルチスレッドでの並列処理多くのCPUコア

データベース内で分析処理


High Performance Data Analysisアーキテクチャ

16CPU(240コア)12TBメモリ

PAL(Predictive Analysis Library)

多数のCPUコア大容量メモリ

インメモリデータベースDB内分析関数

分析手法

今までできなかったことを可能にする新しい取り組み

クラスタリング Clustering

クラス別け Classification

回帰分析 Regression

アソシエーション Association

時系列分析 Time Series

前処理用関数 Preprocessing

ソーシャルネットワーク分析


SAP HANAの高速化テクノロジー

HW Technology Innovations

SAP SW Technology Innovations

パーティションニング

集計テーブルなし

読込、書込の最適化+

++ +

圧縮

行およびカラムストア

+

マルチコアアーキテクチャ大規模並列スケールアウト

64-bit アドレススペース12TB メインメモリ100GB/s データスループット

SAPのHWとSWの革新と融合により実現されたインメモリ・コンピューティング

SAPのインメモリ・コンピューティングがもたらす主な効果

全てのデータをメモリ上に置くことでDISK I/Oボトルネックを解消

カラム単位とパーティショニング単位で並列処理を行うことにより処理速度向上

カラム単位の圧縮によりメモリ最適化によるデータ処理効率向上

集計テーブルが不要になることで開発＆運用面での工数削減

高圧縮率と高速書込、高速読込を同時に実現カラムストアアーキテクチャー

HW＆SW

HW＆SW

SW

SW

SW


ノード内での並列処理

パーティショニング

CPU Core 1

CPU Core 2

列 A1306289

66380481

892

1803922

92

368899

3888

10638383

922

61830283

753836

388361811

730183

・・・・

列 B1083

32

839103875

38291050

883927

128037

903

658103875

7305817

130593827

10395303

578

40382

・・・・

列 B738593

4895

9382003

71

530183

57839

・・・・

385730

63959

991

10

35830011

・・・・

CPU Core 3

CPU Core 4

各CPUコアに列単位もしくは列内でデータを分割して処理を割り当て、CPUコア毎に並列処理。コア数の多いサーバーとの組み合わせで、高速の処理を実現します。

コア数

10

20

20142010

Xeon MP最大コア数の推移


単なるデータベースを超えたプラットフォームへ

HANA Platform

SQL, SQL Script, JavaScript

インテグレーション・プロビジョニングサービス

地理空間

ビジネス関数ライブラリ

サーチ

統計解析ライブラリ

テキスト分析

データベース機能

プロシージャデータモデル

計画エンジン

アプリ・UIサービス

ルールエンジン

トランザクション非構造化マシン Hadoop データベースリアルタイムアプリケーション

多様なデバイス SQL MDX R JSON JDBC,ODBC

アプリケーション

SAP Business Suite

SAP HANA基盤は、データベース、データ処理とアプリケーション機能を統合。予測統計、計画、テキスト、地理空間、統計解析などのライブラリを実装し、

リアルタイムなビジネスの遂行を実現しています。


1.業界最大、16P/240C/12TB

2.業界最速、ベンチマーク世界記録を更新

信頼性3.業界最高クラスの高可用性と高信頼性

4.SAP-HP協調、ワンストップサポート

HP ConvergedSystem 900 for SAP HANA新しいデータベース基盤の台頭、遂にインメモリデータベースがITシステムの主役へ

OLTPとOLAPの共存

スケーラビリティ

真のリアルタイムビジネスの実現


スケールアップX86サーバー HP Superdome X

異次元の拡張性

標準のOSで稼動サーバーを分割しての使用が可能

高信頼性を実現

Xeon E7 v2 16CPU, 240コア

12TBメモリ

データベース

データ分析

運用・管理

完全に電気的に分離され、障害の影響を他に及ぼさないパーティションに分割することが可能。

標準のオペレーティングシステムをサポート

• Red Hat Enterprise Linux 6.5, 6.6, 7.1

• SUSE Linux Enterprise Server 11 SP3

• Windows Server 2012 R2

• VMWare vSphere 5.5Update 2

1点障害を極限まで減らしたハイエンドUNIXサーバー譲りの高い信頼性

• 故障箇所のブート時自動切り離し

• クロック・ジェネレーターの冗長化

• DDDCによるメモリ保護


Xeon E7プロセッサには QPIリンクが 3つ

何故 X86 16CPUサーバーが作れないのか？

コアコア

コアコア

メモ

リ

コアコア

コアコア

メモ

リ

コアコア

コアコア

メモ

リ

コアコア

コアコア

メモ

リ

どのCPU間もQPIで直接接続

4CPUサーバー 8CPUサーバー

コアコア

コアコア

メモ

リコア

メモ

リコア

コアコア

コア

メモ

リコア

コアコア

コアコア

コアコア

メモ

リ

コアコア

コアコア

メモ

リコア

メモ

リコア

コアコア

コア

メモ

リコア

コアコア

コアコア

コアコア

メモ

リ

QPIで直接接続されていないCPUができてしまう

メモリアクセス遅延


驚異のスケーラビリティを実現するシステム間接続

Blade #1

XNC2 = HP開発のノードコントローラー

Blade #2 Blade #3 Blade #4

sx3000 Xbar Fabric HP開発の高速システム・インターコネクト

Blade #5

CPUソケットごとに用意された大容量のタグ・キャッシュ

Blade #6 Blade #7 Blade #8

各ブレード間を 1 HOPで接続 =低レイテンシー

キャッシュ一貫性保持のための余計なトラフィックを大幅に削減！性能向上に貢献！

CPU

CPU

XNC2 XNC2 XNC2 XNC2

CPU CPU CPU CPU CPU CPU CPU

XNC2 XNC2 XNC2 XNC2

CPU CPU CPU CPU CPU CPU CPU


Xeonサーバーのメモリ容量はCPU搭載数で決まる

Intel社資料「Intel Xeon Processor E7 v2

2800/4800/8800 Product Family Datasheet –Volume Two」より

CPU当り最大 24 DIMMを実装可能

Superdome X 16CPUなら、32GB x 24 x 16 = 12TBを実装可能


HP Superdome X の驚異のスケーラビリティ

Superdome X: 15-cores/socket scaling with SPECjbb2013-MultiJVM

18,980

37,553

71,766

139,471

259,778

74,631

142,514

269,987

526,229

1,010,123

0 200,000 400,000 600,000 800,000 1,000,000 1,200,000

1s / 15c /.25TBSLES 11sp3

2s / 30c / .5TBSLES 11sp3

4s / 60c / 1TBSLES 11sp3

8s / 120c / 2TBSLES 11sp3

16s / 240c / 4TBSLES 11sp3

max-jOPS critical-jOPS

SPEC and the benchmark name SPECjbb are registered trademarks of the Standard Performance Evaluation Corporation (SPEC), see spec.org.

1s から2s で 1.91 倍の性能向上

2s から 4s で 1.9倍の性能向上



Configuration key: “s”: Socket count, “c”: Core count, “TB”: memory in TB

1s から 16s ま

で比類なきスケーラビリティ

http://www.spec.org/


スケールアップの利点

スケールアップスケールアウト

or

スケールアウト(並列分散処理)が苦手な処理

① データ分散と異なるキーでのデータ結合が必要な処理

• ノード間のネットワーク経由でのデータ移動が大量に発生するため遅い

• 処理内容を事前に予測し、データ配置を合わせておくことが必要

② 内部で大規模密行列計算が必要な処理 (クラスタリング、相関分析)

• スケールアウトでは単一の大規模なメモリ空間を確保できない

• 大規模単一メモリ空間• サーバー内での多数ス

レッド処理


スケールアウト(並列分散処理)が苦手な処理①

ネットワークを経由したデータ移動が大量に発生し、処理が遅延

サーバー1 口座情報 : 2,000万件口座番号 (Hash分散)

トランザクション: 2億件口座番号取引日付(Hash分散)

トランザクション: 2億件入出金口座番号(Hash分散)取引日付

集計処理 : 2,000万件口座番号集計金額








集計処理 : 2,000万件入金口座番号集計金額

集計処理 : 2,000万件出金口座番号集計金額




スケールアウト(並列分散処理)が苦手な処理②

サーバー1

口座情報 : 2,000万件口座番号 (Hash分散)

トランザクション: 2億件口座番号(Hash分散)取引日付


サーバー2




サーバー3




分析用サーバー

大規模密行列

スレッド1




スレッド2




スレッド3



集計処理 : 2,000万件口座番号集計金額S

up

erd

om

e X

大規模密行列

分析処理プロセス

単一の大規模メモリ空間を使用して大規模密行列を使ったデータ分析が可能

メモリ不足で計算できない

重回帰分析やクラスタリングなどの分析処理で大規模密行列が必要になったときにメモリ不足で計算できない


High Performance Data Analysis性能検証


検証内容

HP ConvergedSystem 900 for SAP HANA

Xeon E7-2890 v2 (2.8GHz, 15core) x 16

12TBメモリ

シナリオ1銀行口座取引情報からマネーロンダリングを検知する

シナリオ2スマートメータのデータから電力使用パターンを見出す

16CPU(240コア)12TBメモリ


シナリオ1: 不正検知マネーロンダリングの疑いがある取引・口座の検知を想定したシナリオ

検証目的：リアルタイムでの不正検知が可能な性能を出せるか？

検証①

検証②

トランザクションの履歴から作成した口座間の関連グラフ

口座x

口座b口座a 口座c

トランザクション①

口座y

条件1: 今まで関連のなかった口座からの高額な入金

トランザクション②

トランザクション③

トランザクション④

トランザクション⑤

トランザクション⑥

200万円

43.5万円

46.5万円

47.3万円

44.2万円

18.5万円

ATMからの引出条件2: 30日の間にトランザクション①で振り込まれた金額と同額の引出が発生

口座x

口座b口座a 口座c

トランザクション①口座d

トランザクション② トランザクション③トランザクション④

トランザクション⑤

トランザクション⑥

口座e

口座h

口座f

口座g

トランザクション⑦

トランザクション⑧

トランザクションを解析して疑わしい口座に関連のある口座を探す。疑わしい口座（下図の口座X）からの距離を「口座の疑わしい度合」としてred flagの値を更新する。


検証①

カレント・トランザクション (TRAN_CRRNT : 5.25億件) トランザクション履歴 (TRAN_HIST : 5億件)

口座番号（DBTR_ID)

相手先口座番号(CDTR_ID)口座番号（DBTR_ID)

相手先口座番号(CDTR_ID)

金額(AMOUNT)

トランザクション番号0..1

n

口座 (ACCOUNT : 5,000万件)

口座番号 (ID)

疑わしさ（初期値 0 ） (RED_FLAG)

条件1 今まで関連のなかった口座からの高額な入金トランザクション履歴の相手先口座番号に無い口座からの入金を探す。

条件2 条件1のトランザクションにより入金された口座のうち、短期間の出金の合計が高額な口座を探す。

n

11

n

HPDA処理時間(秒)

Overall time

18.926


検証②

口座番号

相手先口座番号

口座番号

RED_FLAG (9)

口座トランザクション履歴

口座番号

相手先口座番号

口座番号

RED_FLAG (9)

口座トランザクション履歴

疑わしい口座 (BLACK_LIST)

口座番号口座番号

RED_FLAG (10)

口座 (ACCOUNT)

口座番号

RED_FLAG (10)

口座

口座番号

RED_FLAG (10)

口座

疑わしい口座テーブルにある口座番号の口座データのRED_FLAG値を10にする。RED_FLAG 10の口座と関連のある口座のRED_FLAGを 9にする。（既に9以上になっているものは更新しない）

カレント・トランザクション(TRAN_CRRNT : 5.25億件)

口座番号（DBTR_ID）

相手先口座番号（CDTR_ID）

トランザクション番号

口座 (ACCOUNT : 5,000万件)

口座番号（ACC_ID）

疑わしさ（RED_FLAG）

HPDA処理時間(秒)

Overall time

2.927


シナリオ2: スマートメータ分析グリーンボタンのサンプルデータを使用し、ロードカーブの形状でクラスタリングを行い、顧客属性、季節、曜日等の影響を調べる。

クラスタ毎地域別件数

お客様番号日付 30分値: MT30_01～MT30_48

お客様情報お客様番号

住所

契約種別

契約A

地区番号

口座振替

…

カレンダーメータデータ（日次）

曜日

祝祭日

…

イベント

日付

お客様番号曜日 30分値平均値: AT30_01～AT30_48月

メータデータ月別曜日別30分毎平均値

集計


お客様番号曜日 30分値平均値: AT30_01～AT30_48月

お客様番号曜日月お客様番号曜日月






ロードカーブでクラスタリング (K-means)

クラスタ毎曜日別件数

クラスタ毎月別件数

各クラスタ内で属性情報（月、曜日、地区、契約種別等）ごとの件数をヒストグラムで表示

件数

月

ロードカーブ

件数に偏りのあるクラスタを探すことにより、ロードカーブの形状と関連のある属性変数を見つける。

夏季、日中の電力消費量が多いクラスタ

冬季、朝晩の電力消費量が多いクラスタ

正規化する / しない


グリーンボタン・イニシアティブ

アメリカエネルギー省が主導する、消費者が自分の電力消費データを簡単にダウンロードできるようにする取り組みです。一定のXML形式で13ヶ月分の自分の電力消費データをダウンロードでき、消費者はグリーンボタン対応のアプリケーションを使って、データを活用することができます。

50社以上の電力会社が参加しており、6,000万世帯以上がデータを使用できるようになる予定です。

このグリーンボタンの活用方法のコンテストが実施されており、このコンテスト用のサンプルデータを今回の検証では使用しています。

http://services.greenbuttondata.org/sample-data.html

http://services.greenbuttondata.org/sample-data.html


予測分析ライブラリ (PAL)

• バスケット分析の例

– HANAは60倍の性能

• 8000万件の売上明細データ

• 組合数＝8000万×8000万=6400兆

• 突合>ソート>評価

Predictive Analysis Library

SAP HANAに組み込まれた予測関数群

クラスタリング、分類、関連性、時系列、加重平均等

の予測関数群の機能を組み込み

55個のアルゴリズムをサポート（SPS09）

Predictive Analysis Library の価値

全件対象分析のニーズへの対応

サンプリングに適さない分析アルゴリズム

サンプリングへの裏付け

短期間でのアプリケーション開発を提供し、投資に対

する迅速なリターンを提供

大規模メモリ並列処理を活用した優れた性能を提供

バスケット分析で60倍のパフォーマンス

外部の分析系との相互運用が可能（PMML）

HANAのIn DB Analytics

伝統的な3層型分析システム


K-means 処理フロー


メータデータ（日次） METER_DATA

サンプリングselect * from ～ TABLESAMPLE 1

V_METER_DATA_SMPL_NORM

メータデータ月別曜日別30分毎平均値METER_DATA_AVG

メータデータ K-means入力用VIEW

V_METER_DATA__1～3

K-means Center Point用VIEW

V_METER_DATA_TRAIN

ID = CENTER_ID

Class No. = CENTER_ID

ID (お客様番号+月+曜日) 30分値正規化平均値: NORM_01～NORM_48

ID Class No. 30分値正規化平均値: NORM_01～NORM_48

ID (お客様番号+月+曜日) Class No.

K-means出力データPAL_KNN_RESULTS_TBL

月別曜日別集計

K-meansプロシジャ作成

K-means実行

K-meansプロシジャ作成

K-means実行

ID (お客様番号+月+曜日) 30分値正規化平均値: NORM_01～NORM_48

Signature Table

PAL_KMEANS_PDATA_TBL

Signature Table

PAL_KNN_PDATA_TBL

お客様番号曜日 30分値平均値: AVG_01～AVG_48月最大値

K-means実行結果PAL_METER_DATA_CENTER_TBL

CENTER_ID 30分値正規化平均値: NORM_01～NORM_48

一度に計算できないので、分割して計算する。

ID (お客様番号+月+曜日) 30分値正規化平均値: NORM_01～NORM_48ID (お客様番号+月+曜日) 30分値正規化平均値: NORM_01～NORM_48

データを分割してK-meansを行う。Center initialization typeのfirst Kオプションを利用して、共通のCenter Pointでクラスタリングを行う。

Center Point用データを縦結合CALL "SYS".AFLLANG_WRAPPER_PROCEDURE_CREATE('AFLPAL', 'KMEANS', 'DM_PAL', 'PAL_KMEANS_PROC', PAL_KMEANS_PDATA_TBL);

パラメータ・テーブルの作成

入力・出力テーブルの作成

データのローディング

K-Meansプロシージャ作成

K-Means実行

CALL "DM_PAL".PAL_KMEANS_PROC(PAL_KMEANS_DATA_TBL, #PAL_CONTROL_TBL, PAL_KMEANS_ASSIGNED_TBL, PAL_KMEANS_CENTERS_TBL, PAL_KMEANS_SIL_CENTERS_TBL, PAL_KMEANS_STATISTIC_TBL) with OVERVIEW;

出力テーブルの参照


48変数3億5千万件のクラスタリングを70分で実行• メータデータをロードカーブの形で20個のクラスタに分けて、それぞれのクラスに属しているデータの属性を調べる。• データの属性に偏りのあるクラスタを見つける。

地域,ファミリータイプ（1～6）

曜日（月～日）

月（1～12）

曜日ごとの偏りは少ない

クラスタ1

クラスタ1

クラスタ1

クラスタ20

ロードカーブ（最大、中央値、最少）

地域3（Desert Single Family ）の顧客は、12～2月の20時頃の電力消費が多い

クラスタ20

クラスタ20


まとめ

今までできなかったことが可能になります

• 5,000万口座、5億トランザクションに対してリアルタイムに不正検知を実行できます

• 48変数、3億5千万件のK-Meansクラスタリング処理を70分で実行できます

SAP, CTC, HPの3社は、今後もHigh Performance Data Analysisに取り組んでまいります


High Performance Data Analysis

High Performance Data Analysisで今までできなかったことを可能にします！

スケールアップ・アーキテクチャ

単一かつ広大なメモリ空間

高度な分析ロジックを備えたインメモリーデータベース

・金融系リアルタイム不正検知ソリューション

・電力系スマートメーター分析


日本HP: ベンダーデイセッション

HP Presents : インメモリDBを見据えた、スケールアップへの回帰

12:30-13:20D32

その1HPの全方位インメモリDB化に向けた取り組みとSAP HANAインメモリDB の効果

13:30-14:20D33

その2Superdome X 上の SQL Server 2014 OLTP 検証結果と SQL Server vNext最新情報

14:30-15:20D34

その3In-Database Analyticsが実現する圧倒的なデータ分析パフォーマンス


アンケートにご協力ください


Thank you! Danke !

小森博之プリセールス統括本部ソリューションセンターソリューション一部

Tel: 090-7906-4517Mail: [email protected]日本ヒューレット・パッカード

株式会社〒136-8711東京都江東区大島2-2-1