hadoopシステムがもたらす新たなパラダイムシフト...

© Hitachi Solutions, Ltd. 2012. All rights reserved.

Hadoopシステムがもたらす新たなパラダイムシフト～事例から得たビッグデータ活用の勘所～

株式会社日立ソリューションズシステム基盤本部第５部

主任技師荒川啓之

Prowise Business Form in Tokyo 第58回【日立ソリューションズセッション2】

2012/04/19


Ｃｏｎｔｅｎｔｓ

1

１．ビッグデータ時代の到来２．Hadoopとパラダイムシフト３．活用例と効果４．ビッグデータの活用に向けて

© Hitachi Solutions, Ltd. 2012. All rights reserved. 2

１．ビッグデータ時代の到来

１．１．大容量化・多様化するデータ１．２．未活用情報に眠る価値１．３．ビッグデータを活用するためのテクノロジー


データ爆発時代の到来

3

１．１．１１．１大容量化・多様化するデータ

近年は、様々な場所・行動・操作から大量データが生成される時代！

企業情報システムでは、各種業務ログやオフイス文書、メール、Webのログ等が増大

ＩＣカードの普及、ＲＦＩＤによる物流管理、センサ技術、モバイル端末の発展や普及により、社会基盤で機械（センサ等）から生成されるデータが飛躍的増大

交通や気象データ SNS/Twitter

非接触ICカード利用ログ

オフイス文書センサーデータ

業務ログ Web/メールモバイル端末利用ログ

企業情報システムの増大するデータ『機械（センサ）』から生成されるデータ


大容量化・多様化するデータ

4

１．１．２１．１大容量化・多様化するデータ

データは飛躍的に増加し、非構造化データの増加が著しい ⇒ 企業が扱うデータは、種類・量ともに爆発的に増大している

２００９２０１０２０１１

２０１２２０１３

２０１４(年)

構造化データ

非構造化データ

データベース

メール

デジタル画像

株価

音楽

SNS

オフィス文書

ログ

＊参考: IDC, Worldwide Enterprise Storage Systems 2010-2014 Forecast: Recovery, Efficiency, and Digitization Shaping Customer Requirements for Storage Systems, Doc# 223234, May 2010

●企業データの動向予測 - 今後10年で50倍の増加(成長率約50％) - 非構造化データは顕著に増加(成長率約80％)


防犯カメラセンサ

多くのデータは休眠状態

社外の大量な情報を活用できていない

破棄や休眠中の企業データが多くある

１．２．未活用情報に眠る価値

１．２．１

企業間取引システム

ECサイト

カメラ画像・ログデータ

計画・実績等の生産管理データ

契約内容・金額等の

取引データ

会員情報・購入履歴等のデータ

社内情報社外情報

SNS情報

Web公開情報

市場情報

大量の使用済み業務データやログデータが発生

生産管理システム

HITACHI Net Shopp ing

多くの企業は増加する業務データのログや社外情報を活用しきれていない ⇒ 効果的に活用し、ビジネスの意思決定に役立てている企業は海外で30%程度、日本国内はまだまだ少ない


7

未活用情報に眠る価値

未活用の社内・社外データ

従来の場合

休眠・廃棄

コミュニケーションで一時的に使用しているが使用後は眠っている情報を整形した際に不要となり廃棄されている蓄積されているが、使用していない

コミュニケーション情報

蓄積された過去の取引ログ

Webサイトのクリックログ

例

分析・活用

大量のデータを蓄積することで、より細かい動向を把握することができるようになる新しい発見・気づきが生まれサービス・意思決定の源泉となる

話題の急上昇キーワード

不正取引の発見

趣味趣向が類似する人の情報

大量のデータを

分析・活用

できるような

技術があれば・・・

企業の発展には、大量の未活用情報を有効利用することが必要！

１．２．２１．２．未活用情報に眠る価値

日々の業務・サービスで大量に発生している未活用の情報には、新しいサービスや意思決定の源泉となる価値が眠っている


◎大規模非構造データ対応の分散処理フレームワーク

- Hadoop (HDFS/HBase/Pig/Hive 等)

- 日立グリッドバッチ (uCosminexus Grid Processing Server)

◎NoSQLデータベース

Key-value-Store、ドキュメント/カラム/グラフ型指向

データ量

組み込みSQLバッチ

処理

蓄積検索 (OLTP) 処理

XML 検索処理

リアルタイム処理

文書、メール、非定形データ

蓄積・分析処理

画像検索処理

データ収集・分析

処理

バッチ処理

RDB （SQL）

RDB 画像, 地図, XML検索

RDB クラスタ

DWH, BI,

ETL

ストリームデータ処理

(uCosminexus Stream Data

Platform)

COBOL バッチ

並列 DB

（SQL）

データ蓄積や

文字列分析

分散コンピューティング技術の適用領域

ストリームデータ処理技術の領域

ビッグデータをささえる新技術と従来技術の関係

大量データの分析のための、分散コンピューティング技術やストリームデータ処理技術が新領域として出現

１．３．ビッグデータを活用するテクノロジー

１．３．１


多様化するニーズを網羅する日立の技術と適用分類

OSS:Open Source Software 10

１．３．ビッグデータを活用するテクノロジー

大量データ処理をささえる分析技術１．３．２

継続的に流れるデータを瞬時に分析・処理

基幹でも対応できる高い可用性、障害の局所化

大量の処理依頼に対するリアルタイムレスポンス

基幹バッチを高速化・大容量化をしたい

既存のバッチを高速化したい

バッチ処理の大幅な時間短縮

Hadoop

(オープンソース)

膨大なデータを分析したい

OSSを活用し、安価な分析システムを作りたい

ログデータ等の非構造化データの高速な分析

OSSで構成しライセンス料安い

グリッドバッチ

(uCosminexus Grid Processing Server)

ストリームデータ処理

(uCosminexus Stream Data Platform)

ニーズ技術・製品特徴

情報系

基幹系

リアルタイム処理バッチ処理

ストリーム

データ処理グリッドバッチ

Hadoop


２．Hadoopとパラダイムシフト

２．１ Apache™ Hadoop™概要２．２ Hadoopがもたらすパラダイムシフト


米Google社の大規模計算技術を基にオープンソース化(Apache)

大量データを効率的に分散処理するためのJavaソフトウェア基盤

サーバを大量に並べ、並列処理を行うことで高速計算やスケールアウトの容易性を実現

国内外の多くの企業が積極的に利用

12

とは

２．１ Apache™ Hadoop™概要

Apache™ Hadoop™概要２．１．１

スケールアウトにより高速化

大規模データ分析の従来の課題： (1)時間内で計算する (2)並列処理の枠組み (3)データの可用性向上

HDFS (Hadoop Distributed FileSystem)

Hadoop MapReduce

GFS ( Google File System )

Google MapReduce

米Yahoo! :世界最大規模でHadoopを利用 (25,000台、82PBデータ、3年分のログ分析を20分で処理) Facebook :巨大ストレージと分析基盤に利用 (36PBのデータ保存、1日約90TBのデータ処理) VISA :不正カード利用分析実施 (340TBの分析が1ヵ月から13分に短縮) JP Morgan :拡張可能ストレージと分析基盤に利用 (RDMSの費用削減) 楽天 :会員向けレコメンデーションに利用 (4,000万会員、2億件の分析が5日間から5時間に短縮) N.Y. Times :書籍のOCRとPNG変換 (Amazon EC2で4TB80万枚を36時間で変換)


13

HDFS(Hadoop Distributed File System) ⇒ 複数のサーバのHDDを1つの巨大なボリュームに見せる分散ファイルシステム MapReduce ⇒ 複数のマシンでの並列処理を実現するフレームワーク


Hadoopの主なソフトウェアコンポーネント

HDFS, MapReduceの構成２．１．２

従来の処理方式 Hadoopの処理方式

データ

処理結果

処理プログラム

データを自動的に分割し、

分散配置を行う

マスターサーバ HDFS

Map Reduce

Map Reduce

Map Reduce

処理結果

並列分散処理を行うプログラム

データ

ディスク I/Oがボトルネックとなる

ディスクI/Oが分散される

複数のサーバで１つの論理FSを

構成


大量データを全件走査するバッチ処理数値に加え、文字列の処理や、マルチメディア処理まで対応可能テラバイト/ペタバイトクラスの大量データの分析処理大量データの情報系システム（レポート業務が基幹業務の場合は除く）データ量が増大するシステム（サーバ追加でスケールアウト可能）大量データから価値情報を見つけるBI的な使い方（Hive/Piｇの利用）

小さいサイズ/件数のデータ処理（実行する前処理のオーバーヘッドがある）トランザクション処理（RDBのようなトランザクション処理機能はない）データを分割し個々処理した場合に結果が同じにならない分析処理データへランダムアクセスする処理リアルタイム処理やクイックレスポンスが求められるもの基幹システムや情報系システムの信頼性を求められるバッチ

データ規模だけでなく、システム要件/業務要件も考慮が必要

◎ Hadoopに適しているもの

× Hadoopに適さないもの


２．１．３ Hadoopの適性


２．Hadoopとパラダイムシフト

２．１ Apache™ Hadoop™概要２．２ Hadoopがもたらすパラダイムシフト


●エンタープライズ向け

サーバ、ストレージ

■高価なシステム

大量データの取り扱いには、高価な

システム環境構築が必須

■高度な技術

専用ソフトウェアと高度な分析手法

などスペシャリストが必須

エンタープライズ向け

専用ソフトウェア

ハードウェアソフトウェア

汎用ソフトウェア

オープンソース

ソフトウェア

従来

Hadoopにより、これまで敷居の高かった大量データの分析がどこでも、誰でも、どんな規模からでも実現可能になります

●ミッドレンジ向け

サーバ、ストレージ

●コモディティサーバ、

ストレージ

商用ソフトウェア

CPUやHDDの性能が飛躍的に

向上し、高機能なPCが廉価で

容易に手に入れられる時代

OSS利用のノウハウの高まりに

よって、敬遠傾向から、積極的

な活用傾向へ転換している

■コモディティ化システム

高価な機器、大規模な設備が無くと

も、PB級のデータが取り扱える

■オープンでグローバルな技術

世界中の誰でも入手、利用できる技

術やノウハウで、高度な分析も大量

データの取り扱いも可能

Hadoopによる

パラダイムシフト

２．２ Hadoopがもたらすパラダイムシフト

Hadoopがもたらすパラダイムシフト２．２．１


6時間間隔情報配信

より大量なデータを対象に…

Hadoopを利用することで、より大量なデータを短時間で処理可能となり、新しい価値が生まれます

１５分間隔

12時間レポート作成処理

17

２．２ Hadoopがもたらすパラダイムシフト

Hadoop利用により得られる価値２．２．２

よりリアルタイムに… より多様なデータを対象に…

BtoC/ネット、センサ等の社外情報への利用拡大

分析対象データ範囲の拡大

1年分 10年分

グラフ

動画文書

メール月次⇒日次作成へ

社外

社内

30分

1日4回配信⇒ 15分おきの配信へ

RDB

SNS情報 Web公開情報

センサ情報


３．Hadoop活用事例と効果

講演当日のスライドのみでのご紹介となります


４．ビッグデータの活用に向けて

４．１ビッグデータの活用に向けたご提案４．２Ｈａｄｏｏｐ関連ソリューションのご紹介


大量データ処理の応用動向

20

４．１ビッグデータの活用に向けたご提案

４．１．１

講演当日のスライドのみでのご紹介となります


お客様のビッグデータ活用に向けたご提案

21

★大量データの活用パターンの三要素★ 「近未来の予測」、「異変の察知」、「現状の把握」

４．１ビッグデータの活用に向けたご提案

４．１．２

お客様にてビッグデータ活用をご検討される際の推進ポイント

＃推進ポイント例えば・・・

① 近年の大量データ処理技術の概要と目的の理解、ならびにHadoopの特徴の把握

・分散ファイルシステム・分散コンピューティング・ストリーム処理・高速RDB

② 大量データ活用事例を参考にし、自社ビジネスに適用できるか否かの検討

・既存システムの限界解消・リコメンデーション・取引分析、不正監視、動向分析

③ 社内の未活用大量データの整理・蓄積、ならびに社外の関連する大量データの適用検討・収集方法の検討

・Webログ、業務ログ、EDIログ・SNSやWebページ・各種センサ情報（気象）

④ ビジネスプランやシステム課題に対し、大量データ処理技術で解決する試作・検証の実施

・仮説の設定 ⇒ 分析モデル定義 ⇒データ準備 ⇒ 検証 ⇒ 評価

⑤ 試作・検証の結果、ビジネスへの適用が有益と判断できる場合、大量データ活用に向けたシステム基盤整備への着手

・大量データ処理の企業共通基盤の整備・分析活用技術のトレーニングの整備


４．ビッグデータの活用に向けて

４．１ビッグデータの活用に向けたご提案４．２Ｈａｄｏｏｐ関連ソリューションのご紹介


関連OSSサポート

ディストリビューションサポート

23

ビッグデータの活用方法がわからない

システム環境、運用

設計、アプリ開発の

ノウハウがなく不安

分析モデル※はわかっていて

実機評価をしたいが、環境がない

注※ 分析モデル・・・分析対象データ、分析方法、分析結果活用のモデルを示す

お客さまの課題

分析計画策定コンサルティングサービス

４．２Ｈａｄｏｏｐ関連ソリューションのご紹介

課題に合わせてサービスをご提供４．２．１

検証環境提供サービス Hadoop向け汎用サーバ（HA8000-bd/BD10）

Hadoopサポートサービス

：日立グループの提供サービス

：日立ソリューションズの提供サービス

Hadoop導入ソリューション検証支援サービス

今後検討


Hadoopを利用してシステム構築をしたいが、システム環境や運用の設計ノウハウ

がないため不安

Hadoop導入ソリューションのご紹介

24

４．２．２４．２Ｈａｄｏｏｐ関連ソリューションのご紹介

ポイント

Hadoop検証環境のカスタマイズ支援など、導入アセスメントに関する支援をご提供します豊富な基盤設計/運用設計ノウハウを活用し、お客様の課題を解決します Hadoopの周辺ツールや関連OSS（Asakusa Frameworkなど）を組み合わせて、最適な設計/開発支援サービスをご提供します

サービスの効果

実機検証/アセスメントといった導入支援、スモールスタートから大規模環境での構築、運用、アプリケーション開発支援までワンストップのサービス提供により、スピーディで効率的な導入が可能となります

インストール

インフラ構築

アプリ開発支援

テスト設計開発構築現状分析

導入アセスメント

検証環境の

カスタマイズ支援

テスト計画策定支援

テスト実施支援 Hadoop製品サポート

運用

パラメータ設計

リソース設計

運用設計

チューニング


大量データ処理基盤の適用効果を知りたい評価をしたいが、環境もなく、はじめて使う技術なので不安

ポイント

お客様のHadoop検証に適したハードウェア/ソフトウェアの環境を提供することにより、すぐに検証を開始できます（無償検証環境提供サービス：2012/9末まで）

検証を効率よく推進するために、Hadoop技術者が支援します

サービスの効果

Hadoop基盤導入に向けた、性能・開発容易性・移行性・運用性などの検証が実施可能です

性能評価等により、要件を満たす本番環境のシステム構成検討が可能です

日立ソリューションズお客様

環境構築済み検証環境

Hadoopを活用した大量データ

処理基盤

開発・移行

性能評価 VPN

技術支援

教育レビュー参加 Q&A対応

技術検証

データ

アプリケーション

検証支援サービスのご紹介４．２．３４．２Ｈａｄｏｏｐ関連ソリューションのご紹介

HA8000-bd/BD10


エントリーブレードサーバ「HA8000-bd/BD10」紹介

26

●物理的スケールアウトが容易・データ増加に応じサーバブレードの追加でリニアな規模拡大、性能向上が可能・共有ストレージ方式では同時I/Oが多発しノード数に比例した性能向上の設計が難しいのに比べ、ローカルディスク方式のHA8000-bdは、スケールアウトが簡単

●省スペース・5Uサイズに、サーバブレード(1スロットブレード)を最大40台、内蔵LANスイッチモジュール4台を集約可能(1ラックあたり最大320ブレードを搭載可能)

5Ｕ

1Uサーバ比集積度：８倍

●高集積と省電力を実現・低消費電力Xeonプロセッサー採用による省電力化・1ベースユニット(5U)に最大40台のサーバブレードを搭載が可能・規模を拡大しても低消費電力 ⇒1台あたり運用時31W*1（最大54W） *1 HA8000-bd/BD10X2 Xeon E3-1220Lの場合

Hadoopを適用しようと検討中だが、並列実行になるためサーバが大量に必要になり、導入費用や運用コストが問題だ

４．２Ｈａｄｏｏｐ関連ソリューションのご紹介

４．２．４

●その他(サーバブレードの主な仕様) ・最大3台のHDD, 最大容量2.25TBを搭載可能*2 *2 2ｽﾛｯﾄﾌﾞﾚｰﾄﾞの場合

・ECC付きDDR3メモリー最大16GB搭載可能・3つのLANポートを搭載

サーバブレード

ベースユニット

HA8000-bd/BD10の特長


まとめ

27

ワンストップサービス

最適なパッケージング

業種ソリューション

Hadoopと関連技術を組み合わせ、お客様のビッグデータ活用をワンストップでご支援します

お客様の用途に合わせ、最適なインフラ基盤(H/W、クラウド活用等）とソフトウェアの組合せによる提案と提供

業種特化のビッグデータ活用ソリューション

ECサイト、コールセンタ、バッチ高速化、、

検証、構築・開発支援、保守サポートまで一貫したサービス提供

Hadoopにより、これまで敷居の高かった大量データの分析がどこでも、誰でも、どんな規模からでも実現可能になります！

より大量なデータを対象に・・・

1年分ではなく10年分で、社内だけではなくソーシャル、センサなど社外情報も活用して

よりリアルタイムに・・・

月次ではなく日次で、日次ではなく10分単位で

より多様なデータを対象に・・・

ＤＢのデータだけではなく、画像、音声、ログ、グラフなど多様なデータを対象に


Hadoopディストリビューションのご紹介

28

必要なコンポーネントを正しく統合するには、深い技術知識が必要商用ソフトウェアと異なりメーカーサポートが無い

オープンソースソフトウェア採用時の考慮点

CDH(Cloudera’s Distribution including Apache Hadoop）

Apache Hadoop のエンタープライズ向けディストリビューション実環境内の利用に必要なすべてのコンポーネントを内包

Cloudera Enterprise

Hadoopシステムの管理に必要なソフトウェア・サポートをパッケージ化

CDH

管理ツール（Cloudera Management Suite）

製品サポート（Cloudra Support）

無償有償

Apache Hadoopのパッケージ製品を開発・提供している企業。 Hadoopビジネスにおいて最も有名な企業であり、製品はワールドワイドに使用されている。

参考：Cloudera HP http://www.cloudera.co.jp/

ご参考：

Ｃｌｏｕｄｅｒａ


Hadoopシステムがもたらす新たなパラダイムシフト～事例から得たビッグデータ活用の勘所～

END

株式会社日立ソリューションズシステム基盤本部第５部

主任技師荒川啓之

2012/04/19

hadoopシステムがもたらす 新たなパラダイムシフト...

Documents

hadoopシステムがもたらす新たなパラダイムシフト...