クラウド時代に必須、マルチプラットフォーム環境に対応す …amazon...

2015/3/12

クラウド時代に必須、マルチプラットフォーム環境に対応するデータ連携基盤構築のポイントとは？

インフォテリア株式会社営業本部長代理熊谷晋

社名インフォテリア株式会社Infoteria Corporation

設立 1998 年 9 月

代表取締役社長 / CEO

平野洋一郎

• 先端IT活用推進コンソーシアム副会長• 日本データマネジメント・コンソーシアム理事• メイド・イン・ジャパン・ソフトウェア・コンソーシアム理事

所在地

【東京本社】〒140-0014 東京都品川区大井1丁目47番1号 NTビル10F

【西日本事業所】〒531-0001 大阪府大阪市北区梅田2丁目4番13号阪神産經桜橋ビル3F

資本金 11億 3,846万 6,500円

事業内容

・ソフトウェア開発・販売・製品サポート・製品コンサルティング・製品トレーニング

グループ会社

・Infoteria America Corporation・亿福天（杭州）信息科技有限公司・樱枫天（上海）贸易有限公司・Infoteria Hong Kong Limited・Infoteria Singapore pte.

会社概要

データ連携ニーズ、その背景

ホスト時代

• 個別開発で安定したシステム運用

• 他システムとの連携する必要がない

PKG黎明期

• ERPの波

• M&Aなど加速する経営スピード

PKG優先期

• 低価格化と導入の容易さが部門レベルでの導入を実現

• 個別最適のパッケージが導入

汎用機から

サーバーへ

集中から分

散へ

システムの連携は・・・

多重入力による作業コスト

人的作業ミス発生、またそのリスク

システム間の不整合発生

連携の度に発生する開発コスト

連携までかかる開発時間コスト

リードタイムの長期化

リアルタイム連携ニーズ

ミドルウェア、OS、プロトコル・・・各システムに応じた技術知識の習得（学習コスト）

顕在化した問題点

EAI（Enterprise Application Integration）とは？ 4

SFAシステム

会計システム販売管理システム

生産管理システム

6本の連携

SFAシステム

会計システム販売管理システム

生産管理システム

EAI4本の連携

(33%の削減)

対象手組み EAI 削減効果

6システム 15本 6本 60%の削減

8システム 28本 8本約70%の削減

Nシステム N(N-1)÷2本 N本

• ハブ＆スポーク型のアーキテクチャ（Enterprise Service Bus はバス型）

• システム間の差異（ファイル、DBMS、OS、ミドルウェア、プロトコル、API等）を吸収具体的には高い生産性をほこる専用のGUI開発ツールで処理フローを作成する事で連携を実現

• リアルタイム処理に対応し、連携のスケジューリング等を含めシステム連携を一元管理

手組み EAI

【参考】

• 業務の自動化・効率的なシステム管理はコスト削減とリスク回避を実現

• シームレスかつ柔軟なデータ連携は俊敏な情報システム基盤を提供

• 情報システム部門は高付加価値なIT戦略に集中

【導入効果】

ETL(Extract/Transform/Load)とは？その背景

基幹システムから

情報系システムへ

経営者から

現場へ

データガバナンス重複データ、粒度の違い、表記の違い（低いデータ品質）

散在するデータ・ソース基幹、情報系・・・複雑化するシステム

多大な工数がかかる前処理

顕在化した問題点

BI/DWH黎明期

• データ分析によるビジネス拡大

• 迅速な意思決定支援

BI/DWH導入期

• UI偏重（経営コックピット）

• 参照者のリテラシー不足

BI/DWH幻滅期

• 「Garbage in, garbage out.」

• リアルタイムの欲求

データ

投入

データ収集

クレンジング

名寄せ加工変換書き込み分析

ETLツール

ETLとは？• DWHへの大容量データの「統合」を行うソリューション• 豊富な加工・変換機能• 大容量データのバルク処理• メタデータ管理

Extract抽出

Transform加工

Load書き出し

EAIとETL

手組

ハイトランザクション

大量データ

バッチ

リアルタイム

項目 EAI ETL

処理データトランザクション（レコード／メッセージ）

大量データ（ファイル／テーブル）

タイミングリアルタイムバッチ

アーキテクチャ N対N N対1

特徴 • 多様な連携アダプタの提供※アプリ/プロトコルレベルでの提供• プログラムレベルのロジック作成が可能

•豊富な変換・加工処理•大容量データ処理の専用エンジン

共通開発を容易にするグラフィカルなツールの提供

データ連携ソリューション選定ポイント

接続性

• 多様なテクノロジーへの対応

• 接続先への影響が少ない

開発生産性

• 直感的な操作感

• 習得が容易

• 設計から運用までトータルでの生産性向上

• 標準化

信頼性

• 製品として

• 会社として

• パフォーマンス

国内クラウドの普及率

2013年末(n=2,183)

2012年末(n=2,071)

全社的に利用している

一部の事業所又は

部門で利用している

利用していないが、

今後利用する予定がある

利用していないし、

今後も利用する予定もない

クラウドサービスに

ついてよく分からない

（単位：％）

2013年末時点33％の企業で

すでに利用している

出典：総務省「平成25年通信利用動向調査」http://www.soumu.go.jp/johotsusintokei/statistics/statistics05.html

クラウド利用時のデータ連携の課題～ネットワーク

社内システム連携時は問題なかったが・・・

遅い・・・

インターネット経由なのでセキュリティが・・・

クラウド利用時のデータ連携の課題～API

パラメータを渡してレスポンスのJSONをパースし

て・・・

あれ？こないだまで繋がったのにErrorに・・・

うわ、IF変わってる・・・

データ取得件数に制限が・・・差分だけとりたいんだけど・・・

クラウド利用時のデータ連携の課題～予見しない未来

乗り換えたいけどまた連携作るのは大変・・・

クラウド導入は再来年度だけどその時に必要な技術

は・・・

新規システムはサービス充実の海外クラウド、既存システム移

行は国内クラウド・・・

社内システム社外で発生

IT資産の変化と“データ”の拡大

ソフトウェア

ハードウェア

ネットワーク

データ（マスタデータ、

トランザクションデータ）

ソフトウェア

ハードウェア

ネットワーク

データ（＋ログ、非定型）

Open Data

ノウハウ

ビジネニーズマーケットニーズ

求められるデータ連携基盤 14

従来型システム新規システム

オンプレ

社内データ

クラウド

社外データ

IT部門透過的なアクセス

データ連携ソリューション選定ポイント＋α

接続性

• 多様なテクノロジーへの（迅速な）対応

• 接続先への影響が少ない

• 接続先制限のラッピング

• 将来へのリスクヘッジ

開発生産性

• 直感的な操作感

• 習得が容易

• 設計から運用までトータルでの生産性向上

• 標準化

• オンプレ・クラウドを意識しない透過的なデータ・アクセス

信頼性

• 製品として

• 会社として

• パフォーマンス

• ボトルネックへの対応

ASTERIA WARP概要• データフォーマットやシステム、プロトコル、関数に対応した多数のアダプタ

• ノン・プログラミングを実現する開発環境（フローデザイナー）

• 多くの開発支援機能を提供

はオプション

Kintone

開発環境（フローデザイナー）① GUI化されたコンポーネントを、処理をさせたい順番に、ドラッグ＆ドロップ ② 各アイコンごとの

プロパティの設定を行ないます。（マウスで選択）

④ データのフォーマット変換はマッパー画面で行います。

③ エラーハンドリングはプロパティの選択で編集可能。（フロー単位・コンポーネント単位）

開発環境（データマッピング）

文字列の変換、加工を行うマッパー関数。

INPUTされるデータのフィールド項目。

OUTPUTされるデータのフィールド項目。

IN側からOUT側へフィールドのドラッグ＆ドロップでデータマッピングの設定

関数を用いて文字列の加工、変換を行います。（画面の例：タイムスタンプを取得し、RDBに投入）

トリガー

スケジューラASTERIAのスケジュール機能を利用し、定められた日時にフローを起動

例）毎月○日○時に起動、○分おきに起動など

URLトリガーフローに対してURLを割当、URLにリクエストがあった時にフローを起動

例）ユーザがWEBシステムにデータ入力し、そのリクエストを受け連携

FTPトリガー ASTERIA内のFTPサーバ機能を利用し、ファイル受信終了で起動

例）他システムからFTPでファイルを転送し、そのファイルを連携

SOAPトリガー任意のSOAPクライアントからリクエストを受けて起動

例）クライアントからSOAPリクエスト受け起動

コマンドライン外部コマンドより起動

例）Systemwalker , JP1からASTERIAのコマンドを実行させ起動

JavaAPI起動 Javaのプログラムからリクエストを受けて起動

例）既存のjavaプログラムの再利用

メッセージ・キュー監視メッセージキューを監視し、起動

メール監視メールボックスを監視し、起動

導入実績 2002年の販売開始以来、業種・業界問わず幅広い実績

金融機関や報道機関のミッションクリティカルなシステムでの採用多数

4,777社の導入実績（2014年12月末現在）• NTTコミュニケーションズ• NTTコムウェアビリングソリューション• NTTデータ• WOWOWコミュニケーションズ• アルク• インテリジェンス• オートバックス• オリックス不動産• コープきんき• ジェイアール西日本デイリーサービスネット• ソフトバンク・テクノロジー• ソフトバンクテレコム• テレビ朝日• テレビ東京• マックス• ヤマタネ• ライオン• リコー• リコー• リコージャパン• 伊藤忠テクノソリューションズ

• 京セラ• 近畿産業信用組合• 近鉄不動産• 三井住友ファイナンス＆リース• 三井不動産リアルティ• 三菱商事／メタルワン• 住金物産• 住友林業• 神奈川新聞社• 神奈川大学• 大鵬薬品• 大和小田急建設• 大和物流• 東芝• 読売新聞社• 日本経済新聞社• 日本電波工業• 毎日新聞社

and more

（敬称略）

導入実績

日本を代表する企業の半数以上が採用

東京証券取引所市場第一部銘柄（内国普通株式）の中から、時価総額及び流動性の高い100銘柄で構成される大型指数

100%子会社含む（2014年3月現在）

マーケットシェア

テクノ・システム・リサーチ「2014年ソフトウェアマーケティング

総覧 EAI/ESB市場編」（数量ベース）

アイ・ティ・アール「システム連携／統合

ミドルウェア市場2013」（金額ベース）

富士キメラ総研「ソフトウェアビジネス新市場

2014年版」EAI ESB 市場（数量ベース）

47.0％16.2%

12.2%9.5%

27.0％

45.8％

EAI 8年連続シェアNo.1！

接続性～某小売業での業務分析基盤～

販売システム販売データ等

基幹システムマスター

情報ASTERIA

ASTERIAWARP

本社

販売センター A支社

B支社

データ変換・クレンジングS3にデータ転送Redshiftにコピー

C支社

接続性～ AWSアダプタ～

Amazon Elastic MapReduce

Elastic MapReduceを使ったAmazon環境でのHadoop処理を制御

Amazon RDSAmazon RDSへの接続は通常のRDBと同様にSQLビルダーで操作

Amazon S3Amazon S3 へのデータ転送・取得をドラッグ＆ドロップで構築通常のストレージのように取り扱うことが可能

Amazon EC2EC2インスタンスの起動終了を外部から制御月次バッチ起動時のみインスタンスを起動するなどの運用が可能

Amazon Simple Queue

専用画面の操作のみでキューを取り扱い

ASTERIA WARPの標準機能で対応

Amazon Redshiftペタバイト級データウェアハウスのサービスであるAmazon RedshiftにもSQLビルダーで接続

AWSアダプターオプションで対応

Amazon SNSノーティフィケーションサービスを利用して、登録された端末にプッシュ通知を送信

Amazon RedshiftS3からRedshiftへのデータロードを支援分析用テーブル作成の専用画面を提供

接続性～AWSアダプタ～

圧縮と並列転送で高速アップロード

Redshift専用アダプタを提供

• S3、SQS、SNS専用のGUIを提供

• エクスプローラーライクな画面で簡単に連携設定が可能

• S3マルチパートアップロード対応

• オブジェクトの暗号化をサポート

• Redshift、EMRが標準対応するGzip対応

• S3からRedshiftへのコピーはGUIで設定するだけの簡単コピーで実現

• 分析用のテーブル作成も可能、BIツールのパフォーマンス向上

AWS連携もGUI

接続性～サイバーエージェント様～

ASTERIA Cloud Conference 2015登壇資料より抜粋

子会社（71社）増加により連携コストが増加

• 連携を自動化し、クラウドサービスを更に有効活用

• 近日詳細事例公開予定

接続性～kintoneアダプタ～

kintoneGet レコードを取得

kintonePut レコードを挿入・更新

kitoneDelete レコードを削除

kintoneFileUpload 添付ファイルをアップロード

kintoneFileDownload 添付ファイルをダウンロード

kintoneSubTableGet サブテーブルのデータを取得

kintoneSubTablePut サブテーブルのデータを追加更新

kintoneSubTableDelete サブテーブルのデータを削除

kintoneのAPIではサポートされていないデータのInsert/Updateを１つのコンポーネントで実現

接続性～多様な連携を実現するアダプタ～

Microsoft Azure

REST HTML Parse

Active Directory / LDAP

• HTTP Get/Postとは別に専用アダプタを提供• アダプタ上から単体テストが可能

• CSSセレクターと同様の記法でHTMLを読み取り、内容を解析するアダプタ

• WebAPIの用意されていないWebアプリケーションやWEBサイトとも連携可能

• Microsoft Azure ストレージBlob/Queue/Tabelに対応

• 専用の画面を提供し容易に連携可能

• Active Directory専用のウィザードを提供• Active Directoryと他のシステムとの連携を容易

に実現

接続性～つないでみたASTERIA 製品ブログで展開中の「つないでみた」シリーズ

http://www.infoteria.com/jp/warp/blog/warp_blog_cat/tsunagu

開発生産性～ブックオフ・コーポレーション様～

「Excel連携機能は、競合製品に比べてはるかに充実していました。連携可能なプロトコルが多いことやGUIの開発環境が視覚的でわかりやすい」

「開発工数は従来手法に比べて約60％ほど削減されました。体感的には、1週間かかっていたものが1～2日で完成するようになったという印象」

小規模なシステムでは仕様書作成時間はほぼゼロにまで短縮され、大規模なシステムの場合でも作業時間を7割程度にまで圧縮

「連携のためにプログラミング言語を用いて開発した場合の見積もりが、ASTERIA導入コストとほぼ同額でした。そのコストを削減できただけでも、既に投資以上の効果を挙げている」

導入前

導入後

特に重要視された課題は、開発やその後のメンテナンスが属人化してしまうことと、ドキュメント作成の負荷が大きいことだった。

お互いに開発やメンテナンスをサポートしあえるよう、開発スキルの標準化が必要

開発生産性～近畿産業信用組合様～

導入前

導入後

SKCセンター(※)は共同利用システムのため、出力されるデータのフォーマットは、個別の組合向けには最適化されていない。「（中略SKCセンターのデータを必要とする約30ものサブシステムについては、ほぼすべてを改修する必要があったのです」

※全国約150の信用組合が共同で利用する勘定系および情報系の業務処理セ

ンター。業界クラウドの一種。

ASTERIAなら、GUIでコンポーネントをグラフィカルに配置していくだ

けで機能を実装できるなど、扱いが直感的で簡単な点も評価ポイントとなりました」

「使い慣れたExcelを簡単に処理に組み込むことができる特長を活かし、（中略）必要情報をExcelに入力するだけで、誰でも処理・配信内容を設定できるようにしたのです」

従来10人体制で行っていたシステムの運用管理が、現在は3人体制

COBOLでプログラムを開発していたら、現在と同じ数のデータ変換の処理フローを作るのに、2倍以上の期間がかかっていた

開発生産性～ソディック様～

導入前

導入後

「SAPの機能を拡張して実業務にフィットさせる方法はありましたが、その場合は専門のベンダーへの開発委託が必要となり、多大なコストがかかります。しかも、国内のシステムリプレースに与えられた期間はわずか3カ月。つまり、システム刷新後も、現場業務の利便性を損なわないための仕組みを、最適なコストと期間で用意することが喫緊の課題として浮上したのです」

「連携部分にASTERIA WARPを活用すれば、『フローデザイナー』上でアイコンをドラッグ＆ドロップするだけ。ノンプログラミングで簡単にシステム連携を実現できる点が大きなメリットでした」

「リプレース中の3カ月に、ASTERIA WARPで構築した連携フローは約30本。その後現在までに、内製で構築したフロー数は約60本になっています。ASTERIA WARPは、データの流れが視覚的に把握できるため、設計書を用意せずともフロー作成に取り掛かれます。そのため、今回のような短期間のプロジェクトでもシステム間連携を完遂することができました」

現在はASTERIA WARPでの自動化により、その負荷はほぼなくなった。

ORACLEから取り出したデータをJavaでロジック書いて、ファイルに吐き出してFTPで転送する処理をJP1でスケジューリング

開発生産性～例えばバッチ処理開発～ 33

ASTERIAだけで全て完結！

ASTERIAでは・・

一般的には・・・

開発生産性～手組みとの比較～

• javaでのコーディング• ASTERIAのフロー設計

→コメントを入れると65～100stepサンプルの検索、コピー＆ペースト、コンパイル、テスト、仕様書作成など、タスクは山済み。

→アイコンを2つ並べるだけのカンタン開発詳細設計工程と開発工程を同時化により開発工数を削減。

設計工程＝開発工程 ⇒ 即稼働

RDBからレコードを読み込み.txtファイルを作成

開発生産性～生産性向上のポイント～

【開発工程の広範囲をカバーする自動化技術】

• 処理の順番にアイコンを並べる設計で、設計・開発期間を大幅短縮

• GUI環境でシステム設計

• 作成したデータ連携はサブフローとして部品化することで共通化し、開発効率向上を促進。

要件定義

要件定義業務設計・システム設計開発テスト運用・保守

テスト運用・保守

ASTERIAでの開発

通常開発

ASTERIA

時間

コスト

ASTERIA

手組み

手組みとの比較• 学習コストがかかるが習得は容易• 生産性は50%以上（事例から）• 個性が入りづらく品質の均一化が可能• 高保守性

引き継ぎが容易、可読性が高い、ドキュメント生成の自動化

• 標準化が容易

開発生産性～高生産性を実現する機能～

仕様書自動作成SQLビルダー

テーブル定義書自動生成仮想テーブル機能

• 複数のデータソースを仮想テーブルに自動登録（DB不要）

• 様々な加工抽出が可能（差分抽出や集計などもSQLで記述可能）

• フィルタ、ジョイン、ソート、縦横変換、集計（合計、平均、最大/最小値、個数、個数（重複除く）

• データベースの構造を確認しつつSQLを生成• 件数を指定したテストも同一画面で可能• 動的パラメータを利用したテストも可能

• 作成したフロー、マッピングの仕様書を出力• クリッカブルマップ対応• 統計情報（アイコン利用数）も出力

• データベースのテーブル構造、定義をExcelドキュメントとして出力

• 管理者不在のデータベース調査が可能

開発生産性～Excelアダプタ～

ExcelデータからのDBへの入/出力が可能なためにExcelを帳票として利用が可能

Excelビルダー： Excel上からセル/範囲指定が可能なツール– Excelファイルから読み込むセルを定義– コンポーネント1つで、複数シート、複数レコードに対応可能– １レコードが複数行にわたる形式にも対応– セルのフォントサイズ、配色の指定も可能– キーブレイク時に罫線をひくことも可能

信頼性～伊藤忠テクノソリューションズ様

「開発自体も容易ではなく、多くの工数と時間が必要。そのため、スムーズな業務システムの構築が難しかったのです」

「選定時には販売担当部門からも情報を収集。性能や信頼性などについて高い評価を聞けたことも、採用の後押しとなりました」

処理速度は従来比で最大約3倍の数値が得られた

これまでのところ連携処理のエラーはなく、ASTERIA WARPは安定稼働を続けている

豊富な機能と高い可用性の両面で十分な性能を発揮してくれており、大きな安心感が得られています。

導入前

導入後

信頼性～テレビ朝日様～

「EAIツールの処理性能をオーバーしてしまうことがあり、送信に時間がかかったり、メモリ不足による送信エラーが発生したりすることがあったのです」

（4台の）運用負荷と保守費用が現場の負担になっていた

3方向の連携をサーバー1台で処理することが可能。

旧PrismDJでは60分以上かかっていた処理が、新PrismDJでは1台の物理サーバーで、10分程度で行える

EAIツールの入れ替えに際して既存システムに手を加える必要はありません。連携先の追加・変更も簡単で誰でも扱える。

番組編成データ配信にかかる時間は約1/6に短縮。

「データの遅配やエラーが起こらない安心感が、今回得られた最大のメリットといえるでしょう」

導入前

導入後

tv asahi

信頼性～ゴルフダイジェスト・オンライン様～

導入前「システム間でのデータ連携機能を個別に開発してきた結果、システム全体を把握することが困難になっていました」

機能単位でのサブシステムは1000以上あり、500以上のインターフェイスで結ばれていた。その図面は、新聞紙2枚程度にまで広がっていた。

「新たなシステムでは、何と何がどのようにつながっているかがわかるような仕組みにすることが大命題だった」

システム間を疎結合にし、個別の機能群に柔軟性を持たせること、WEBサービス連携基盤となるシステムが必要

導入後「・・・ASTERIAWARPで作ったインターフェイスにも仕様変更が生じました。その回数は500回以上。スクラッチ開発していたら、到底対応できなかったでしょう」

「ASTERIA WARPの導入に必要な機器、ライセンス、保守を含めたとしても、スクラッチ開発に比べて60％程度の削減効果を感じている」処理件数は、ゴルフのピークシーズンではない8月においても1日で280万リクエストに及ぶ。

「連携の必要が生じたらすぐ対応できるシステムになりました。今後の開発案件も、すべてASTERIAWARPを通して既存システムと連携させる予定です。」

信頼性～高信頼性を実現する機能～

チェックポイント機能

優先実行モードループ並列処理

管理系機能

• 通常のフローが実行中でも優先して実行されるモード• リアルタイム処理、バッチ処理が混在している環境な

ど、優先度が決められる場合に有効

• サブフローとして定義したループ処理を並列処理可能

• マルチコアを活かして高速処理

• 中断してしまったフローを途中から再開• 障害で中断した長時間処理の再開に効果的• エラー発生時に設定されたタイミングで自動リトライ• 2台以上の構成、中間データベースを用意すること

で、簡易的なフェールオーバー環境の構築が可能に

• WEB APIにより外部から操作可能• 複数サーバーを管理する等、独自コンソールの

作成が可能• タブレットデバイスからも操作可能な管理コン

ソールを提供• ログ解析用のビューアを提供

EnterpriseEdition

クラウド時代のデータ連携基盤構築のポイント 42

• コスト削減に貢献する「ノン・プログラミング」開発環境

• 最適な粒度で容易な技術習得• 充実した開発支援機能でプロセス全体を短縮

• 柔軟にビジネスニーズに対応する、豊富で高機能な「アダプタ」がテクノロジーを隠蔽

• 標準技術にほぼ対応し、基本パッケージだけで使える！

• 実績が示す、データ連携のデファクトスタンダード

• 基盤利用を可能とする豊富な機能• 会社自体の安定性

信頼性開発生産性接続性

仕様

設計

製造

テスト

要件確認

開発

テスト

サブスクリプション

初期費用を抑えたいシステム移行に

使いたい

開発期間だけもう1台欲しい

自社クラウドに付加価値を付けたい

ご清聴ありがとうございました

クラウド時代に必須、マルチプラットフォーム環境に対応す …amazon...

Documents

cs 425 / ece 428 distributed systems fall 2019 · –...

amazon elastic mapreduce -- getting started with hadoop

a modern framework for amazon elastic mapreduce (bdt309) |...

amazon elastic mapreduceの紹介(英語)

(bdt308) using amazon elastic mapreduce as your scalable...

amazon elastic mapreduce - aws documentation · amazon...

processing data using amazon elastic mapreduce and...

(bdt316) offloading etl to amazon elastic mapreduce

introduction to elastic mapreduce at whug

amazon elastic mapreduce with hive/presto...

masterclass webinar: amazon elastic mapreduce (emr)

metail and elastic mapreduce

scaling your analytics with amazon elastic mapreduce...

amazon elastic mapreduce + apache mahout...

amazon elastic mapreduce · 2020-05-22 · amazon elastic...

prd-027 - amazon elastic mapreduce (emr)

scaling information retrieval to the...

(sdd401) amazon elastic mapreduce deep dive and best...

real-time streaming and querying with amazon kinesis and...

amazon elastic...

クラウド時代に必須、 マルチプラットフォーム環境に 対応す …amazon...

クラウド時代に必須、マルチプラットフォーム環境に対応す …amazon...