use case and live demo : agile data integration from legacy system to hadoop and iot
Post on 16-Apr-2017
822 Views
Preview:
TRANSCRIPT
Copyright© APPRESSO K.K. All rights reserved. 1
Agile data integration from Legacy system to Hadoop and IoT.
株式会社セゾン情報システムズ友松 哲也
会社紹介 社名:株式会社セゾン情報システムズ 設立年月日: 1970 年 9 月 1 日 ■代表者:代表取締役社長 内田 和弘 資本金: 13 億 6768 万 7500 円 ■上場市場:東京証券取引所 JASDAQ スタンダード市場 事業内容: HULFT シリーズ製品事業、カードシステム事業、流通・ IT ソリューション事業
The top share of Managed File Transfer Tool
No.1 customer satisficationData Integration Tool
file
file
file
file
file
file
file
All Rights Reserved SAISON INFORMATION SYSTEMS CO.,LTD.2
3
つながる価値、広がる未来
我々は、サイバー空間のグローバルロジスティックベンダーとして、企業にとってもっとも重要な資産である
「データ」を”安全・確実・柔軟”に連携し、「データ」の価値を高めて、企業活動に活用できる基盤を提供します。
ビジョン
All Rights Reserved SAISON INFORMATION SYSTEMS CO.,LTD.
あらゆるシステム・サービスをつなぐミドルウェアを提供
10年連続日本シェア第1位
世界シェア第4位
HULFTシリーズ は日本シェア 77%8400社のお客様に選ばれ、世界 42か国でご利用いただいています
顧客満足度第 1位
All Rights Reserved SAISON INFORMATION SYSTEMS CO.,LTD.4
5
HULFT シリーズ
All Rights Reserved SAISON INFORMATION SYSTEMS CO.,LTD.
6
DataSpider シリーズ
異なるシステムのデータやアプリケーションをノンプログラミングで「つなぐ」
業務プロセスのモデル化など、PDCA に必要な要素をすべて「見える化」
2 重入力の手間や、ダブルブッキングを「スケジュール」「 ToDo 」の自動同期で解決!
All Rights Reserved SAISON INFORMATION SYSTEMS CO.,LTD.
Data Architecture について
データとは「特定の何かの状態を表現したもの」
である
8
データとは何か
All Rights Reserved SAISON INFORMATION SYSTEMS CO.,LTD.
データ活用は状態よりつながりを重視9
SoRシステム・オブ・レコード
SoEシステム・オブ・エンゲージメント
従来型の企業管理システム 人と人との関係性を強化するためのシステム
データ活用の変遷
All Rights Reserved SAISON INFORMATION SYSTEMS CO.,LTD.
SoR と SoE を融合して新たな知見から洞察を得るシステム。業務システムに蓄積された構造化データと、 SNS などの普及で爆発的に増加した非構造化データをあわせて分析。
10
データ活用は次にステップへ
System of Insight
All Rights Reserved SAISON INFORMATION SYSTEMS CO.,LTD.
11
AI に代替されてなくなると考えられる職種
【図 1】 10~ 20 年以内に AI に代替されてなくなってしまう業務はあると思いますか。 【図 2】 AI に代替されなくなると考えられる職種を教えてください。
2016/05/09 en japan ―『ミドルの転職』コンサルタントアンケート集計結果―
All Rights Reserved SAISON INFORMATION SYSTEMS CO.,LTD.
12
AI時代にデータアーキテクチャはどうあるべきか
• 大規模でも柔軟性の高いシステムアーキテクチャ• 難しいことが簡単にできる• 様々なシーン / 分野で利用できる多様性
スケーラビリティ
メンテナビリティ フレキシビリティ
All Rights Reserved SAISON INFORMATION SYSTEMS CO.,LTD.
データインテグレーションプラットホーム
•Visualization•Diagnosis•Predictive maintenance•Data governance
Sensor
IoTFactory
Mobile
FA
ERP HR DWH EDI
MachineLearning
DataIntegrationPlatform
・ Data Flow Control・ Dynamic Routing・ Data Management
13All Rights Reserved SAISON INFORMATION SYSTEMS CO.,LTD.
Data Integration Platform
15
データ活用のプロセス
あつめる ためる つかう
• データの全貌を把握する
• 必要データを決める
• 必要データを集める
• データを蓄積する
• 処理可能な状態にする
• データを処理する
• データを分析する
実現方法
データウェアハウス BI/ 分析ツール
実現方法実現方法
ETL/EAI
All Rights Reserved SAISON INFORMATION SYSTEMS CO.,LTD.
たまったデータをきれいにする
16
処理可能な状態にする
ためながらデータをきれいにする
ETL/EAI 分散処理 FW
疑似リアルタイム /頻度の高いバッチ 超大容量データ /頻度の低いバッチ
All Rights Reserved SAISON INFORMATION SYSTEMS CO.,LTD.
データインテグレーションプラットホーム
•Visualization•Diagnosis•Predictive maintenance•Data governance
Sensor
IoTFactory
Mobile
FA
ERP HR DWH EDI
MachineLearning
DataIntegrationPlatform
・ Data Flow Control・ Dynamic Routing・ Data Management
17All Rights Reserved SAISON INFORMATION SYSTEMS CO.,LTD.
18
データインテグレーションプラットフォーム
Sensor
Mobile
ERP
HRMachineLearning
Log
DWH/DataLake
Streaming
All Rights Reserved SAISON INFORMATION SYSTEMS CO.,LTD.
Use case
20All Rights Reserved SAISON INFORMATION SYSTEMS CO.,LTD.
導入事例
某大手スーパーマーケット様
基幹システム在庫更新バッチ
新発注システム
データ収集 / 変換 / クレンジング店舗別売上
仕入れ情報 HDFS
HDFS
データ変換 / クレンジング
• バッチ処理に時間がかかる
• 基幹からのデータ収集が手間
• 毎回コストの稟議に時間がかかる
課題
最新在庫データ
バッチ処理高速化( 1/20 の削減)
GUI による開発で 15~ 20% の工数削減
連携処理の内製化で開発スピード UP
導入事例
21
豊田ハイシステム株式会社様
リアルタイムに情報収集 / 見える化
情報の登録方法を整理、統一
データ一元化による瞬時に検索が可能
• ライン異常を共有できない• 生産記録が集約できない• 情報収集に時間がかかる
課題
データ連携 HUB
All Rights Reserved SAISON INFORMATION SYSTEMS CO.,LTD.
22
Amazon Web Services でセンサーデータリミックスハッカソン
1. オトナの体力測定 / センサーで運動量を検知してグラフにして表示2. お部屋Watch α/部屋に誰もいないのに電気がついていることがないか確認できる仕組み3. Hotspot Finder/ センサーを使って、人がたくさんいる場所を地図上に可視化4. GuzzREACH/赤ちゃんのぐずりをセンサーを使って検知。メールで通知してくれるサービス5. IoN/ コンサートやライブの観客のノリ ( グルーブ感 ) を可視化
2015 年 1 月 17 日(土)開催東京都目黒区
イベントの開催報告が掲載されています http://dstn.appresso.com/blogdetail?id=4971
All Rights Reserved SAISON INFORMATION SYSTEMS CO.,LTD.
赤ちゃんのグズリ検知
機械学習
赤ちゃんのグズリを検知して通知
グズリかどうかを随時判定する学習データ登録
赤ちゃんの動きを取得する
ぐずっている場合は通知
(プリファードインフラストラクチャー社提供)
23All Rights Reserved SAISON INFORMATION SYSTEMS CO.,LTD.
某大手電力会社
導入事例
24
使用量管理
契約者情報
スケーラビリティしやすいアーキテクチャ
汎用的でメンテナンス性に優れた API
柔軟で変更に強いインフラ
• 需要予測ができない• システム利用者が多様• ニーズが変動
契約者
小売電気事業者
電力提供
スイッチング申し込み
情報提供依頼
情報提供 供給開始• REST• ファイル
課題
データ連携 HUB
All Rights Reserved SAISON INFORMATION SYSTEMS CO.,LTD.
Microsoft Azure アダプタ
対応サービス
HDInsight Machine Learning
Azure SQL BlobStorage
DocumentDB
QueueStorage
ServiceBus
共同開発:25
All Rights Reserved SAISON INFORMATION SYSTEMS CO.,LTD.
マルチクラウド連携
HDInsight MachineLearning
Blob
Microsoft AzureAWS
S3
log log log
Web サイト
他クラウドからのデータ取得
ジョブ実行 解析実行
一連の分析プロセスを完全自動化!26
All Rights Reserved SAISON INFORMATION SYSTEMS CO.,LTD.
Microsoft Azure
Microsoft Azure
デモイメージ
Microsoft Azure
ユーザデータをBLOB へ格納
Microsoft Azure
結果を出力
Log
BLOB に格納されたデータを使用し、MachineLearning で機械学習を実行
結果を取り込む
複数のレストランを経営。ユーザの会員情報をもとにレストランをレコメンドする。
取り込んだユーザ会員情報を HD Insight で解析。 MachineLearning でデータ解析を行いレコメンド情報を出力、表示。
Hive ジョブを実行し、取り込んだデータの成形を行う
Microsoft Azure
データ
27All Rights Reserved SAISON INFORMATION SYSTEMS CO.,LTD.
電話 0120-80-8620E-mail hulft@saison.co.jpWeb HULFT IoT
株式会社セゾン情報システムズHULFT 事業部
お問合せ先
検 索
top related