利用者アンケートから見えたビッグデータ...
TRANSCRIPT
日本OSS推進フォーラム ビッグデータ部会 技術調査チーム
利用者アンケートから見えたビッグデータの現状と期待
2016年2月3日
WANdisco plc 小川 研之[email protected]://blogs.wandisco.com/author/kenji/
Copyright 2016 Japan OSS Promotion Forum
2015年12月14日開催の
『ビッグデータ&オープンソース最新情報セミナー』において
ビッグデータ関連OSSに求められるニーズ・課題を分析するため、
アンケートを実施しました。
回答頂いたアンケートを集計・分析した結果を報告します。
Copyright 2016 Japan OSS Promotion Forum
はじめに
1
回答者の立場 業種、従業員数、役職、ビッグデータ導入時の立場
セミナーについて 内容の分かり易さ、役に立つか?
特にご興味のあった講演
Big Dataの取り組みについて Big Dataの期待領域
どのようなデータの分析が必要
Big Dataシステムの状況について(顧客への適用・提案を含む) Big Dataシステムの使用状況・計画
Big Dataシステム導入・構築の課題
使用されている(予定も含め)Hadoop、エコシステム
使用されているHadoop Distribution
Data Node総数、Hadoopクラスタ数、データセンタ数
Hadoopでの高可用性/バックアップ
Copyright 2016 Japan OSS Promotion Forum
アンケートの質問事項
Big Dataの活用のための
代表的なインフラとしての
Hadoopの現状にフォーカス
2
事前登録者数(関係者含む):69名
当日参加人数(関係者除く):43名アンケート回収数:39名
Copyright 2016 Japan OSS Promotion Forum 3
回答者の内訳
5%
0%
18%
41%
34%
2% 0%
利用者 教育・研究機関 情報サービス業
SIer ハード・ソフトベンダ コンサル
その他
Sier,HW/SWが70%、従業員数1000人以上が半数
情報サービス会社(Web企業)は2割以下
Big DataおよびHadoopの一般企業での実情を反映
今後、Big DataおよびHadoopの本格的な拡がりを占うもの
Copyright 2016 Japan OSS Promotion Forum 4
セミナーの評価
26%
68%
6% 0%
大変よく理解 理解できた
理解できないところもあり 理解できない
24%
64%
12%
0%
大いに役立つ 役立つ
現時点では不明 役に立たない
ポジティブな感想が9割近く、参加者満足度の高いセミナーとなり、 一定の成果
02468
10121416
興味のあった講演
全般的・広範な話題をカバーする講演への興味大
Big Dataの取り組み
Copyright 2016 Japan OSS Promotion Forum
Copyright 2016 Japan OSS Promotion Forum 6
ビッグデータにおける期待領域は何か?
0
5
10
15
20
25
30
a b c d a b c d a b c d a b c d
業務の卓越性 顧客親密 新事業 リスク管理
Big Dataへの期待
業務の卓越性
例:生産性向上、品質向上(歩留り改善)等ものづくり革新
顧客親密
例:ソーシャルメディア等による精緻なパーソナライズ
新事業
例:交通渋滞サブスクリプションサービス
リスク管理
例:刻々変化するパターンに基づく不正・異常検知
a. 実現済 b 期待大. c 期待 d 不明
ビッグデータにおける期待領域は何か?
Copyright 2016 Japan OSS Promotion Forum 7
新事業に対する期待は大きいが。。。 分析したいデータのトップは顧客データの35%
欧米では顧客親密、リスク管理対応が先行
“まだ顧客の多くにソーシャルと業務のつながりが認知されていないと感じる”とのコメントもあり
狙う領域が絞られていないのが実情か?
35%
24%
17%
21%
3%
顧客情報
(行動パターン
など含め)
生産関連情報
(センサデータ含む)
販売・売上情報 社会現状
(SNS、気象、交通、エネルギー等々)
その他
どのようなデータ分析が必要と考えるか?
Big Dataシステムの状況
Copyright 2016 Japan OSS Promotion Forum
HDFSは50%が使用中(含む予定)、MongoDBが健闘
商用の分析・意思決定製品との連携は進んでおらず、Rが健闘
Kerberos, Knoxは使われていない。セキュリティ対策は?
Copyright 2016 Japan OSS Promotion Forum 9
Hadoopエコシステムの利用状況
0
2
4
6
8
10
12
14
16
18
20
Nutc
h
Sqoop
Tale
nd
Flu
entd
Flu
me
Sto
rm
Spark
Str
eam
ing
Hadoop H
DFS
Ceph
Glu
ste
rFS
Sw
ift
MongoD
B
MR
MR2/Y
AR
N
Spark
Hiv
e
Tez
Impala
HBase
Drill
Pig
Solr
Cassandra
Mahout R
Penta
ho
JasperR
eport
MLlib
QlickVie
w
Table
au
Spark
SAS
IBM
SPSS
Tera
data
Am
bari
Zookeeper
Clo
udera
Manager
Kerb
ero
s
Knox
Oozie
収集・検知・ETL 蓄積・クエリ・その他 分析・意思決定 運用・監視
Hadoop Ecosystemの利用状況
Copyright 2016 Japan OSS Promotion Forum
ビッグデータシステムの使用状況・計画
10
14%
19%
11%
5%
0%
32%
19%
拡大を検討中・実施中 実システム運用中 POC実施中 1年以内に導入予定
2年以内に導入予定 時期未定検討中 予定なし
拡大を検討・実施中、実システム運用中は3割程度、時期未定・予定なしが半数以上
一方PoC実施中、1年以内も16% →導入のスピードは期待程、高くない?
Copyright 2016 Japan OSS Promotion Forum 11
Hadoopシステムの現状
37%
30%
9%
18%
0%3% 3%0%
Hadoop Distribution
Apache Cloudera Hortonworks MapR
Oracle BDA Pivotal HD IBM その他
31%
0%
23%
46%
クラウド上でのHadoop利用について
クラウドのみ オンプレとのハイブリッド 今後予定 なし
37%がApacheを使用、ディストリビュータの無償版も含めるとサポートなしで使用しているユーザが相当数と思われる
クラウド上での拡張、展開を考えているユーザが半分以上 クラウドとオンプレミスのハイブリッドでの利用はゼロ
Hadoopのノード数は最大で30ノード、5ノード以下が半数
Copyright 2016 Japan OSS Promotion Forum
ビッグデータシステム構築の課題
12
24%
32%
13%
7%
14%
10%
0%
スキルの習得 導入効果の明確化 既存システムとの親和性・連携
対応製品の成熟度
(企業システム使用への不安)
必要性の認識なし
(経営陣)
データがない
収集が困難
その他
導入効果の明確化と必要性の認識なしを合わせると半数近い
→どのように使えば効果があるのかが明確になっていない状況
現状の考察および今後の期待
Copyright 2016 Japan OSS Promotion Forum
Big Dataの目的・投資効果が明確になっていない
この為、コストをかけないで何ができるのかを模索中のユーザが多いことが推察される サポートなし、クラウド志向
溜まったデータ量も小
既存システムとの連携なし
Copyright 2016 Japan OSS Promotion Forum
考察
14
Copyright 2016 Japan OSS Promotion Forum 15
今後への期待 (私見。。。)
the first Hadoop cluster went into production at Yahoo 10 years ago (January 28 2011)
Copyright 2016 Japan OSS Promotion Forum 16
Work?
Big DataとXXXX
Copyright 2016 Japan OSS Promotion Forum 17
アプリからスタート
結果としてデータが溜まる
Copyright 2016 Japan OSS Promotion Forum
ご清聴ありがとうございました