hadoopの標準gui hueの最新情報
DESCRIPTION
Hadoop User Conference 2014のHueのセッション資料ですTRANSCRIPT
HUE以前 基本的な操作はコマンドラインから エンジニア、パワーユーザー以外には敷居が高い
HUE以後
Hadoop用のGUI ブラウザから操作 ・Windowsでも ・Macでも ・Linuxでも その気になれば、タブレットやスマホでも！
HUEの目標 APACHE HADOOPで データを分析するための ウェブインタフェース
シンプル＆統合 無料＆オープンソース ̶> ビッグデータを多くの人に
おおまかな概要
Hadoop Web Server あなた、同僚、 IE9を使っている友人でさえも ;)
オープンソース
~3350 のコミット 38 人のコントリビュータ 698 のスター 245 のフォーク github.com/cloudera/hue
開発コアチーム
Join us at team.gethue.com
Romain Rigaux Enrico Ber5 Chang Abraham Elmahrek Amstel
トーク ミートアップとイベント: NYC, Paris, LA, Tokyo, SF, Stockholm, Vienna, San Jose, Singapore, Budapest… 近日予定: London, West coast
AROUNDTHE WORLD
避暑 Nov 13 Koh Chang, Thailand May 14 Curaçao, Netherlands An5lles Nov 14 Goa, India
トレンド: 成長
gethue.com
HISTORY HUE 1
ブラウザ内でデスクトップのような機能を実現していたが、かなり遅く、メモリリークもあり、IEには適していなかった。 しかし、その当時 (2009-2010)は明らかに先進的だった。
HISTORY HUE 2
いたるところがTwitterのブートストラップによる最初のフラット構造な実装 HUE 2.5
自動補完とドラッグ＆ドロップのような新しい良い機能を追加し、ユーザーエクスペリエンスを改善した新しいアプリ
HISTORY HUE 3 ALPHA
提案されたデザイン。 うまくいかなかった
HISTORY HUE 3.5 新しいUI、いくつかの新しいアプリ、これまでで最もユーザーフレンドリーな機能
HISTORY HUE 3.6+
そして今… データを検索、探索するための全く新しい方法
どちらのバージョンを使うべきか?
その後の2500以上のコミット、新しいUI、インタラクティブな検索、SQL、ダッシュボード…
1～2年古いバージョンで、Hive0.12以前に依存している場合にのみ使用する
HUE 2.X HUE 3.X
どのディストリビューションを使うべきか?
先進的なプレビュー版 最も安定し、コンポーネント間での確認もなされている
非常に新しい GITHUB CDH / CM TARBALL
ハッカー 先進的なユーザー 一般ユーザー
どこにHUEを配置するべきか? 1台のマシン
どこにHUEを配置するべきか? クラスタの外
どこにHUEを配置するべきか? クラスタの内側
Python 2.4 2.6 パッケージを使用する場合。ソースからビルドする場合はその他の packagesが必要
SERVER CLIENT ウェブブラウザ IE 9+, FF 10+, Chrome, Safari
必要なものは?
Hi there, I’m “just” a web server.
HUEのサービスは?
ページ、および静的コンテンツも提供するプロセス
1 SERVER 1 DB クッキー、保存したクエリ、ワークフロー用
Hi there, I’m “just” a web server.
HUEの設定方法 HUE.INI
core-site.xmlに似ているが、.INI形式の構文 場所?
/etc/hue/conf/hue.ini または $HUE_HOME/desktop/conf/pseudo-distributed.ini
[desktop] [[database]] # Database engine is typically one of: # postgresql_psycopg2, mysql, or sqlite3 engine=sqlite3 ## host= ## port= ## user= ## password= name=desktop/desktop.db
認証
データベース (SQLite, MySQL, …)にLogin/Passwordを管理
SIMPLE ENTERPRISE LDAP (最も使用されている), OAuth, OpenID, SAML
DBバックエンド
LDAPバックエンド
Integrate your employees: LDAP How to guide
ユーザー
ユーザーまたはユーザーのグループに、権限を付与、破棄できる
管理者 ユーザー 標準ユーザー + 権限
グループのリストと権限 権限ができること: - アプリ(例: Hiveエディタ)へのアクセスを許可
- アプリからデータを修正 (例: HiveテーブルのDROPや、HBaseブラウザでセルを編集）
設定 ‒ アプリケーションと権限
A list of permissions
実行中の権限 「test」ユーザーは「hive」権限のみを持つ「hiveonly」グループに属している
設定 ‒ アプリケーションと権限
どのようにHUEはHADOOPとやり取りするのか
YARN
JobTracker
Oozie
Hue Plugins
LDAP SAML
Pig
HDFS HiveServer2
Hive Metastore
Cloudera Impala
Solr
HBase
Sqoop2
Zookeeper
RPC CALL 全てのHADOOPコンポーネントに HDFSの例
WebHDFS REST
DN
DN
DN
…
DN
NN
h\p://localhost:50070/webhdfs/v1/<PATH>?op=LISTSTATUS
HOW hue.iniにHadoop APIの全てのホストとポートをリスト HBaseとHiveの例
Full list
[hbase] # Comma-separated list of HBase Thrift servers for # clusters in the format of '(name|host:port)'. hbase_clusters=(Cluster|localhost:9090) [beeswax] hive_server_host=host-abc hive_server_port=10000
RPC CALL 全てのHADOOPコンポーネントに
HTTPS SSL DB SSL WITH HIVESERVER2
さらに多く … AUDITING
セキュリティ
KERBEROS
2つのHueインスタンス HA proxy Multi DB パフォーマンス: ウェブサイトのようにほとんどがRPCコール
高可用性 HOW
Impala, Hiveの統合, Spark (Shark も) 対話的なSQLエディタ MapReduce、メタストア、HDFSを統合
SQL WHAT
Solr&Cloudを統合 カスタムできる対話的なダッシュボード ドラッグ＆ドロップウィジェット (チャート、タイムライン…)
SEARCH（検索） WHAT
シンプルなカスタムクエリ言語 HBaseフィルタ言語をサポート 選択、コピー＆ペースト 自動補完のヘルプメニュー
HBASEブラウザ WHAT
DEMO TIME
まとめ
HueでプロキシーユーザーとしてHadoop Service APIを有効化
各サービスAPIを示すようにhue.iniを設定
@gethue や hue-user
マシンにHueを インストール
LDAPバックエンドを使用
インストール 設定 有効化
ヘルプ LDAP
次の6ヶ月のロードマップ Sentry Search, Spark, SQL 多くのダッシュボード!Oozie v2 内部コンポーネントの統合 (HBase <-> Search, インデックス作成ウィザード、ドキュメントの権限), Hadoop Web apps SDK あなたのアイデアは？
WHAT
…GIVE CLOUDERA MANAGER A TRY!
vimeo.com/91805055
設定が難しい…
何か間違っている?
learn.gethue.com
インストールせずに試してみる
demo.gethue.com
@gethue
USER GROUP hue-‐user@
WEBSITE
h\p://gethue.com LEARN
h\p://learn.gethue.com
THANK YOU!
翻訳版ブログ公開中 h\p://gethue.com/blog/?lang=ja