Embulk mBaaS

Embulk mBaaS

• ニフティ株式会社 • 2015年4月 新卒入社 • 研修中 • 研修中 • 研修中

• EmbulkのmBaaSプラグインを書きました！

mBaaS

mBaaS

REST API

mBaaS

• アプリで利用するデータを保存できるクラウドストレージ （mongoDB, ニフティクラウド上で稼動）

• データのインポート機能の提供はなし(2015/12/15現在)

• エクスポートは一括・JSON形式でのみ提供

• EmbulkのmBaaS用Importプラグインを開発し データのインポートをできるようにしよう！

mBaaS

OJT

弊社エンジニア （OJTトレーナー）

弊社開発リーダー

OJT 6

Embulk mBaaS Input / Output

OJT 6

Embulk mBaaS Input / Output

大丈夫だよ！絶対、大丈夫だよっ！

•  (´-｀).。o0(Embulkとは…)

古橋さんによるリリース時の資料を読む →理解した気がしてくる

1: Embulk

•  (´-｀).。o0(次はコードを読もう！)

2: Embulk

→よくわからない

•  embulk-core •  embulk-cli •  embulk-output-s3

•  embulk-input-gcs

•  embulk-output-gcs

•  embulk-output-hdfs

•  embulk-output-salesforce

• データストアの操作は提供されているAPI・SDKを用いて実行可能．

3:

• API• APIリクエストにはアプリケーションキー等を含む 署名用文字列を元に生成したシグネチャの付加が必須。

• ヘッダの付加→メソッドの設定→キーの昇順並び替え→ クライアントキーを秘密鍵としてエンコード→ さらにエンコード…

• つらさ

3:

Outputembulk-core OutputPlugin.java

• ここにたどり着くのが遅かったのが今回の敗因。

5: Output

弊社エンジニア （OJTトレーナー）

˘ ˘

弊社開発リーダー

• Embulk-output-mbaas https://github.com/NIFTYCloud-mbaas/embulk-output-ncmb

• よろしくお願いします！！！！！

: Output

* 100MB (0.3M [rows] * 16 [columns]) * まさかの20時間

  * 検証不足

- OutputではなくInput (単一csvファイル)の問題? - データの分割と冪等性の確保を両方行うのが大変

ToDo: Input

問題:mbaasが返してくるJSONをページスライスできない 原因: JSON->Javaオブジェクト変換用のクラスの宣言ができない

クラスの要素はymlファイルの中身で決定されるため起動時まで わからない。

: mBaaS JSON

ToDo:

Blog by Sadayuki Furuhashi: http://frsyuki.hatenablog.com/entry/2015/02/16/080150

• 会社の宣伝をします。

大事なことなので2回

• 

We are hiring!!

•