20160404 jaws ugアーキテクチャ専門支部ハイブリッドクラウド分科会#4
TRANSCRIPT
S3 hybrid uploading
2016/4/4JAWS-UG ARCH
Hybrid Architecture Discussion #4山 奈緒美﨑
自己紹介 山 奈緒美﨑JAWS-UG 初心者支部
JAWS-UG アーキテクチャ専門支部
JAWS-UG 情シス支部AWS-HUB HUB 長
AWS Samurai 2015
宮崎 鵜戸神宮
Redshift にデータを
突っ込みたい。
AWS 環境なら・・・
endpoints bucketAmazon EC2
Amazon Redshift
Hybrid 環境では・・・?
endpointsbucket Amazon Redshift
???
1.オンプレから S3 へアップロードしたい
2.DirectConnect を通したい
3.オンプレサーバ側にクレデンシャル情報をベタ書きしたくない
4.Windows, Linux, AIX からアップロード
5.AWS SDK ?何それうまいの?
6.AssumeRole で一時キー取得?何それうま(ry
7.つうか SFTP がいいんですけどー
必要要件
悪魔の囁きが聴こえた気がする
こんなかんじになりました
endpoints bucket Amazon Redshift
SFTP Server
S3fs
S3fsアンチパターン一丁上がり!
endpoints bucket Amazon Redshift
こんなかんじになりました
SFTP Server
endpoints bucket Amazon Redshift
データ連携対象が増えた。
SFTP Server
Sent status No such file
アップロード失敗しまくり
Mar 24 01:19:50 ip-172-XXX-XXX-XXX internal-sftp[8921]: session opened for local user abcdefg from [172.XXX.XXX.XXX]Mar 24 01:19:50 ip-172-XXX-XXX-XXX internal-sftp[8921]: open "/dat.XXX.aws/data/abcdefg/AIR_TBL_M.zip" flags WRITE,CREATE,TRUNCATE mode 0666Mar 24 01:19:51 ip-172-XXX-XXX-XXX internal-sftp[8921]: close "/dat.XXX.aws/data/abcdefg/AIR_TBL_M.zip" bytes read 0 written 172Mar 24 01:19:51 ip-172-XXX-XXX-XXX internal-sftp[8921]: sent status No such fileMar 24 01:19:51 ip-172-XXX-XXX-XXX internal-sftp[8921]: set "/dat.XXX.aws/data/abcdefg/AIR_TBL_M.zip" modtime 20160323-16:20:05Mar 24 01:19:52 ip-172-XXX-XXX-XXX internal-sftp[8921]: sent status No such fileMar 24 01:19:52 ip-172-XXX-XXX-XXX internal-sftp[8921]: session closed for local user abcdefg from [172.XXX.XXX.XXX]
Mar 24 01:19:52 ip-172-XXX-XXX-XXX internal-sftp[8926]: session opened for local user abcdefg from [172.XXX.XXX.XXX]Mar 24 01:19:52 ip-172-XXX-XXX-XXX internal-sftp[8926]: open "/dat.XXX.aws/data/abcdefg/AIR_TBL_M.zip" flags WRITE,CREATE,TRUNCATE mode 0666Mar 24 01:19:53 ip-172-XXX-XXX-XXX internal-sftp[8926]: close "/dat.XXX.aws/data/abcdefg/AIR_TBL_M.zip" bytes read 0 written 172Mar 24 01:19:53 ip-172-XXX-XXX-XXX internal-sftp[8926]: set "/dat.XXX.aws/data/abcdefg/AIR_TBL_M.zip" modtime 20160323-16:20:05Mar 24 01:19:53 ip-172-XXX-XXX-XXX internal-sftp[8926]: open "/dat.XXX.aws/data/abcdefg/CAMP_TBL_M.zip" flags WRITE,CREATE,TRUNCATE mode 0666Mar 24 01:19:53 ip-172-XXX-XXX-XXX internal-sftp[8926]: close "/dat.XXX.aws/data/abcdefg/CAMP_TBL_M.zip" bytes read 0 written 174Mar 24 01:19:54 ip-172-XXX-XXX-XXX internal-sftp[8926]: sent status No such fileMar 24 01:19:54 ip-172-XXX-XXX-XXX internal-sftp[8926]: set "/dat.XXX.aws/data/abcdefg/CAMP_TBL_M.zip" modtime 20160323-16:20:06Mar 24 01:19:54 ip-172-XXX-XXX-XXX internal-sftp[8926]: sent status No such fileMar 24 01:19:54 ip-172-XXX-XXX-XXX internal-sftp[8926]: session closed for local user abcdefg from [172.XXX.XXX.XXX]
とりいそぎリトライ処理
入れてみたけど
こんなに失敗するモノだっけ?
そろそろ見直しの時期が来たようです
endpoints bucket Amazon Redshift
こんなかんじ?
SFTP Server
1. EC2 インスタンスに IAM Role を付与
2. lsyncd or inotify を起動3. SFTP アップロード先は EBS にす
る4. lsyncd or inotify がファイル
アップロードを検知5. aws s3 cp コマンド実行
Anything else?