amazon ec2 f1 インスタンス• f1ハードウェアキット (hdk)を使して、...
TRANSCRIPT
© 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Gadi Hutt
Amazon Web Services、EC2 F1向けグローバルビジネス開発担当
脇本 康裕
株式会社ソシオネクスト エンタープライズソリューション事業部
3-H1-3-15
Amazon EC2 F1 インスタンス~カスタムハードウェアアクセラレータを使用した
アプリケーションの高速化~
© 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
アジェンダ
• EC2 F1インスタンスの概要と更新内容
• カスタムHWアクセラレーションの構築方法
• ユースケースとサクセスストーリー
• 株式会社ソシオネクスト: AWS上でのHWアクセラレーションによるAV1ビデオエンコーダーの構築
• 始めましょう
© 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
汎用コンピューティング
最適化ストレージ最適化 メモリ最適化
アクセラレーテッドコンピューティング
M5
T2
C5
C4
H1
I3
X1e
R4
F1
P3
G3
D2
Amazon EC2インスタンスタイプ
© 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AWSにおけるF1 FPGAインスタンスタイプ
§最大8個のXilinx UltraScale+ 16nm VU9P FPGAデバイスを単一のインスタンスで利用可能
§ f1.16xlargeサイズの場合:
§ 8個のFPGAそれぞれに、200万個以上のカスタマーアクセス可能なプログラマブルロジックセルと5000個以上のプログラマブルDSPブロックを搭載
§ 8個のFPGAそれぞれに、4つのDDR-4インターフェイス、さらにそれぞれのインターフェイスが16GiB、72ビット幅のECC保護メモリにアクセス
インスタンス
サイズFPGA FPGAメモリ
(GB) vCPU インスタンス
メモリ (GB)NVMeインスタンス
ストレージ(GB)ネットワーク
帯域幅
f1.2xlarge 1 64 8 122 1 x 470 最大10 Gbps
f1.16xlarge 8 512 64 976 4 x 940 25 Gbps
© 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
FPGAにおける並列処理
FPGAは、ビデオストリームに対するマルチステージ処理、複雑な金融モデルに対する大量の依存/非依存計算の実行など、さまざまなタイプのデータの並列処理において有効である
• FPGAには命令セットは存在しない
• データのビット幅を任意に設定できる(9ビット整数にも対応可能)• 広いメモリバス(512ビット長?)
© 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
FPGAアクセラレーションの仕組み
FPGAは、コンピューティングイ
ンテンシブで、ディープパイプライン化された、ハードウェアアクセラレーション処理を実施
....
....
module filter1 (clock, rst, strm_in, strm_out)module filter1 (clock, rst, strm_in, strm_out)
for (i=0; i<NUMUNITS; i=i+1)for (i=0; i<NUMUNITS; i=i+1)
always@(posedge clock)always@(posedge clock)
integer i,j; //index for loopsinteger i,j; //index for loops
tmp_kernel[j] = k[i*OFFSETX];tmp_kernel[j] = k[i*OFFSETX];
アプリケーション
....
....
....
....
....
....
....
CPUが残りを処理する
© 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
「ディープパイプライン化」とは
シングルコア マルチコア パイプライン
© 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
カスタムロジックとFPGAシェル
AWS FPGA シェル標準的な、事前テスト済みのセキュアなI / Oコンポーネントを提供し、FPGA開発者がその差別化された価値に集中できるようにします
ソフトウェア開発キット (SDK)FPGAの管理と通信に必要なソフトウェアインターフェイスを提供します
ハードウェア開発キット (HDK)必要なFPGAシェルコンポーネントを提供
SDK
HDK
ソフトウェアアプリケーション
https://github.com/aws/aws-fpga
カスタムロジック
AWS FPGA シェル
© 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
カスタムアクセラレーションの開発
FPGA Developer AMI
ユーザのFPGAロジックを記述し、シミュレートするために(HDKと共に)必要となる全てのツール群をあらかじめ統合
Xilinx Vivado (カスタムロジック開発用) Virtual JTAG (インタラクティブなデバッグ用)
© 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Amazon FPGAアクセラレーション
PCIeDDR
コントローラ DDR-4アタッチメモリ
EC2F1
インスタンスの起動とAFIのロード
Amazon Machine Image (AMI)
CPUアプリケーショ
ン
Amazon FPGA Image (AFI)F1インスタンスは任意の
数のAFIを保持できる
AFIはFPGAに数秒でロードできる
© 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Amazon FPGA Image (AFI)の作成と使用暗号化したAFIを生成して、F1上にデプロイ/マーケットプレース上にパブリッシュ
© 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
1.4 シェルのリリースを発表
Ø 改善されたDMAパフォーマンス: 以前のシェルに比べて5倍性能向上
Ø 再構成可能なシェル: AFI再コンパイルなしで将来のシェル機能をアップグレード可能に
Ø ベータ機能: DRAM データの保持機能
Ø ソフトウェア定義開発 (OpenCL):o 最大60個のカーネルをサポート (以前は16個)
o 自動最適化 (未使用リソースの解放)
o RTLカーネルをサポート
o ポストシンセシス(合成)、配置配線の最適化
EC2F1
© 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
リージョンとアベイラビリティゾーンの数AWS GovCloud (2) EU
アイルランド (3)米国西部 フランクフルト (3)オレゴン (3) ロンドン (2)北カリフォルニア (3)
アジア太平洋
米国東部 シンガポール (2)北バージニア (6)、オハイオ (3) シドニー (3)、東京 (3)、
ソウル (2)、ムンバイ (2)カナダ
中部 (2) 中国
北京 (2)南アメリカ
サンパウロ (3)
発表済みリージョンバーレーン、香港、スウェーデン、さらに米国で2番目のAWS GovCloud、さらに12のアベイラビリティゾーンと4つのリージョンの計画を発表
AWS グローバル インフラストラクチャ
F1F1
F1
18のリージョン – 55のアベイラビリティゾーン
F1
© 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
FPGAパートナーとユースケース
F1ユースケースとパートナー
§ 金融計算
§ ゲノミクスシークエンシング
§ エンジニアリングシミュレーション
§ 画像・ビデオ処理
§ ビッグデータ、機械学習
§ セキュリティ、圧縮
§ ...など
© 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
低レイテンシー・高速検索エンジン
ローカルマシン
CAGACCGGGGGGCGGACCCACTGGTTCCGGGGCGGGGCCTTGACCGGGGGCGGAGCCATGGGCGGGGCGGGGCGGGGCCACTGACCACAGGGGGCGGGGTCTCGGGCCCCCGCACATCCCGGGGGCGGAGCCATGGGGCGGGTCCACTGGCCCCGGGGGTGGGGTCTCGGGCTTGGGGGCGGCCCCACGGGGCTGGGGCGGGGCCACTGGCCACAGGGGCGGGGTCACGGCTTCGGGGCGGGGCCACAGACCGGGGGCAGAGCCATGGGCGGGGGGCACG
DNA配列
Cin/Q Thr/T Gly/G Gly/G Arg/R Thr/T His/HTrp/W Phe/F Arg/R Gly/G Gly/G Ala/A Leu/LThr/T Gly/G Gly/G Gly/G Ala/A Met/M Gly/GGly/G Ala/A Gly/G Arg/R Gly/G His/H STOPPro/P Cin/Q Gly/G Ala/A Gly/G Ser/S Arg/RAla/A Pro/P Ala/A His/H Pro/P Gly/G Gly/GGly/G Ala/A Met/M Gly/G Arg/R Val/V His/HTrp/W Pro/P Arg/R Gly/G Trp/W Gly/G Leu/LGly/G Leu/L Gly/G Gly/G Gly/G Pro/P Thr/T
アミノ酸配列
• 次世代連想記憶メモリ(CAM)のFPGA実装ソリューション• DNA配列からアミノ酸配列への変換を300倍高速化• Wikipediaの全アーカイブ(60GB)を2,500の異なるエントリで検索すると、CPUインスタンスでは
16日要するが、FPGAインスタンスではわずか6分で実現
© 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
FPGAパートナーとAWSユーザーの結び付け
(AWS F1)
© 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
大規模なプレシジョンメディシン(精密医療)の促進
Children’s Hospital of PhiladelphiaとEdico Genome社、最速で1,000件のゲノム解析を達成
2017年10月19日、フィラデルフィア州オーランド – Children’s Hospital ofPhiladelphia (CHOP)とEdico Genome社は本日、プレシジョンメディシンを臨床診療の主流にすることを目的として、ヒトゲノム(人間の全遺伝情報)を研究利用可能なデータファイルに高速変換する処理において、科学界の新たな基準を打ち立てた。Amazon Web Services(AWS)クラウドの1,000個のAmazon EC2F1インスタンス上にデプロイされた、Edico Genome社のDRAGENTM GenomePipelineを利用することで、1,000件の小児ゲノムが2時間25分以内に処理された。
© 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AWS F1での高性能な画像処理
CIP (CTAccel Image Processor): F1イメージアクセラレーター
アプリケーション
JPEGサムネール シャープ加工
ウォーターマーク
明るさ - コントラストメインカラー
JPEGデコード
Ø 2016年、香港と深セン市で設立
Ø メインスタッフの出身校は、CUHK、HKUST、
FDU、CASなど
Ø FPGAによるデータセンターのアクセラレーション
コンピューティング技術に注力
Ø コア技術は米国特許取得済み
Ø 2016年、香港と深セン市で設立
Ø メインスタッフの出身校は、CUHK、HKUST、
FDU、CASなど
Ø FPGAによるデータセンターのアクセラレーション
コンピューティング技術に注力
Ø コア技術は米国特許取得済み
AWSFP1 CIP
JPEG 2 Lepton リサイズ
エンドユーザー携帯電話/PAD カメラ PC
アプリケーションクラウドアルバム ソーシャルネットワーク ニュース...
...
JPEG 2 Webp
遅延の削減遅延の削減10x 10x同時処理の向上
28.1
279
Latency/ms567
57.0
QPS
CIPのハイライト
テスト画像ライブラリ:(1) 総画像数: 10000、(2) 解像度: 4096 x 2160、(3)総サイズ: 8.3GB
© 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
FPGAアクセラレーションを適用したRyftクラウド上とCPU上でのElasticsearchのベンチマーク比較
Ryft社の解析エンジンがビッグデータ解析を91倍高速化
20
21Copyright 2018
Amazon EC2 F1インスタンスカスタムハードウェアアクセラレータを使⽤したアプリケーションの⾼速化
株式会社ソシオネクストエンタープライズソリューション事業部 脇本 康裕
2018年 6⽉ 1⽇
22Copyright 2018
富⼠通
システムLSI事業
パナソニック
システムLSI事業
富⼠通とパナソニックのシステムLSI事業を統合し、2015年3⽉1⽇から事業開始
ソシオネクストの成り⽴ち
23Copyright 2018
ソシオネクストのコア技術
24
ビデオCODECとは
Copyright 2018
CODEC = エンコード + デコードエンコード︓伝送や記録のために、画像・⾳声データを⼩さく圧縮デコード ︓圧縮されたデータを元の画像・⾳声データに戻す
元の画像→エンコード デコード→元の画像
Professional
users
圧縮されたデータ
100G,400G,・・・
25
何をやったか
Copyright 2018
HostCPU
FPGA
n 最先端規格(AV1)のエンコーダ実装2018/3/28 正式規格リリース2018/4/9-12 NAB2018でデモ展⽰
n 超短期開発2018/2/5 開発開始(アカウント登録)2018/3/16 システム動作確認完了
n CPUとFPGAで処理を進めるハイブリッド構成エンコーダ=映像を調べる+ビットを組⽴+全体制御
開発環境サンプル
処理が単純並列処理
処理に柔軟性必要逐次処理
FPGA CPU
26
AV1 エンコードデモ
Copyright 2018
XeonProcessor
XILINXFPGA
HardwareAcceleratorReference
Encoder
XeonProcessor
ReferenceEncoder
+
CPU処
理時間
約1/10に
アクセラレータによるCPU処理量削減効果
プロトタイプデモ展⽰(2018/4/9-12 NAB2018)
27
F1インスタンスの感想、意⾒
Copyright 2018
n これまでFPGAを使うには、先ずボード の購⼊ or 開発が必要
n いつでも
→先ず購⼊⼿続、納品、設置、設定、そして使ってみる
→決めたその⽇に使ってみる
n 誰でも・どこからでも
→専⾨家が、実験室で利⽤
→IDあればInternetのつながるどこからでも利⽤
決めた2/5に開発開始︕
開発︓京都企画︓横浜
デモ︓ラスベガス
28
F1インスタンスの感想、意⾒ 〜 ソシオネクストの挑戦
Copyright 2018
n 挑戦1︓半導体の新ビジネスモデル
→半導体ユーザが使いたいのはSiliconとは限らないCODECという機能を提供するモデル
n 挑戦2︓SaaS with FPGA
→SaaSで利⽤されるアプリをFPGAで加速定番アプリの加速モデル
© 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
FPGAパートナーソリューションの提供
Amazon EC2 FPGAMarketplaceからのデプロイメント
CPUアプリケーショ
ン
カスタマー
Amazon Machine Image (AMI)Amazon FPGA Image (AFI)AFIはセキュリティ保護、暗号化が施されて、FPGAに動的にロードされる –
コピーやダウンロードは不可能
© 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AWS Marketplaceクラウド環境でのソフトウェアの検索、入手、デプロイ、管理
© 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
さあ、始めましょう
© 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
F1インスタンスを使用する3つの方法
ハードウェア開発者1
• F1ハードウェア開発キット(HDK)を使用して、VerilogおよびVHDLでカスタムFPGAアクセラレーションを開発しデプロイする
ソフトウェア開発者2
• OpenCLを使用して、C/C++コードからカスタムアクセラレーションを構築する
AWSユーザー3
• AWS Marketplaceで入手可能なすぐに使える構築済みのアクセラレーションを使用する
© 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
https://github.com/awslabs/aws-fpga-app-notes/tree/master/reInvent17_Developer_Workshop
§ AWS F1 C/C++による実践体験
§ FPGAアクセラレーションアプリケーションの開発方法の学習
§ カスタムFFMPEGアクセラレーターの作成 (2時間未満)
F1 C/C++チュートリアル
© 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
80以上の OpenCL レファレンス例
アクセラレーション: 計算ユニットのFPGAへのオフロード事例
• ベクトル量子化
• 行列乗算
• 最近傍探索
• 擬似乱数生成器
セキュリティ: 暗号化とデータセキュリティにおける事例
• SHA-1
• RSA 復号化
• AES-128 ECB 暗号化
ビジョン: イメージ及びビデオ処理事例
https://github.com/aws/aws-fpga/tree/master/SDAccel/examples
© 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
モンテカルロファイナンシャルモデル POC
https://github.com/KitAway/FinancialModels_AmazonF1ブラック–ショールズモデル, ~543倍高速化 (ヨーロピアン・オプション)Hestonモデル, ~148倍高速化 (ヨーロピアン・オプション)
Model OptionN. randomnumbergenerators
N.simulations
N.simulationgroups
N. stepsTime C5CPU [s]
Time F1FPGA [s]
LUT LUTMem REG BRAM DSP
Black-Scholes
Europeanoption 64 512 1024 1 125 0.23 31% 2% 15% 26% 43%
Black-Scholes
Asianoption 64 512 65536 256 376 0.83 31% 2% 16% 26% 43%
Heston Europeanoption 32 512 512 256 226 1.52 18% 2% 9% 11% 26%
HestonEuropeanbarrieroption
32 512 512 256 32 0.75 18% 2% 9% 11% 26%
© 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
ファイル圧縮例
https://github.com/Xilinx/Applications/tree/master/GZip1.7倍の圧縮率、20%のFPGA使用率で1.92 GB/s の速度を実現
© 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
画像圧縮例
https://github.com/Xilinx/Applications/tree/master/webp6%のFPGA使用率で14倍の高速化を実現
Pictures Texture complexity Width (pix) Height (pix) -q BottleneckBottleneck latency(ms)
Freq (MHz)Throughput CPUAWS C5 (MB/s)
Speed up
3840-city.png complex 3840 2160 80 kernel-2 87.93 250 18.46 7.67
1920x1080x4.png simple 3840 2160 80 kernel-1 74.96 250 16.17 10.34
1920x1080.png simple 1920 1080 80 kernel-1 18.60 250 11.85 14.22
853x640.png simple 853 640 80 kernel-1 74.96 250 20.97 7.92
lena_c_512.png middle 512 512 80 kernel-1 2.84 250 21.32 6.50
© 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
ML アクセラレーションスイート
https://github.com/Xilinx/ML-Suite/
© 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Amazon EC2 F1インスタンス入門ワークショップ
概要
FPGAを搭載したAWSの仮想サーバ "F1インスタンス"について、基礎知識と操作について学んで頂くためのワークショップです。AWSの基本的な操作から、FPGAによるアクセラレーション、SDAccelによる開発環境を、実際に触れて体験頂けます。
日時 2018年7月2日(月) 13:30-17:30 (13:00開場)
開催場所 アマゾン ウェブ サービス ジャパン株式会社 目黒アルコタワー14 階
対象者 クラウド上でFPGAを用いてアクセラレーションしたい人、AWS初心者、FPGA初心者も歓迎です
参加費 無料
定員 25名 (先着順)
主催 ザイリンクス株式会社・アマゾン ウェブ サービス ジャパン株式会社
https://connpass.com/event/89928/
© 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
ありがとうございました