1

DEEP LEARNING JP[DL Papers]

http://deeplearning.jp/

Is Generator Conditioning Causally Related to GANPerformance?

Jun Hozumi, Matsuo Lab

書誌情報• AUTHORS: Augustus Odena, Jacob Buckman, Catherine Olsson,Tom B. Brown, Christopher Olah, Colin Raffel and Ian Goodfellow– Google Brain

• Submitted Date: 23 Feb 2018 (on arXiv)

• 注: 要点を軽めに説明します– 論文中でも理論に深入りしていない– ここでリーマン幾何学とか説明しきれない

2

概要• Penningtonらは、ヤコビアンの特異値の分布全体を制御することが、深層学習の設計に重要であることを示唆した– Pennington, Jeffrey, Samuel Schoenholz, and Surya Ganguli."Resurrecting the sigmoid in deep learning through dynamical isometry:theory and practice." in NIPS 2017.

• そこで、GANのGeneretorのヤコビアン特異値分布を調べてみた– 訓練の初期で悪条件(ill-conditioned)になっていた– 評価指標であるInception ScoreやFIDと強い相関があった

• Generatorのヤコビアン正規化技術として「Jacobian Clamping」を提案– 平均Inception Scoreや平均FIDが改善された– これらの分散も防げた

3

前書き• GANの訓練手法の理論や技術について、これまでに数多く研究されている

– その多くは確率統計の理論をもとにしている

• 今回は、Generatorの入出力ヤコビアンの二乗特異値を調べてみた– ヤコビアンは訓練開始時に悪条件になるが、条件数が同じ、もしくは減少する「良クラスタ」と条件数が増え続ける「不良クラスタ」になる傾向がある

– ヤコビアンの条件が、GANの品質の評価指標であるInception Score(IS)やFrechet Inception Distance(FID)と強い関係性があり、GANのヤコビアンの条件が良くなると、これらの指標に従った品質も良くなる

– 上記事項を「Jacobian Clamping」という正規化手法を提案し、それをテストすることで上記の因果関係の証拠を示す。この手法によって条件が簡単に制御でき、ISやFIDの平均スコアや分散が改善される

4

ヤコビアンについて(1)• Generatorをマッピングと見る

• どのzにもGeneratorのヤコビアンJzがある• ここではJzの二乗特異値の分布を考えたい

• Mz = JzTJzは次元nz*nzで対称な正定値行列で、リーマン計量（計量テンソル）

5

ヤコビアンについて(2)• すべてのzについてMzが分かれば、Gについての興味深い事項が分かる

– Mzが計量テンソルだから

• つまり、ある点zのMzの大きな固有値(λk)に対応する固有ベクトル(vk)は、Z内の非常に小さな「ステップ」をとるとG(z)の大きな変化をもたらす方向を与える

• ただスペクトル全体だと扱いづらいため、要約量であるMzの条件数を見る– 小さいほど良条件で、数値解析に向く

6

Generatorの分析(1) • 潜在空間と画像空間が小さいのでJzはソフト上で明示的に構築できる• 条件数は訓練開始時に急激に増え、その後は2グループに分離

7100000step 0

平均対数条件数(MNIST)

同じモデルで10回施行

Generatorの分析 (2)• 条件数と評価指標には、強い対応関係が見られた

– 紫の線に注目！

8

（生成画像の）分類精度平均対数条件数（前掲） Frechet Inception Distance(FID)

提案: Jacobian Clamping• Jzを直接制御する「Jacobian Clamping」を提案

• （色々試したものの、シンプルなアルゴリズムのほうが効果があった）9

論文中の実験では・λmax=20・λmin=1・ε=1

実験結果• ほとんどの場合に効果があった

– Qの制約に失敗する場合もあるが、そのときはスコアも悪くなる

10

CIFAR10 STL10

FID

平均対数条件数

提案手法の（現状での）限界• WGAN-GPで試してみたが、スコアの改善はできなかった

11

結論• GANのGeneretorのヤコビアン特異値の挙動を調べてみた

– 訓練の初期で悪条件になっていた– 評価指標であるInception ScoreやFIDと強い相関があった

• 「Jacobian Clamping」によってヤコビアンを明示的に制御することで、平均スコアを改善した

• Generatorの条件とモデルの質との因果関係の証拠を示した– これはGANの訓練の挙動を理解するための重要な一歩である

12