20170315 deeplearning from_scratch_ch01

19
Tomomi Research Inc. Ch01. Python (Python入門) 2012/03/13 (Mon) Seong-Hun Choe

Upload: seong-hun-choe

Post on 21-Jan-2018

27 views

Category:

Engineering


1 download

TRANSCRIPT

Page 1: 20170315 deeplearning from_scratch_ch01

Tomomi Research Inc.

Ch01. Python (Python入門)

2012/03/13 (Mon)

Seong-Hun Choe

Page 2: 20170315 deeplearning from_scratch_ch01

Tomomi Research Inc.

関数

2017/9/11

Page 3: 20170315 deeplearning from_scratch_ch01

Tomomi Research Inc.

Class

2017/9/11

class Man:"""サンプルクラス"""

def __init__(self, name):self.name = nameprint("Initilized!")

def hello(self):print("Hello " + self.name + "!")

def goodbye(self):print("Good-bye " + self.name + "!")

m = Man("David")m.hello()m.goodbye()

C:/Users/SChoe672007022/Dropbox/Python/deep-learning-from-scratch-master/ch01/man.pyInitilized!Hello David!Good-bye David!

Process finished with exit code 0

Page 4: 20170315 deeplearning from_scratch_ch01

Tomomi Research Inc.

Perceptron -> Neural Network

2017/9/11

中間層:Hidden Layer

Page 5: 20170315 deeplearning from_scratch_ch01

Tomomi Research Inc.

Review: Perceptron

2017/9/11

Page 6: 20170315 deeplearning from_scratch_ch01

Tomomi Research Inc.

Review: Perceptron : Activate Function

2017/9/11

Page 7: 20170315 deeplearning from_scratch_ch01

Tomomi Research Inc.

Activate Function

活性化関数:閾値を境にして出力が切り替わる関数。

2017/9/11

1. Step Function 2. Sigmoid Function

Page 8: 20170315 deeplearning from_scratch_ch01

Tomomi Research Inc.

Activate Function : New Star

2017/9/11

3. ReLu FunctionReLU : Rectified Linear Unit ダイオードのIV特性の似ているから

Page 9: 20170315 deeplearning from_scratch_ch01

Tomomi Research Inc.

Multiplying the Matrix

2017/9/11

Page 10: 20170315 deeplearning from_scratch_ch01

Tomomi Research Inc.

Neural Network

2017/9/11

[X] [W] [Y]

𝑋 =𝑋1𝑋2

𝑊 =1 3 52 4 6

𝑌 =𝑌1𝑌2𝑌3

[X][W] = [Y]

𝑋1𝑋2

1 3 52 4 6

=𝑌1𝑌2𝑌3

Page 11: 20170315 deeplearning from_scratch_ch01

Tomomi Research Inc.

3 Layer Neural Network

2017/9/11

Input layer (Oth layer)

1st hidden layer (1st layer)

2nd hidden layer (2nd layer)

Output layer (3rd layer)

Page 12: 20170315 deeplearning from_scratch_ch01

Tomomi Research Inc.

3 Layer Neural Network

2017/9/11

Original Adding bias Adding Activate function

Page 13: 20170315 deeplearning from_scratch_ch01

Tomomi Research Inc.

Activate function on output layer

2017/9/11

• 機械学習の問題は、大きく分けて2種類

1. 回帰問題 (Regression )2. 分類問題 (Classfication)

活性化関数σ

回帰問題 恒等関数

分類問題

分類 シグモイド関数

多重分類ソフトマックス

関数

Page 14: 20170315 deeplearning from_scratch_ch01

Tomomi Research Inc.

Activate function on output layer

2017/9/11

活性化関数σ

回帰問題 恒等関数

分類問題

分類 シグモイド関数

多重分類ソフトマックス

関数

回帰問題: 入力データから連続的数値を予測する問題。

例えば、写真に写っている人物の体重(54.7kg)を予測する。

恒等関数

Page 15: 20170315 deeplearning from_scratch_ch01

Tomomi Research Inc.

Activate function on output layer

2017/9/11

活性化関数σ

回帰問題 恒等関数

分類問題

分類 シグモイド関数

多重分類ソフトマックス

関数

ソフトマックス関数

分類問題 : 被測定物がどのクラスに属しているかを判断する問題。

例:写真の動物をみて、その種類を判別する。

猫:95% , 犬:1% , イルカ:0.5% , 虎:3.5%

Page 16: 20170315 deeplearning from_scratch_ch01

Tomomi Research Inc.

Number of neurons at output layer

2017/9/11

In case of reading handwriting numbers.the # of neurons will be 10. (0,1,2,… 9)

Page 17: 20170315 deeplearning from_scratch_ch01

Tomomi Research Inc.

いよいよMNIST

2017/9/11

Handwritten digits :forward propagation in neural network

https://rstudio.github.io/tensorflow/tutorial_mnist_beginners.html* Mixed National Institute of Standards and Technology

database

Page 18: 20170315 deeplearning from_scratch_ch01

Tomomi Research Inc.

Training with Python

2017/9/11

Page 19: 20170315 deeplearning from_scratch_ch01

Tomomi Research Inc.

Summary

1. Activate function at NN : Sigmoid, ReLU function

2. 回帰問題、 分類問題

3. 出力層の活性化関数:回帰問題 恒等関数、 分類問題 ソフトマックス関数

4. 分類問題での、出力層のニューロンの数

5. MNIST実装

2017/9/11