l4-hoi quy tuyen tinh

8/18/2019 L4-Hoi Quy Tuyen Tinh

1/12

Học Máy

(IT 4862)

Nguy n Nh t Quang

[email protected]

Tr ườ ng Đại học Bách Khoa Hà Nội

Viện Công nghệ thông tin và truyền thông

Năm học 2011-2012


2/12

ung m n ọc:

Giới thiệu chung

Đánh giá hiệu năng hệ thống học máy

c p ương p p ọc ựa tr n x c su t

Các phương pháp học có giám sát Hồi quy tuyến tính (Linear regression)

Các phương pháp học không giám sát

Lọc cộng tác

2H ọc Máy – IT 4862

ọc ng cư ng


3/12

Hồi quy tuy ến tính – Giớ i thiệu Với một ví dụ đầu vào, dự đoán một giá tr ị đầu ra kiểu số thực

- - - -

khi hàm mục tiêu (cần học) là một hàm tuyến tínhh

==n

w x ∈R

Cần học (xấp xỉ ) một hàm mục tiêu f=i

iinn

1

...

• X: Miền không gian đầu vào (không gian vectơ n chiều – Rn)

• Y: Miền khôn ian đầu ra miền các iá tr ị số thực – R

• f: Hàm mục tiêu cần học (một hàm ánh xạ tuyến tính)

Thực chất, là học một vectơ các tr ọng số: w = (w0, w1, w2, …,wn)



4/12

Hồi quy tuy ến tính – Ví dụHàm tuyến tính f(x) nào phù hợp?

f(x)x f(x)

0.13 -0.91

1.02 -0.17

3.17 1.61

-2.76 -3.31

x

. .

5.28 3.36

-1.74 -2.46

. .

... ...

Ví dụ: f(x) = -1.02 + 0.83x



5/12

Các ví dụ học/kiểm thử Đối với mỗi ví dụ học x=(x1,x2,...,xn), trong đó xi∈R

• Giá tr ị đầu ra mong muốn cx (∈R)

• Giá tr ị đầu ra thực tế (tính bởi hệ thống) ∑+=n

ii x xww y 0

→ wi là đánh giá hiện thời của hệ thống đối với giá tr ị tr ọng số củathuộc tính thứ i

=

→ Giá tr ị đầu ra thực tế yx được mong muốn là (xấp xỉ ) cx

z z1,z2,...,zn

• Cần dự đoán (tính) giá tr ị đầu ra

•



6/12

Hàmđ ánh iá lỗi

Giải thuật học hồi quy tuyến tính cần phải xác định hàmn g

→ Đánh giá mức độ lỗi của hệ thống trong giai đoạn huấn luyện

Định ngh ĩ a hàm lỗi E

• Lỗi của hệ thống đối với mỗi ví dụ học x:

10

2

2

1)(

2

1)( ⎟⎟

⎠

⎞⎜⎜⎝

⎛ −−=−= ∑

=

n

iii x x x xwwc yc x E

• Lỗi của hệ thống đối với toàn bộ tập huấn luyện D:2

02 1

)(1

)( ∑ ∑∑∑ ⎟⎟ ⎞

⎜⎜⎛

−−=−==n

ii x x x xwwc yc x E E 1∈ =∈∈ D i D x D



7/12

Hồi quy tuy ến tính – Giải thuật Việc học hàm mục tiêu f là tương đương với việc học vectơ

tr ọn số w sao cho cực tiểu hóa iá tr ị lỗi huấn lu ện E

→ Phương pháp này có tên gọi là “Least-Square Linear Regression”

Giai đoạn huấn luyện• Khởi tạo vectơ tr ọng số w

• Tính toán giá tr ị lỗi huấn luyện E

•

• Lặp lại, cho đến khi hội tụ về một giá tr ị lỗi nhỏ nhất (cục bộ) E

Giai đoạn dự đoán

Đối với một ví dụ mới z, giá tr ị đầu ra được dự đoán bằng:

∑+=n

ii z ww z f 0 **)(Trong đó w*=(w*0,w*1,..., w*n)

=i 1



8/12

Quy tắc delta Để cập nhật vectơ tr ọng số w theo hướng giúp giảm bớt

• η là tốc độ học (là một hằng số dương)→ Xác định mức độ thay đổi đối với các giá tr ị tr ọng số tại mỗi bước học

• Cập nhật theo từng ví dụ (Instance-to-instance/incremental update):wi ← wi + η(cx-yx)xi

• Cập nhật theo đợt (Batch update):

Các tên gọi khác của quy tắc delta

i D x

x xii x ycww ∑∈

−+← η

• LMS (least mean square) rule

• Adaline rule

-



9/12

LSLR_batch(D, η)

for each thuộc tính f iwi ← giá tr ị (nhỏ) được khởi tạo ngẫu nhiên

for each thuộc tính f idelta_wi ← 0

for each ví dụ học x∈D

Tính toán giá tr ị đầu ra thực tế yxfor each thu c tính f

delta_wi ← delta_wi + η(cx-yx)xifor each thuộc tính f i

wi ← wi + delta_wi

end while

return w



10/12

Cập nh

ật theo

đ ợ t/theo t

ừng ví d

ụ

Giải thuật trên tuân theo chiến lược cập nhật theo đợt

Cập nhật theo đợt (Batch update)

• Tại mỗi bước học, các giá tr ị tr ọng số được cập nhật sau khi t ấ t

- Giá tr ị lỗi được tính tích lũy đối với tất cả các ví dụ học

- Các giá tr ị tr ọng số được cập nhật theo giá tr ị lỗi tích lũy tổng thể

Cập nhật theo từng ví dụ (Instance-to-instance/incremental update)

• ạ m ư c ọc, c c g r r ọng s ược c p n ngay p csau khi mỗi ví d ụ học đượ c đư a vào ( đượ c học bở i) hệ thống

- Giá tr ị lỗi (riêng biệt) được tính cho ví dụ học đưa vào

- Các giá tr ị tr ọng số được cập nhật ngay lập tức theo giá tr ị lỗi này



11/12

LSLR_incremental(D, η)

for each thuộc tính f iwi ← giá tr ị (nhỏ) được khởi tạo ngẫu nhiên

while not CONVERGENCE

for each ví dụ học x∈D

Tính toán iá tr đầu ra th c tế xfor each thuộc tính f i

wi ← wi + η(cx-yx)xiend while

return w



12/12

Cácđ

iều ki

ện k

ết thúc h

ọc

Trong các giải thuật LSLR_batch vàL LR_ ncrementa , qu r n ọc c c c ukiện được chỉ định bởi CONVERGENCE được thỏa mãn

c u n c ọc ư ng ược n ng a ựatrên một số tiêu chí đánh giá hiệu năng hệ thống

• Kết thúc nếu iá tr lỗi nhỏ hơn iá tr n ưỡn

• Kết thúc, nếu giá tr ị lỗi ở một bước học lớn hơn giá tr ị lỗi ở bướchọc tr ước

• c, n u sự c g a c c g r ư c ọc ntiếp nhỏ hơn giá tr ị ngưỡng

• ...


l4-hoi quy tuyen tinh

Documents