يدﺮﺑرﺎﮐ ﯽﻄﺧ ﺮﺒﺟ دﺮﻔﻨﻣ ﺮﯾدﺎﻘﻣ...

عباداللهیدکتر :مدرس

1397 -کنترلگروه

جبر خطی کاربردي

تجزیه مقادیر منفرد: 13درس

کاربردهاي تجزیه مقادیر منفرد

)fundamental subspaces(آوردن چهار زیر فضاي اصلی ماتریس به دست-

ماتریس ها نرممحاسبه -

حل مسئله حداقل مربعات در حالت کلی ك) pseudo inverse(محاسبه شبکه معکوس -

داده هاکاهش نویز و فشرده سازي كتقریب ماتریس با یک ماتریس رتبه پایین --

T TR( A),N( A),R( A ),N( A )

استفاده از تجزیه مقادیر منفرد در حل مسئله حداقل مربعات

دستگاه معادلات ناسازگار زیر را در نظر بگیرید ،

.به طوري که حداقل گرددحل مسئله حداقل مربعات و محاسبه -

اگر رتبه ماتریس کامل باشد ،

تجزیه چالسکی– QRتجزیه –حل معادلات نرمال

باشد ، ill conditionو یا ماتریس کامل نباشد ، اگر رتبه ماتریس

)SVD(تجزیه مقادیر منفرد

m n n 1 m 1A x b

xAx b

m nA rank( A) n

rank( A) k m nA TA A

) Pseudo-Inverse(خواص ماتریس شبه معکوس

ماتریس شبه معکوس شرایط زیر را دارد ،-

1- 2-

3- 4-

. می نامند) Moore-Penrose Conditions(پنرس -این چهار شرط را شرایط مور

برخی از خواص ماتریس شبه معکوس به صورت زیر است ، -

.است به فردبراي ماتریس شبه معکوس منحصر -1

2-

3-

. و متقارن هستند ماتریس هاي و و -4

#A

#AA A A# # #A AA A

# T #(AA ) AA# T #(A A) A A

m nA #n mA

T # # T # #(A ) ( A ) ,( A ) A

# T # T T T #A (A A) A A (AA )

#I AA#I A A#AA#A A

)Pseudo-inverse(محاسبه شبه معکوس یک ماتریس محاسبه معکوس یک ماتریس ،-

،

محاسبه شبه معکوس یک ماتریس ،-

,

.جواب مسئله حداقل مربعات خواهد بود در این صورت -

.اگر ماتریس رتبه کامل داشته باشد ، معکوس چپ است -

.اگر ماتریس رتبه کامل داشته باشد ، است -

if fulln nA rank 1 T 1 1 TA (U V ) V U 1

1 2 n

1 1 1diag( , ,..., )

# # Tm n n mA A V U

#n m

1 2 k

1 1 1diag( , ,..., ,0,...,0 ) 1 2 k... 0

#x A b

m nA # T 1 TA (A A) A

n nA # 1A A

1مثال یک شبه معکوس بیابید و نشان دهید یک ماتریس متقارن Aبا استفاده از روش تجزیه مقادیر منفرد ، براي ماتریس

.است

به صورت زیر می باشد ، Aتجزیه مقادیر منفرد ماتریس

، می آینداست ، بنابر این و به صورت زیر به دست rank(A)=2لذا

#AA

1 0 1 2

A 1 2 1 0

0 1 1 1

T0 0.5774 0.1066 0.8095

0.5774 0.7071 0.4082 3 0 0 00.5774 0.5774 0.3515 0.4581

A 0.5774 0.7071 0.4082 0 2.4495 0 00.5774 0 0.8095 0.1066

0.5774 0 0.8165 0 0 0 00.5774 0.5774 0.4581 0.3515

##A

حال می توان نشان داد که یک ماتریس متقارن است ،

# # # T

0.3333 0 0 0.1667 0.1667 0

0 0.4082 0 0.0556 0.2778 0.1111A V U

0 0 0 0.1111 0.1111 0.1111

0 0 0 0.2778 0.0556 0.1111

#AA

#

0.1667 0.1667 01 0 1 2 0.8333 0.1667 0.3333

0.0556 0.2778 0.1111AA 1 2 1 0 0.1667 0.8333 0.3333

0.1111 0.1111 0.11110 1 1 1 0.3333 0.3333 0.3333

0.2778 0.0556 0.1111

.براي محاسبه شبه معکوس در نرم افزار متلب وجود دارد pinv(A)دستور -

.مشخص است که پاسخ به دست آمده با جوال مسئله حل شده یکسان است

2مثال دستگاه معادلات زیر را در نظر بگیرید ،

به دستفرد ابتدا سازگار یا ناسازگار بودن دستگاه را بررسی نمایید ، سپس جواب حداقل مربعات را با استفاده از تجزیه مقادیر من.آورید و نرم خطا را بررسی کنید

.می نماییمابتدا سازگار یا ناسازگار بودن سیستم را بررسی -

و است ، لذا سیستم ناسازگار است و باید جواب حداقل مربعات را براي آن rank(A)=2از آنجاییکه .آورد به دست

جواب حداقل مربعات را با استفاده از معادله نرمال نمی تواننقص رتبه دارد Aاز آن جایی که ماتریس -آورد ، لذا در چنین واقعی از ماتریس شبه معکوس و تجزیه مقادیر منفرد براي حل به دست به صورت

.می نماییممسئله حداقل مربعات استفاده

1 0 1 1

Ax b 1 2 1 x 1

0 1 1 1

rank( A| b ) 3

T 1 Tx ( A A) A b

، می باشدبه صورت زیر Aتجزیه مقادیر منفرد ماتریس -

، می آوریم به دستحال ماتریس شبه معکوس را

، می آید به دستلذا جواب حداقل مربعات به صورت زیر

واقعی که حل مسئله حداقل مربعات با استفاده از تجزیه مقادیر منفرد روشی با محاسبات بالا ولی پایداري بسیار خوب است و در م.است ، کارایی خوبی دارد ill conditionنقص رتبه دارد یا ماتریس Aماتریس

TA U V T

0.0849 0.9089 0.4082 2.7651 0 0 0.2852 0.7651 0.5774

A 0.8736 0.2650 0.4082 0 1.5344 0 0.8052 0.1355 0.5774

0.4792 0.3220 0.8165 0 0 0 0.5199 0.6295 0.5774

# # TA V U

# #

1 / 2.7651 0 0 0.4444 0.2222 0.1111

0 1 / 5344 0 A 0.0556 0.2778 0.1111

0 0 0 0.3889 0.6295 0.5774

#

0.5556

ˆ ˆx A b x 0.4444

0.1111

TA A

اگر تعریف شود ، چرا پاسخ مسئله حداقل مربعات براي دستگاه معادلات ناسازگار: سوالخواهد بود ؟

به دلیل ناسازگار بودن سیستم ، لذا به دنبال بردار . دستگاه معادلات ناسازگار را در نظر بگیریدکه در این صورت با حل دستگاه .باشد ، بطوریکه حداقل گردد bهستیم تا بهترین تخمین براي بردار

لی با توجه به درس هاي قب. می آید به دستمعادلات سازگار مقدار که همان پاسخ مسئله حداقل مربعات است را مثال دستگاه معادلات ناسازگار به طور. است R(A)تصویر متعامد آن بر فضاي bبهترین تخمین براي بردار می دانیم

، می آید به دستدر نظر بگیرید ، بردار به صورت زیر

آوریم ، رابه دست Aحال اگر تجزیه مقادیر منفرد ماتریس .هستند R(A)متعامد زیرفضاي پایه هايکه در

به صورت زیر بیان کرد، می توانهستند ، لذا بردار را R(A)زیر فضاي یکا متعامد پایه هاي بردارهاي

# # TA V U #x A bAx b

Ax bb R(A)

b R(A)b bˆAx bx

4 3A x b b

b 31 2R( A) 1 2 3

1 2 3

w ,bw ,b w ,bˆproj b w w ww w w

1 2 3w ,w ,w

T11

T T T T T1 2 3 4 2 2 1 1 1 2 2 2 3 3 3

T3 3

V0 0 0

A U V u u u u 0 0 0 V u v u v u v

0 0 0 V

1 2 3u ,u ,ub

T T T1 1 2 2 3 3 1 1 2 2 3 3b u ,b u u ,b u u ,b u ( u b )u ( u b )u ( u b )u

داریم ، Aاز طرفی با توجه به تجزیه مقادیر منفرد ماتریس

، می آید به دستحال با جایگذاري در بردار عبارت زیر

، می آید به دستلذا مقدار که همان پاسخ مسئله حداقل مربعات است به صورت زیر

Ti i i i i

i

1A u v Av u

b

T TT T T T3 31 2 1 2

1 2 3 1 2 31 2 3 1 2 3

( u b ) ( u b )( u b ) ( u b ) ( u b ) ( u b )ˆ ˆb Av Av Av A v v v Ax

x

TT TT T T31 2

1 2 3 1 1 2 2 3 31 2 3 1 2 3

(u b)(u b) (u b) 1 1 1x v v v v u b v u b v u b

T11

T T T T #1 1 2 2 3 3 1 2 3 1

1 2 3 2 T3

3

10 0

u1 1 1 1

( v u v u v u )b v v v 0 0 u b A b

u1

0 0

زیرا طبق تعریف شبه معکوس داشتیم ،

.لذا همان پاسخ مسئله حداقل مربعات خواهد بود

T11

T1# T # T T T

21 2 3 1 1 2 2 3 3T1 2 33

T43

10 0

u1

0 0 u 1 1 1A V U v v v v u v u v u

u1

0 0u

0 0 0

#x A b

پایین ترتقریب یک ماتریس با یک ماتریس رتبه

Low rank matrix approximationبه صورت زیر باشد ، Aتجزیه مقادیر منفرد ماتریس -

.است ، به طوریکه حداقل گردد با رتبه Bمسئله یافتن ماتریسی مانند -

کاربرد در کاهش نویز-)Data Compression(کاربرد در فشرده سازي داده ها -

r

1T1

1 2 T2

0

0 VA U U ,

0 V

0 0

rank (A) r

k rA B

، می کنیمرا به صورت زیر بیان Aتجزیه مقادیر منفرد ماتریس -

اشته باشند لذا اگر مقادیر منفرد به بعد مقدار کوچکی د. تقریب بزنیم پایین تررا با یک ماتریس رتبه Aماتریس می خواهیم.نمود صرف نظراز آن ها می توانندارند و Aجملات نقش چندانی در ایجاد ماتریس

1

kT1ak 1

T1a 1b 2 1b

Tr2

T T T T1 1 1 k k k k 1 k 1 k 1 r r r

0

0 0

0

V0

A U U U 0 0 ,V

0 V0 0 0

A u v ... u v u v ... u v

TA U V rank (A) r

T Tk 1 k 1 k 1 r r ru v ... u v

k 1

را بصورت زیر انتخاب نماییم جواب مسئله خواهد بود ، Bحال اگر ماتریس -

1T1a

T1a 1b 2 r 1b

T2

T T1 1 1 k k k

0

V0 0

B U U U ,0 V

0 0 0 V0 0 0

B u v ... u v

rank (B) r

T T TA B A B k 1A B U V U V U ( )V A B

3مثال .آن را با دقت خوبی به صورت یک ماتریس رتبه دو تقریب زد می توانچهار است و لیکن Aرتبه ماتریس

استفاده از تقریب رتبه پایین ماتریس ها در کاهش نویز

سیگنال زیر را در نظر بگیرید ، -

اگر سیگنال بنا به دلایلی نویزي گردد ،-

.با استفاده از تجزیه مقادیر منفرد و کاهش رتبه ماتریس نویز موجود را کم کرد می توان-

، می کنیمو آن را به صورت یک ماتریس بیان می نماییمابتدا از سیگنال نویزي مربوطه با نرخ مناسب نمونه برداري -

.بیان شده است 40×5 ماتریسداده حاصل از نمونه برداري به صورت یک 200در این مسئله

و با توجه به مقادیر منفرد موجود یک تقریب با رتبه کمتر براي می آوریمرا به دست Aسپس تجزیه مقادیر منفرد ماتریس -. می کنیممحاسبه Aماتریس

.در این مسئله مقادیر منفرد به صورت زیر است و یک تقریب رتبه یک در نظر گرفته شده است

1 m 1 2m 1

2 m 1 2m 21 2 3 r m n

m 2m 3m

x x x ...

x x x ...X x x x ... x A

x x x ...

1 2 3 4 516.0649, 1.0639, 0.9626, 0.7768, 0.7289

، می یابدبا تقریب رتبه یک نویز سیگنال به صورت زیر کاهش -

.گردند در واقع نویز سبب می شود تا مقادیر منفرد بسیار کوچک یا صفر یک ماتریس افزایش پیدا کنند و به نوعی غالب-

در این مسئله مقادیر منفرد سیگنال بدون نویز به صورت زیر است ،

مقادیر منفرد سیگنال نویزي را هم داریم ،

، می بریمدر واقع با کاهش رتبه ماتریس اثر آن دسته از مقادیر منفرد را که توسط نویز غالب تر گشته اند را از بین -

1 2 3 4 516.0649, 0, 0, 0, 0

1 2 3 4 516.0649, 1.0639, 0.9626 , 0.7768, 0.7289

را به دست آوردیم این بار نرخ Aدر حالت بعدي فرکانس نویز را افزایش دادیم و دوباره نمونه برداري کرده ماتریس -نمونه برداري را بالاتر انتخاب کردیم ،

.بیان شده است 40×25 ماتریسداده حاصل از نمونه برداري به صورت یک 1000در این مسئله تا مقدار منفرد داریم ، 25لذا

با تقریب رتبه یک نویز سیگنال کاهش می یابد ولی شکل سیگنال کمی تخریب شده است ،-

با تقریب رتبه دو نویز سیگنال کاهش یافته و شکل سیگنال نیز بهتر است ،-

.دارد هم بستگیلذا اینکه رتبه ماتریس را تا چه حدي کاهش دهیم به کیفیت مورد انتظار از سیگنال -

نیز استفاده می شود ،) weighting( در برخی موارد براي کاهش اثر مقادیر منفرد ناخواسته از وزن دهی -

. در مسئله وارد شده است 0.5در این مسئله یک تقریب رتبه دو از ماتریس در نظر گرفته شده است لیکن اندازه با وزن -زیر است ، به صورتجواب

2

کاربرد در شناسایی یک سیستم حرارتی آزمایشگاهیدر نظر گرفته شده 5×80 ماتریسپاسخ پله سیستم حرارتی براي پله مورد نظر به صورت زیر است، داده هاي ورودي به صورت یک

و مقادیر منفرد آن به صورت زیر است ،

.در اینجا از تقریب رتبه یک استفاده شده است

1 2 3 4 589.1145, 0.5418, 0.5069, 0.4875, 0.3941

.با استفاده از روش حداقل مربعات یک مدل مرتبه سوم براي این سیستم تقریب زد می توانحال

2 6 3y 3.2410 0.0732t 0.0012t 7 10 t

)Data Compression(کاربرد تقریب رتبه پایین ماتریس ها در فشرده سازي داده ها به صورت یک تصویر رنگی ذخیره نمود ، می تواندر نرم افزار متلب هر بردار یا ماتریس را -آورد ، به دست متلببا دستور زیر می توان یک طیف رنگی در نرم افزار -

ویر ابعاد ، که با توجه به نوع ، سیاه و سفید یا رنگی بودن تص می گرددهر تصویر در کامپیوتر به صورت یک ماتریس ذخیره -.و عناصر این ماتریس متفاوت است

تصویر زیر را در نظر بگیرید ، -

، می گردداین تصویر توسط ماتریس زیر ذخیره -

rank(A)=4، می باشدرتبه این ماتریس کامل -

A rand( 4,5 )

image(100* A)

، می آوریمابتدا تجزیه مقادیر منفرد این ماتریس را به دست -

را کاهش داد ؟ Aبا صرف نظر کردن از برخی مقادیر منفرد رتبه ماتریس می توانحال آیا -

تصاویر حاصل از ماتریس هاي به صورت زیر است ،-

Aر براي ماتریس لذا فقط با استفاده از سه مقدار منفرد این شکل قابل بازسازي است و ماتریس بهترین تقریب با رتبه کمت-. می باشد

1 2 3A ,A ,A

3A

به صورت زیر است ، 15× 20براي یک ماتریس -

مقادیر منفرد حاصل از این ماتریس به صورت زیر هستند ،-

در شکل هاي زیر تصاویر با در نظر گرفتن مقادیر منفرد مختلف نشان داده شده است ،

.د لذا تنها با استفاده از یازده تا از مقادیر منفرد به راحتی می توان تصویر اصلی را به طرز قابل قبولی بازسازي کر-

تصویر با مقادیر منفرد تصویر اصلی

.به عنوان یک نمونه از یک تصویر واقعی به مثال زیر توجه نمایید -

مقدار منفرد است که بزرگترین آن 362ذخیره می شود و لذا داراي 362×500 ماتریساین تصویر توسط یک -

. می باشدو کوچکترین آن ها

1 150.2370

362 0.1005

در شکل هاي زیر تصاویر با در نظر گرفتن مقادیر منفرد مختلف نشان داده شده است ،-

ازسازي تا از مقادیر منفرد به راحتی می توان تصویر اصلی را به طرز قابل قبولی ب 150لذا مشاهده می شود که تنها با استفاده از -.کرد، البته این بستگی به کیفیت تصویر مورد نظر دارد