Dogrusal Denklem Sistemleri icin Yeni Bir Yontem ve Kanal EsitlemeyeUygulanması

A Novel Technique for a Linear System of Equations Applied to ChannelEqualization

Mert Pilancı1, Orhan Arıkan1, Barlas Oguz2, Mustafa C. Pınar3

1 Elektrik Elektronik Muhendisligi Bolumu Bilkent Universitesi, Ankara2 Elektrik Muhendisligi ve Bilgisayar Bilimleri California Universitesi, Berkeley, ABD

3 Endustri Muhendisligi Bolumu Bilkent Universitesi, Ankara{pilanci,oarikan}@ee.bilkent.edu.tr

OzetceSinyal islemede bir cok ters problem dogrusal denklem sis-temlerine donusmektedir. Olcum vektorundeki hataların yanısıra katsayı matrisinin de hata icermesi sayısal olarak kararlıve isabetli bir cozum uretmeyi zorlastırmaktadır. Bu bildiridedenklem sisteminin problemden kaynaklanan ozel yapısını(Toeplitz, Hankel, vs.) ve sistemdeki olası belirsizlikleri dikkatealan gurbuz bir cozum yontemi onerilmekte ve sayısal biralgoritma sunulmaktadır. Onerilen yontem ve bilinen digeryontemler iletisimde temel bir gereksinim olan kanal esitlemeyeuygulanmıs ve basarım artısı sayısal orneklerle gosterilmistir.

AbstractIn many inverse problems of signal processing the problem re-duces to a linear system of equations. Accurate and robust es-timation of the solution with errors in both measurement vec-tor and coefficient matrix is a challenging task. In this papera novel formulation is proposed which takes into account thestructure (e.g. Toeplitz, Hankel) and uncertainties of the sys-tem. A numerical algorithm is provided to obtain the solution.The proposed technique and other methods are compared in achannel equalization example which is a fundamental necessityin communication.

1. GirisSinyal islemenin frekans kestirimi, gozu kapalı ters evrisim vesistem tanımlama gibi bir cok probleminde olcum degerleriniiceren vektor y ve kestirilmek istenen parametre vektoru x

Ax = y, A ∈ Rm×n, x ∈ Rn, y ∈ Rm

gibi bir dogrusal bir modelle gosterilebilir. Bilinmeyen parame-tre x in kestirimi x icin bilinen bir cok yontem bulunmak-tadır. x birinci ve ikinci derece istatistikleri bilinen bir rastgeledegisken ve A matrisi gurultusuz olarak bilinmekte ise Wienersuzgeci parametre kestirim hata karelerinin beklenen degeriolan E[||x− x||22]’yi butun dogrusal kestirimciler uzerindenminimize eder. x parametrisiyle ilgili istatistik bulunmamaktaveya modeli tanımlayan A matrisi gurultu ya da belirsizlik

iceriyorsa, x deterministik ve bilinmeyen bir parametre kabuledilerek cesitli En Kucuk Kareler (Least Squares) yontemlerisıklıkla uygulanır.Olcum sayısının bilinmeyen sayısından fazla oldugu durumda(m > n) bu denklem sistemi olcum hataları nedeniylegenelde tutarsızdır ve A matrisi tam olarak biliniyorsa basit EnKucuk Kareler yontemiyle dogrusal modele en iyi uyan cozumeulasılabilir. Fakat cogu uygulamada A matrisinin eleman-larında gurultu ya da parametrik bir belirsizlik vardır. Bu du-rumda Toplam En Kucuk Kareler yontemi (Total Least Squares)A ve y de bulunan hataları birlikte degerlendirip modele eniyi uyan x’i bularak daha isabetli bir cozume ulasır fakat dahasonra ilgili bolumde gosterilecegi gibi cozumun gurultuye has-saslıgı artar [2].Sinyal islemede bir cok uygulamada A matrisinin problemindogasından gelen bir yapısı vardır. Ornegin evrisim isleviyapan Toeplitz A matrisinin kosegenleri aynı degere sahip-tir. Matristeki gurultu ve belirsizlik de bu yapıya uymakzorunda oldugundan Toplam En Kucuk Kareler yontemi gozukapalı ters evrisim ve sistem tanımlama gibi problemlere uygu-landıgında matristeki bu yapıyı dikkate almadıgından basarımoranı dusuktur. Bu sekildeki matrisler icin Yapısal ToplamEn Kucuk Kareler (Structured Total Least Squares) yontemlerigelistirilmistir [3]. A matrisi yapılı ve elemanları normaldagılıma sahipse ve olcum hataları da esit varyansla nor-mal dagılmıssa, x deterministik bilinmeyen parametresinin EnBuyuk Olabilirlik (EBO) kestirimi STLS yontemiyle bulunur.STLS yonteminin bu istatistiksel ustunlugu son 15 yılda bir coksinyal isleme arastırmacısının cesitli problemlere bu yontemiuygulamasını saglamıstır. Goruntu islemede bulanıklıgın gider-ilmesi [5], dizilim sinyal islemede armonik ust-cozunurluk [6],Cok Girisli Cok Cıkıslı (MIMO) iletisim sistemlerinde kanalparametre kestirimi [7], sinyallerin sonumlu sinus modellen-mesi [8], guc spektrumu kestirimi [9], radar sacınım merkez-lerinin kestirimi [10] gibi farklı alanlarda bir cok uygulamadaSTLS yontemi uygulanmıstır.STLS yonteminin gurultuye hassaslıgının TLS’den daha fa-zla oldugu [11]’de bulunan bir cok matris icin yapısal du-rum numarasının (structured condition number) yapısız du-rum numarasından kucuk olması ispatıyla kolayca gosterilebilir.

978-1-4244-4436-6/09/$25.00 ©2009 IEEE 948

���� ��

Sekil 1: Yapısız matrisler icin problem geometrisi

Bu problemi gidermek icin STLS yontemine bir Tikhonovregularizasyon terimi de eklenebilir [5]. Fakat gurultuye has-saslıgın asıl nedeni bir sonraki bolumde gosterilecegi gibiA matrisi uzerinde tutarlılık nedeniyle bulunan duzeltmedir.Bu bildiride onerilen yontem STLS tipi bir yaklasımdaki tu-tarlılık gerekliligini kaldırarak daha basarılı ve gurbuz kestirimyapabilmektedir. Onerilen yontem icin hızlı bir algoritmagelistirilmis ve kanal esitleme uygulamasında basarımı sayısalolarak gosterilmistir.

2. En Kucuk Kareler Yontemi (LS) veTikhonov Regularizasyonu

Ax ≈y olcum hatalarının yalnızca y vektorunde oldugu tu-tarsız bir denklem sistemi ise Gauss-Markov teoremine gore de-terministik bilinmeyen x’in normal olcum hataları altında EBOkestirimi asagidaki optimizasyon problemi ile bulunur,

arg minx||Ax− y||2 = (ATA)−1ATy

Cogu uygulamada A matrisinin durum numarası yuksektir veATA nın tersinmesi nedeniyle LS yontemi gurultuye fazla has-sastır. Bu hassasiyet kabul edilemeyecek kadar buyuk x kestir-imlerine neden olur. Tikhonov regularizasyonu bunu onlemekamacıyla x’in buyuk degerlerine bir ceza terimi ekler,

arg minx||Ax− y||2 + λ ||x||2 = (ATA + λI)−1ATy

x’in ve gurultunun stokastik ve normal dagılımlı olduguvarsayımında da Wiener suzgeci cıkısı ayni ifadeyle verilir.

3. Toplam En Kucuk Kareler Yontemi(TLS) ve Yapısal Toplam En Kucuk Kareler

Yontemi (STLS)Ax ≈y tutarsız bir denklem sistemi ise TLS yontemigozlenen [Ab] matrisine minimum Frobenius norm [ΔAΔy]

duzeltmesi yaparak tutarlı bir (A + ΔA)x = (y + Δy) sis-temi olusturur. TLS cozumu Tekil Deger Ayrısımı (SVD) kul-lanılarak asagıdaki gibi bulunabilir [2]:

xTLS = (ATA− σ2n+1I)

−1ATy ,

σn+1, [A y] matrisinin en kucuk tekil degeridir. Tikhonovregularizasyonu ile karsılastırıldıgında TLS in gurultuye has-saslıgının LS yonteminden bile daha fazla oldugu gorulur [13].STLS yontemi duzeltme terimlerini matristeki yapıyı koruyarakasagıdaki gibi bulmaya calısır.

minΔA,Δy,x

||ΔA Δy||F ,

s.t. (A + ΔA)x = (y + Δy) ve[ΔA Δy] aynı yapıdadır [A y] .

STLS problemi konveks olmadıgından Newton metodu gibiyerel yontemlerle cozulur [6].

4. Oyun Kuramsal YontemlerSistemdeki belirsizlik ya da gurultu uzerinde sınırlar biliniyorya da tahmin ediliyorsa, bu sınırlar icerisinde en kotu perfor-mansı en iyi olan kestirici asagıdaki gibi bulunur

minx

max[ΔAΔy]F≤ε

||(A + ΔA)x− (y + Δy)||2Bu formulasyon gizli konveksite kullanılarak Yarı-BelirliProgramlama (Semidefinite Programming) ile etkili bicimdecozulebilir [4] ve min-max olarak bilinir. Bu yaklasımın deza-vantajı fazla muhafazakar cozumler uretip basarım oranınındusuk olmasıdır.

Baska bir yaklasım ise belirsizlik sınırları icerisinde en iyiperformansı en iyi olan kestiriciyi bulmaktır [16],

minx

min[ΔAΔy]F≤ε

||(A + ΔA)x− (y + Δy)||2Min-min olarak bilinen bu yontem daha isabetli fakat gurultuyedaha hassastır. Yapısız matrisler icin bu problemin cozumu[16]’da verilmistir. 2 × 1 lik vektorler icin geometrik yorumSekil 1’de gosterilmektedir. Min-min yontemi verilen sınırlaricerisinde y’yi A’nın deger uzayına yaklastırıp deger uzayınıntumleyenine olan yansımasını en aza indirmektedir.

5. Onerilen YontemDenklem sistemindeki yapılı belirsizlik α = [α1...αN ]T

vektoru ile asagıdaki gibi parametrize edildiginde,

A(α) = A +∑N

i=1 αiAi, y(α) = y +∑N

i=1 αiyi

ve belirsizlik sınırları W agırlık matrisiyle ||Wα||2 ≤ ε olarakverildiginde bu sınırlar icerisinde en iyi performansı en iyi olanoyun kuramsal kestirici asagıdaki eniyileme ile tanımlanabilir,

minx

min||Wα||2≤ε

∣∣∣∣∣∣(A +

∑Ni=1 αiAi)x− (y +

∑Ni=1 αiyi)

∣∣∣∣∣∣2(1)

Bu bildiride y vektorunde belirsizlik olmadıgı y(α) = y ozeldurumu icin yeni bir algoritma ve uygulaması sunulacaktır.y’de belirsizlik iceren durum [1]’de incelenmistir. Sabit birx vektoru icin, ai = Aix ve U(x) = [a1...aN] olaraktanımlandıgında maliyet fonksiyonu asagıdaki hale gelir,

||A(α)x− y||2 = ||Ax + U(x)α− y||2Bu fonksiyon (x′, α′) noktasında ikinci derece terimler ihmaledilerek dogrusallastırılırsa (x′ + Δx, α′ + Δα) noktasındakidegeri asagıdaki gibi yazılabilir [17].

978-1-4244-4436-6/09/$25.00 ©2009 IEEE 949

||(A(α′ + Δα))(x′ + Δx)− y||2 ∼=||A(α′)x′ − y + U(x′)Δα + A(α′)Δx||2

Bu sekilde (x′, α′) noktasındaki eniyileme,

minΔx,Δα

||W(α′+Δα)||2≤ε

∣∣∣∣∣∣∣∣[U(x′) A(α′)]

[Δx

Δα

]+ (A(α′)x′ − y)

∣∣∣∣∣∣∣∣2

(2)

Kareli Sınırlı En Kucuk Kareler konveks problemi haline gelirve Lagrange carpanları kullanılarak cozulebilir [12]. Bu prob-lemin cozumu icin bircok yazılım mevcuttur.

6. Sayısal Algoritma(1)’de tanımlanan en iyileme problemi konveks degildir veyerel bir cozum asagıda verilen algoritmayla elde edilebilir,

(1) α = 0, x = (ATA)−1ATy olarak baslatılır

(2) x ve α yakınsayana kadar[Δx

Δα

]icin (2)’deki problem cozulur

x ve α, x + Δx ve α + Δα olarak guncellenirA(α) ve U(x) matrisleri olusturulur

7. Kanal Esitlemeu0[n] bilinen deterministik ayrık zamanlı sinyal, bilinmeyenH(z) dogrusal zamanla degismez suzgecinden gectikten sonraistatistigi bilinmeyen gurultuyle eklenerek gozlenen y[n] 0 ≤n < N sinyalini olusturmustur. Sekil 2 de gosterildigi gibikanal esitleme islevi, sonlu durtu yanıtı g[n], 0 ≤ n < p

olan suzgecle yapılmak istenirse y[n] ∗ g[n] ≈ u0[n] evrisimiasagıdaki dogrusal matris denklemiyle gosterilebilir [13],

⎡⎢⎢⎢⎢⎢⎣

y[p− 1] · · · y[1] y[0]

y[p]. . . y[2] y[1]

.... . .

...y[N − 1] . . . y[N − p]

⎤⎥⎥⎥⎥⎥⎦

⎡⎢⎢⎢⎣

g[0]

g[1]...

g[p− 1]

⎤⎥⎥⎥⎦

≈

⎡⎢⎢⎢⎣

u0[p− 1]

u0[p]...

u0[N − 1]

⎤⎥⎥⎥⎦ (3)

Yakın zamanda [14] ve [15] kaynaklarında bu den-klem sistemine katsayı matrisinin Toeplitz yapısı dikkatealınmadan TLS yontemi uygulanmıs ve iyi bilinen LMS kanalesitleyicilere gore sembol hata oranında yuksek basarım artısıgozlenmistir. Onerilen yontem bilinmeyen gurultunun kat-sayı matrisindeki yapısını, sagdan (i + 1)’inci kosegeni 1 olanasagıdaki Ai matrisleriyle dikkate alır,

Ai =

⎡⎢⎢⎢⎢⎢⎢⎢⎣

0 · · · 0 1 0 · · · 0

0 0 0 1. . . 0

0. . .

. . .. . . 0

0 0 0 1

0 · · · 0 0 0 0 0

⎤⎥⎥⎥⎥⎥⎥⎥⎦

���� ���

�

�

�������� ��� �������� �������

Sekil 2: Kanal esitleme problemi

� �� ��� ��� ��� ��� ��� ��� ��� ��� ������

���

���

���

���

���

���

�� ���� �����

����

���� ���

���

���

��

��������� ���� !"��#�% &��'�#� ('#���#�

Sekil 3: H suzgecinin spektrumu

STLS yaklasımıyla, A ve y uzerinde duzeltmelerle maliyetfonksiyonunun sıfıra indirilerek denklem sisteminin tutarlı halegetirilmesi, kanalı tam olarak esitleyecek sonlu durtu yanıtlıdogrusal suzgecler var oldugu anlamına gelir. Ancak bu coguuygulamada dogru degildir. Onerilen yontem denklem siste-mindeki tutarsızlıgı belirli sınırlar icerisinde azaltır ve gercekile model arasındaki kacınılmaz farklılıgı dikkate alır. Gurultuspektrumu ile ilgili bilgi bulunmadıgında bu sınırlar Eg gurultuenerjisi olmak uzere ||α||2 ≤ γ

√Eg , 0 < γ ≤ 1 olarak

tanımlanabilir. Gurultu spektrumu hakkında onceden bilinen-leri kullanmak amacıyla W matrisi ayrık zamanlı alcak ya dayuksek gecirgen islevi secilebilir.

8. Sayısal SonuclarH(z) = 1

4∑k=0

a[k]z−k

, a= 0.7[5,−5, 4,−4, 2] tum kutuplu

suzgecinin spektrumu Sekil 3’te gosterilmektedir. Gurultusuz

durumda G(z) = H(z)−1 =4∑

k=0

a[k]z−k tum sıfırlı suzgeci

kanalı tam olarak esitler. Gozleme w[n] beyaz Gauss gurultusueklendiginde bilinen girdi u0[n] kare dalga secilerek LS, TLS,STLS ve onerilen yontem (3)’teki denklem sisteminde g[n]

esitleyici durtu yanıtını bulmak icin kullanılmıs ve kestirimhatası (

∑n

(g[n]− g[n])2)1/2, 10dB sinyal gurultu oranında

50 bagımsız denemede Sekil 4 ve Sekil 5’te gosterilmistir.Onerilen yontemde sınır parametreleri W = I, γ = 0.8

secilmistir.Tablo 1’de ve Sekil 4 ve 5’te goruldugu gibi katsayı ma-

trisindeki hatalar yanlıs parametre kestirimine yol actıgı gibigurultuye hassaslıgı da artırmaktadır. Onerilen yontem, kanalparametre kestirimini diger yontemlere gore daha basarılı ya-

978-1-4244-4436-6/09/$25.00 ©2009 IEEE 950

� �� �� �� �� �� �� �� �� ��

�

�

�

��

��

��

��� �

�����������

������������ �������

������������������ �!"#$�� �������������������" �!

Sekil 4: 50 bagımsız denemede LS ve TLS kestirim hataları

� � �� �� �� �� �� �� �� ��

�

�

�

��

��

��

��� �

��

������������ �����������������������%&���������)���

Sekil 5: 50 bagımsız denemede STLS ve onerilen yontem ke-stirim hataları

parken gurultuye hassaslıgı daha azdır. Ayrıca yontemin ke-stirdigi diger sinyal olan gurultu w[n]’in spektrum bilgisi kul-lanılarak optimal Wiener duzlestirici G(z) filtresinin ardına ek-lenerek esitlemede gurultu yukseltimi en aza indirilebilir.

LS TLS STLS Onerilen

Ortalama 6.1598 6.5077 3.1363e+14 4.0265Medyan 6.1761 5.4512 4.2770 3.7120

Tablo 1: Kestirim hata istatistikleri

9. SonucDogrusal denklem sistemleri icin mevcut yontemler ve eksik-likleri tartısılmıs, yeni bir yontem incelenmis ve sayısal bir al-goritma sunulmustur. Yontemin, katsayı matrisi yapılı ve hataiceren sistemlerde gurultuye daha az hassas oldugu ve daha is-abetli kestirim yaptıgı kanal esitleme orneginde gosterilmistir.

10. Kaynakca[1] M. Pilanci, O. Arikan, B. Oguz, M.C. Pinar, ”Structured

Least Squares with Bounded Data Uncertainties”, Int.

Conf. Acoust., Speech, Signal Processing 2009’da sunula-cak.

[2] G.H. Golub, F. Van Loan, ”An Analysis of the Total LeastSquares Problem”, SIAM J. Numer. Anal, 1980.

[3] I. Markovsky, S. Van Huffel, and R. Pintelon, ”Block-Toeplitz/Hankel Structured Total Least Squares”, Tech.Rep. 03–135,2003.

[4] L. El-Ghaoui, H. Lebret. ”Robust Solutions to Least-Squares Problems with Uncertain Data”, SIAM J. MatrixAnal. Appl. 18, 1035–1064 (1997).

[5] A. Pruessner, D.P. O’Leary, ”Blind Deconvolution Usinga Regularized Structured Total Least Norm Algorithm”,SIAM Journal on Matrix Analysis and Applications, 2002.

[6] T. Abatzoglou, J. Mendel, and G. Harada, “The Con-strained Total Least Squares Technique and its Applica-tion to Harmonic Superresolution“, IEEE Trans. SignalProcess., 39 (1991),pp. 1070–1087.

[7] M. Gillaud, ”Transmission and Channel Modeling Tech-niques for Multiple-Antenna Communication Systems”,Ph.D. Thesis, TELECOM ParisTech.

[8] H. Chen, S. Van Huffel, J. Vandewalle, ”Improved meth-ods for exponential parameter estimation in the presenceof known poles and noise”, IEEE Transactions on SignalProcessing, 1997.

[9] H. Chen, S. Van Huel, D. Van Ormondt, ”Application ofthe Structured Total Least Norm technique in spectral es-timation”, Proc. of the 8th European Signal ProcessingConference, 1996.

[10] Z. Jianxiong, Z. Hongzhong, S. Zhiguang, F. Qiang,”Global Scattering Center Model Extraction of Radar Tar-gets Based on Wideband Measurements”, IEEE Transac-tions on Antennas andPropagation, 2008.

[11] I. Gohberg, I. Koltracht, ”Mixed, Componentwise, andStructured Condition Numbers”, SIAM Journal on MatrixAnalysis and Applications, 1993.

[12] G. H. Golub and U. von Matt, ”Quadratically ConstrainedLeast Squares and Quadratic Problems”, Numer. Math.,59 (1991), pp. 561–580.

[13] R.D. DeGroat, E.M. Dowling, ”The Data Least SquaresProblem and Channel Equalization” IEEE Transactions onSignal Processing, 42:1, 407–411 (1993).

[14] J.S. Lim, ”Neural Network Based Data Least Squares Al-gorithm for Channel Equalization”, Advances in NeuralNetworks ISNN 2007 pp 678-685 Springer, 2007.

[15] J. Lim, ”Recursive DLS solution for extreme learningmachine-based channel equalizer”, Neurocomputing 71(2008), pp. 592–599.

[16] S. Chandrasekaran, M. Gu, A. H. Sayed, and K. E. Schu-bert, ”The degenerate bounded error-in-variables model”,SIAM J. Matrix Anal. Appl., vol. 23, pp. 138–166, 2001.

[17] J.B. Rosen, H. Park, J. Glick, ”Total Least Norm Formu-lation and Solution for Structured Problems”, SIAM J. ofMatrix Analysis Applications, vol. 17, no. 1, Jan. 1996.

978-1-4244-4436-6/09/$25.00 ©2009 IEEE 951