penjanaan fitur tigaan bagi imej bersaiz besar di kolam condor

PENJANAAN FITUR TIGAAN BAGI IMEJ BERSAIZ BESAR DENGAN

MENGGUNAKAN JELMAAN SURIH DI KOLAM CONDOR

Nurrunnuhaa All BakryGP00339

UKM Bangi

Sistem berprestasi tinggi

• Digunakan untuk kajian di institusi pengajian tinggi dan makmal-makmal kajian. Ia juga sering digunakan di dalam reka bentuk kejuruteraan

• Contoh aplikasi:o kajian cuaca o pengecaman polao penyelidikan ketenteraano penerokaan minyak dan gaso simulasi mekanikal o simulasi kewangan

Pengenalan - Sistem berprestasi tinggi

Pengenalan - Sistem Teragih

• Pelbagai usaha untuk memperkenalkan sistem teragih telah dilakukan oleh banyak pihak, termasuklah SETI@Home

• Komputer super mungkin lebih berkuasa tetapi sebarang ralat atau kerosakan akan menjejaskan proses yang sedang dilaksanakan di komputer super

• Sebarang kerosakan di satu mesin tidak akan memberikan impak yang tinggi kepada proses yang sedang berjalan di sistem teragih

Kebaikan Sistem teragihFaedah:• Melaksanakan operasi yang memakan masa yang panjang

dalam masa yang singkat• Melaksanakan operasi di dalam tempoh yang singkat

dengan kadar yang tinggiIni kerana, sistem teragih:• Mendapatkan kuasanya daripada sumber yang tidak

digunakan daripada mesin yang sedang idle• Mudah untuk diskala

Satu kajian yang dilakukan oleh Bing Yean (2011) telah menunjukkan peningkatan kelajuan dengan penggunaan sistem teragih untuk masalah Mandelbrot

Contoh Middleware

Condor• Memaksimakan penggunaan mesin-mesin yang idle ataupun

tidak aktif• Universiti Wisconsin-Madison

Legion• Aplikasi-aplikasi selari yang besar dan kompleks• University of Virginia

BOINC• Membolehkan kuasa mesin ketika ia tidak aktif

disumbangkan kepada projek sains• University of California

Jelmaan surih

• Satu kaedah di dalam analisis imej untuk pengecaman pola• Digunakan untuk pengecaman aksara jawi 

o kajian oleh Mohammad Faidzul et al. (2008)• Kaedah analisis imej lain:

o rangkaian Neural Rekuren Bama oleh Mazani (2002)o pengkelas multiaras oleh Khairuddin (2000)

• Jelmaan surih akan menghasilkan satu fitur tigaan untuk sesuatu imej yang dikaji

Permasalahan kajian

Makmal HPC belum dilengkapi Condor

• Makmal HPC dilengkapi beberapa mesin-mesin masih belum dilengkapi dengan sistem berprestasi tinggi yang menggunakan Condor

• Penjanaan fitur tigaan dengan menggunakan jelmaan surih belum pernah dijalankan di makmal tersebut

Jelmaan surih untuk pengecaman aksara jawi• Kajian Mohammad Faidzul et al. (2008) menggunakan imej

aksara jawi bersaiz 63.6 KB dengan resolusi 255x255 pikselo Imej yang bersaiz lebih besar?o Sekumpulan imej bersaiz lebih besar?

• Surihan dilakukan dengan melawat setiap piksel di setiap baris piksel di dalam imej dan di setiap 1.8125º sudut putarano Kecilkan sudut putaran?

Tujuan Kajian

Tujuan Kajian

a) mendapatkan nisbah fitur tigaan bagi imej bersaiz lebih daripada 100 MB dengan menggunakan sudut putaran 1º

b) menganalisa masa yang diambil untuk melaksanakan dua jelmaan surih bagi mendapatkan nisbah fitur tigaan bagi satu imej bersaiz besar di satu mesin dan kolam Condor

c) menganalisa masa yang diambil untuk melaksanakan dua jelmaan surih (untuk setiap imej) bagi mendapatkan nisbah fitur tigaan (untuk setiap imej) bagi sekumpulan imej bersaiz besar di satu mesin dan kolam Condor

Skop Kajian

Skop Kajian

• Aplikasi jelmaan surih dan fungsian yang akan digunakan di dalam kajian ini adalah sama dengan yang digunakan di dalam kajian Mohammad Faidzul et al. (2008)

• Penjanaan fitur tigaan untuk 40 imej bersaiz besar -> 40 nisbah fitur tigaan

• Tidak meliputi penjanaan fitur tigaan tak-ubah, keputusan akan dibandingkan tanpa membincangkan ketepatannya

• 19 mesin digunakan di makmal HPC (kolam heterogen) untuk kolam Condor

• Kajian memberikan perhatian kepada prestasi masa yang diambil untuk pelaksanaan jelmaan surih di satu mesin dan di kolam Condor

Kajian Kesusateraan

Condor Sebagai Sistem Teragih

Berfungsi dengan mengenalpasti mesin-mesin yang idle dan memaksimakan sumber yang idle ini dengan menjadualkan

tugasan-tugasan untuk dilaksanakan di mesin tersebut

Kolam Condor    

• Setiap mesin mempunyai peranan• Perlu ada 3 peranan di dalam sesuatu kolam:

o Pengurus Pusato Penghantaro Pelaksana

Contoh Senibina Kolam Condor

Peranan mesin

Interaksi antara mesin di dalam kolam Condor

Mesin boleh mempunyai lebih daripada 1 peranan

Alam Semesta Condor

Untuk menakrifkan persekitaran pelaksanaan sesuatu tugasan

Alam semesta yang digunakan oleh Condor:• Standard• Vanilla• Grid • Java• Scheduler• Local• Parallel • VM

Penghantaran Tugasan ke Kolam CondorMenggunakan fail penghantar

Hantar ke kolam Condor

Pemadanan Tugasan dan Sumber

Pelaksanaan Tugasan di Kolam Condor

Penjanaan Fitur Tigaan untuk Aksara Jawi Menggunakan Jelmaan Surih

Kajian Mohammad Faidzul et al (2008) mendapati jelmaan surih telah memberikan skor pengecaman yang lebih tinggi

berbanding kaedah momen afin tak-ubah.

Kajian jelmaan surih mereka dilakukan ke atas aksara terpencil dan meliputi transformasi imej putaran, translasi

dan penskalaan sahaja.

Aksara Jawi

Jelmaan Surih

Jelmaan surih berasal daripada perbincangan mengenai pengecaman oleh Kadyrov et al. (2001) yang telah

menunjukkan bahawa jelmaan surih telah mengatasi prestasi pengecaman fitur momen afin tak-ubah. Jelmaan surih boleh digambarkan sebagai pengitlakan jelmaan Radon seperti yang

dibincangkan dalam kajian beliau.

Jelmaan Radon hanya mengira kamiran untuk fungsian. Fungsian yang digunakan dalam jelmaan surih tidak

semestinya menggunakan kamiran.

Jelmaan Surih (smbg)

Jelmaan Radon boleh diterangkan sebagai satu jelmaan surih yang khusus. 

Pertimbangkan apabila satu imej f (x, y) disilang- menyilangkan dengan garis-garis l(r, θ, t) pada semua arah dengan L(r, θ) ialah set bagi semua garis. Jelmaan surih adalah satu fungsi g(T, f, r, θ) yang ditakrif pada L(r, θ) dengan bantuan fungsian surih T. Maka 

g (T, f, r, θ) = T [f (r, θ, t)]

Jelmaan Surih (smbg)

Definisi parameter pada imej f (x, y) dan garis surih l(r, θ, t) 

Fitur Tigaan

Fitur tigaan yang boleh menggambarkan sifat imej f (x, y) dapat dijanakan dengan bantuan dua fungsian tambahan yang dipanggil diametrik (diametric) dan putaran (circus), yang masing-masing ditandai dengan P dan Ф (Kadyrov & Petrou, 2001) .

Fitur tigaan П ditakrifkan sebagai:

П(f) = Φ[P[T[f(r,θ,t)]]]   

Fungsian untuk Fitur Tigaan

Fitur tigaan yang diekstrak sangat bergantung kepada sifat fungsian yang telah dipilih, iaitu T (fungsian surih), P (fungsian diametrik) dan Ф (fungsian putaran). 

Kajian Mohammad Faidzul et al. (2008) telah mengemukakan cadangan fungsian yang telah dipilih untuk menjana fitur tigaan tak-ubah kepada putaran, translasi, dan penskalaan.

Penjanaan Fitur Tigaan untuk Aksara Jawi 

Fitur Tigaan Tak-Ubah untuk Aksara Jawi (samb)

Fungsian yang digunakan untuk pengecaman aksara jawi

Fitur Tigaan Tak-Ubah untuk Aksara Jawi (samb)

Nisbah fitur tigaan untuk aksara jawi

Metodologi Kajian

Kaedah

Kajian menggunakan aplikasi yang digunakan di dalam kajian Mohammad Faidzul et al. (2008). 

Kajian melihat hasil penjanaan fitur tigaan menggunakan sudut putaran 1º. 

Penjanaan fitur tigaan akan dilakukan ke atas satu mesin dan juga kolam Condor.• Satu imej sebagai permulaan • Bilangan imej ditambah kepada 10, 20, 30 dan 40

Aplikasi Penjanaan Fitur Tigaan

Paparan output untuk aplikasi diubahsuai untuk mengandungi keputusan fitur tigaan

Penggunaan alam semesta Vanilla tidak memberikan kemudahan Remote System Call (mesin Pelaksana tidak mempunyai kemudahan untuk membaca dan menulis struktur direktori sama seperti mesin Penghantar).

Senibina Kolam Condor

Terdiri daripada mesin-mesin di

makmal HPC dan makmal

pembangunan web

Senarai Mesin di Kolam Condor

Penyediaan Imej

Imej bersaiz 63.6 KB dengan resolusi 255x255 piksel

Imej bersaiz besar

608 MB dengan resolusi 32768x19456 piksel

Skrip Bash

Ditulis untuk memudahkan penghantaran tugasan ke kolam Condor.

Skrip Bash (tt-submit-multiple-jobs) akan menulis satu fail penghantar Condor berdasarkan pilihan set Π dan seterusnya akan di hantar ke kolam Condor.

Fail Penghantar 

Fail penghantar bagi set Π = 4 untuk dua imej

Pemerhatian Masa Pelaksanaan

Masa direkodkan di:• satu mesin  • kolam Condor 

Masa (purata) diambil daripada ketika arahan dihantar sehingga dua fitur tigaan diperolehi daripada dua fungsian yang menghasilkan sesuatu set Π. 

Cartalir

Kolam Condor vs satu mesin

Kebolehsandaran Penggunaan Condor untuk Penjanaan Fitur

Tigaan Tak-ubah

n = 128 (sudut = 1.8125º) dan n = 360 (sudut = 1º)

Nilai fitur tigaan adalah sama seperti yang diperolehi di dalam kajian Mohammad Faidzul et al. (2008). Ini bermaksud kolam Condor boleh digunakan untuk penjanaan fitur tigaan.

n = 360 (sudut = 1º)

Ini bermakna apabila nilai n = 360 digunakan ke atas aksara jawi Shin, aplikasi mampu mengenalpasti tiga imej tambahan sebagai imej yang sama.

Pemerhatian Masa

Masa yang diambil untuk penjanaan fitur tigaan di kolam Condor melonjak hampir satu kali ganda berbanding penjanaaan yang sama di satu mesin.

Pemerhatian Masa (smbg)

Ini disebabkan oleh komunikasi di antara mesin-mesin di dalam rangkaian kolam Condor dan juga proses pemindahan fail input dan output yang mempengaruhi keseluruhan masa penjanaan.

Penjanaan fitur tigaan di satu mesin tidak mengambil masa yang lama. Ini adalah kerana saiz imej yang kecil. Oleh yang demikian, penjanaan fitur tigaan di kolam Condor untuk imej yang bersaiz kecil adalah tidak sesuai.

Penjanaan Fitur Tigaan Bagi Satu Imej Bersaiz Besar

n = 360

Fitur tigaan bagi 40 imej bersaiz besar telah di perolehi di dalam kajian ini.

Hanya set Π2, Π3 dan Π 4 yang mempunyai perbezaan kurang daripada 10%. Oleh itu, fitur tigaan tak-ubah hanya untuk tiga set tersebut.

Penjimatan Masa

~48 hingga ~56 minit

     vs

~25 hingga ~35 minit 

Prestasi Masa Bagi Sekumpulan Imej Bersaiz Besar

Pemerhatian Masa

Penggunaan Condor dapat menjimatkan masa lebih daripada 89%.

Pemerhatian Masa di Satu Mesin

Pemerhatian Masa di Kolam Condor

Perbandingan Masa

Kolam Condor:10 imej - 43 minit20 imej - 1 jam30 imej - 1 jam40 imej - 1.3 jam

Berbanding dengan keputusan di satu mesin, purata masa yang diambil kolam Condor masih lebih rendah.

Satu mesin:10 imej - 8.7 jam20 imej - 17.2 jam30 imej - 25.9 jam40 imej - 34.7 jam

Penjimatan Masa

Meningkat daripada 10 imej ke 20 imej. Ia meningkat sedikit ke 30 imej dan tidak begitu banyak beza daripada 30 ke 40 imej.

Kelajuan Kolam Condor (speedup)

Penjimatan masa adalah paling tinggi untuk 40 imej. 

Kelajuan yang ideal adalah apabila S38 = 38. Tahap ideal boleh dicapai dengan menambah bilangan pemproses.

Kecekapan Kolam Condor (efficiency)

Sejauh mana pemproses digunakan sepenuhnya untuk melaksanakan penjanaan dua fitur tigaan bagi setiap imej. Kecekapan untuk 1 imej adalah yang paling rendah manakala kecekapan untuk 30 dan 40 imej adalah hampir sama iaitu kedua-duanya berada di dalam linkungan 60% hingga 76%.

Rumusan Kajian

Penemuan & Sumbangan Kajian

Kajian telah menunjukkan nisbah fitur tigaan untuk imej yang bersaiz lebih daripada 100 MB dengan menggunakan sudut putaran 1° boleh diperolehi dengan menggunakan kolam Condor. 

Masa yang diambil untuk mendapatkan dua fitur tigaan bagi sesuatu imej bersaiz besar dengan menggunakan jelmaan surih di kolam Condor adalah lebih pantas daripada di satu mesin. Ia menunjukkan penjimatan masa di dalam lingkungan 32.68% sehingga 47.03%. 

Penemuan & Sumbangan Kajian (smbg)

Untuk sekumpulan imej pula, kajian mendapati peratusan masa yang dapat dijimatkan adalah lebih tinggi iaitu di dalam lingkungan 89.35% sehingga 96.52%.

Kelajuan paling tinggi dicapai untuk penjanaan dua fitur tigaan bagi 40 imej.

Penutup

Kajian ini telah mengetengahkan Condor sebagai satu pilihan yang sesuai untuk sistem teragih. Diharapkan dengan kajian ini membuka mata dan menggalakkan lagi penggunaan Condor sama ada di dalam bidang penyelidikan mahupun implementasi pada masa akan datang.

Sekian

Terima Kasih