![Page 1: Machine Learning & Image Analysis מערכות לומדות וניתוח תמונה 4th-Year Project Proposals 2004 – 2005 Machine Learning & Image Analysis מערכות לומדות](https://reader036.vdocuments.site/reader036/viewer/2022081514/56649d6b5503460f94a4ad90/html5/thumbnails/1.jpg)
4th-Year Project Proposals2004 – 2005
Machine Learning & Image Machine Learning & Image AnalysisAnalysis
מערכות לומדות וניתוח תמונהמערכות לומדות וניתוח תמונה
Dr. Boaz Lerner
![Page 2: Machine Learning & Image Analysis מערכות לומדות וניתוח תמונה 4th-Year Project Proposals 2004 – 2005 Machine Learning & Image Analysis מערכות לומדות](https://reader036.vdocuments.site/reader036/viewer/2022081514/56649d6b5503460f94a4ad90/html5/thumbnails/2.jpg)
2
~ 1970
~ 1980
~ 1980
~ 1990
~ 1990
~ 2000
~ 2000
Machine Learning Techniques Machine Learning Techniques EvolutionEvolution
• Linear discriminator • K-nearest-neighbours• Naive Bayesain classifier• Hidden Markov models• Rule-based, decision trees• Neural networks• Probabilistic graphical models • Bayesian learning & inference • Support vector machines
1936
1950
1965
1966
~ 1970
mid 80’s
1988
1990’s
1992
Academy Industry
![Page 3: Machine Learning & Image Analysis מערכות לומדות וניתוח תמונה 4th-Year Project Proposals 2004 – 2005 Machine Learning & Image Analysis מערכות לומדות](https://reader036.vdocuments.site/reader036/viewer/2022081514/56649d6b5503460f94a4ad90/html5/thumbnails/3.jpg)
3
Machine Learning – Machine Learning – MotivationMotivation
• No need in a model
• Utilizes the data to build the model
• Utilizes the data to tune the model (learning)
• Allows integration of acquired knowledge into a priori knowledge
• Applicable also for on-line learning
![Page 4: Machine Learning & Image Analysis מערכות לומדות וניתוח תמונה 4th-Year Project Proposals 2004 – 2005 Machine Learning & Image Analysis מערכות לומדות](https://reader036.vdocuments.site/reader036/viewer/2022081514/56649d6b5503460f94a4ad90/html5/thumbnails/4.jpg)
4
Machine Learning –Machine Learning –Why LearningWhy Learning??
• Flexibility
• Adaptivity
• Combination of prior knowledge with data
• Generalisation
![Page 5: Machine Learning & Image Analysis מערכות לומדות וניתוח תמונה 4th-Year Project Proposals 2004 – 2005 Machine Learning & Image Analysis מערכות לומדות](https://reader036.vdocuments.site/reader036/viewer/2022081514/56649d6b5503460f94a4ad90/html5/thumbnails/5.jpg)
5
Generalization (1)Generalization (1)• Illustration - polynomial curve fitting
M
j
jj xwxy
0
)(
M=1 M=3 M=10
![Page 6: Machine Learning & Image Analysis מערכות לומדות וניתוח תמונה 4th-Year Project Proposals 2004 – 2005 Machine Learning & Image Analysis מערכות לומדות](https://reader036.vdocuments.site/reader036/viewer/2022081514/56649d6b5503460f94a4ad90/html5/thumbnails/6.jpg)
6
Generalization (2)Generalization (2)• polynomial curve fitting (2)
N
n
nnRMS twxyN
E1
2*);(1
![Page 7: Machine Learning & Image Analysis מערכות לומדות וניתוח תמונה 4th-Year Project Proposals 2004 – 2005 Machine Learning & Image Analysis מערכות לומדות](https://reader036.vdocuments.site/reader036/viewer/2022081514/56649d6b5503460f94a4ad90/html5/thumbnails/7.jpg)
7
Image Analysis & Machine Image Analysis & Machine Learning SystemLearning System
ClassificationFeature
Extraction
Pre-Processing
SegmentationFeature
DescriptionFeature
Selection
Post-Classification
signal(image)
---Machine Learning
![Page 8: Machine Learning & Image Analysis מערכות לומדות וניתוח תמונה 4th-Year Project Proposals 2004 – 2005 Machine Learning & Image Analysis מערכות לומדות](https://reader036.vdocuments.site/reader036/viewer/2022081514/56649d6b5503460f94a4ad90/html5/thumbnails/8.jpg)
8
Feature DescriptionFeature Description
![Page 9: Machine Learning & Image Analysis מערכות לומדות וניתוח תמונה 4th-Year Project Proposals 2004 – 2005 Machine Learning & Image Analysis מערכות לומדות](https://reader036.vdocuments.site/reader036/viewer/2022081514/56649d6b5503460f94a4ad90/html5/thumbnails/9.jpg)
9
Feature Selection (1)Feature Selection (1)
• using probability density functions (PDFs)
![Page 10: Machine Learning & Image Analysis מערכות לומדות וניתוח תמונה 4th-Year Project Proposals 2004 – 2005 Machine Learning & Image Analysis מערכות לומדות](https://reader036.vdocuments.site/reader036/viewer/2022081514/56649d6b5503460f94a4ad90/html5/thumbnails/10.jpg)
10
Feature Selection (2)Feature Selection (2)
• using scatter plots
![Page 11: Machine Learning & Image Analysis מערכות לומדות וניתוח תמונה 4th-Year Project Proposals 2004 – 2005 Machine Learning & Image Analysis מערכות לומדות](https://reader036.vdocuments.site/reader036/viewer/2022081514/56649d6b5503460f94a4ad90/html5/thumbnails/11.jpg)
11
Feature Selection (3)– the Feature Selection (3)– the ResultResult
![Page 12: Machine Learning & Image Analysis מערכות לומדות וניתוח תמונה 4th-Year Project Proposals 2004 – 2005 Machine Learning & Image Analysis מערכות לומדות](https://reader036.vdocuments.site/reader036/viewer/2022081514/56649d6b5503460f94a4ad90/html5/thumbnails/12.jpg)
12
Feature Extraction – Feature Extraction – 2D Example 2D Example
![Page 13: Machine Learning & Image Analysis מערכות לומדות וניתוח תמונה 4th-Year Project Proposals 2004 – 2005 Machine Learning & Image Analysis מערכות לומדות](https://reader036.vdocuments.site/reader036/viewer/2022081514/56649d6b5503460f94a4ad90/html5/thumbnails/13.jpg)
13
Experimental Comparison Experimental Comparison of Feature Extractorsof Feature Extractors
projection
maps
![Page 14: Machine Learning & Image Analysis מערכות לומדות וניתוח תמונה 4th-Year Project Proposals 2004 – 2005 Machine Learning & Image Analysis מערכות לומדות](https://reader036.vdocuments.site/reader036/viewer/2022081514/56649d6b5503460f94a4ad90/html5/thumbnails/14.jpg)
14
Statistical ClassificationStatistical Classification
• Aim: minimizing the probability of misclassification
![Page 15: Machine Learning & Image Analysis מערכות לומדות וניתוח תמונה 4th-Year Project Proposals 2004 – 2005 Machine Learning & Image Analysis מערכות לומדות](https://reader036.vdocuments.site/reader036/viewer/2022081514/56649d6b5503460f94a4ad90/html5/thumbnails/15.jpg)
15
Decision Boundaries (1)Decision Boundaries (1)
![Page 16: Machine Learning & Image Analysis מערכות לומדות וניתוח תמונה 4th-Year Project Proposals 2004 – 2005 Machine Learning & Image Analysis מערכות לומדות](https://reader036.vdocuments.site/reader036/viewer/2022081514/56649d6b5503460f94a4ad90/html5/thumbnails/16.jpg)
16
Decision Boundaries (2)Decision Boundaries (2)
![Page 17: Machine Learning & Image Analysis מערכות לומדות וניתוח תמונה 4th-Year Project Proposals 2004 – 2005 Machine Learning & Image Analysis מערכות לומדות](https://reader036.vdocuments.site/reader036/viewer/2022081514/56649d6b5503460f94a4ad90/html5/thumbnails/17.jpg)
17
Decision Boundaries (3)Decision Boundaries (3)
![Page 18: Machine Learning & Image Analysis מערכות לומדות וניתוח תמונה 4th-Year Project Proposals 2004 – 2005 Machine Learning & Image Analysis מערכות לומדות](https://reader036.vdocuments.site/reader036/viewer/2022081514/56649d6b5503460f94a4ad90/html5/thumbnails/18.jpg)
18
An Example FISH ImageAn Example FISH Image
![Page 19: Machine Learning & Image Analysis מערכות לומדות וניתוח תמונה 4th-Year Project Proposals 2004 – 2005 Machine Learning & Image Analysis מערכות לומדות](https://reader036.vdocuments.site/reader036/viewer/2022081514/56649d6b5503460f94a4ad90/html5/thumbnails/19.jpg)
19
Image Analysis & Machine Learning Applied to
Cytogenetics
classificationfeature
extraction
preprocessing
segmentationfeature
descriptionfeature
selection
postclassification
3D imagereconstruction
![Page 20: Machine Learning & Image Analysis מערכות לומדות וניתוח תמונה 4th-Year Project Proposals 2004 – 2005 Machine Learning & Image Analysis מערכות לומדות](https://reader036.vdocuments.site/reader036/viewer/2022081514/56649d6b5503460f94a4ad90/html5/thumbnails/20.jpg)
20
Classification-Oriented Feature Classification-Oriented Feature SelectionSelection
בחירת מאפיינים מכוונת סווגבחירת מאפיינים מכוונת סווג • " " עצמים ייצוג לשם ביותר טובים ה המאפיינים בחירת
, . תמיד לא אולם ומדויק קומפקטי סווג מאפשרתאת יש זה אופטימלי מאפיינים סט על המבוסס לסווג
המסווג וקריטריוני היות המינימלית הסיווג שגיאת . בפרויקט מאפיינים לבחירת השיטה של מאלה שונים
מאפיינים בחירת קריטריוני בין הקשר את נחקור . מודל לבנות גם נרצה אופטימלי סווג וקריטריוני
כזו קריטריונים משפחת כל יתרונות המנצל מסווג . על ייבדק המודל אופטימליים ביצועים השגת לשם
ובחירת סווג למודלי ויושווה אמיתית מבעיה דטה. מתקדמים מאפיינים
• : קוד pattern recognition, feature selection, machineמלותlearning, classification
![Page 21: Machine Learning & Image Analysis מערכות לומדות וניתוח תמונה 4th-Year Project Proposals 2004 – 2005 Machine Learning & Image Analysis מערכות לומדות](https://reader036.vdocuments.site/reader036/viewer/2022081514/56649d6b5503460f94a4ad90/html5/thumbnails/21.jpg)
21
![Page 22: Machine Learning & Image Analysis מערכות לומדות וניתוח תמונה 4th-Year Project Proposals 2004 – 2005 Machine Learning & Image Analysis מערכות לומדות](https://reader036.vdocuments.site/reader036/viewer/2022081514/56649d6b5503460f94a4ad90/html5/thumbnails/22.jpg)
22
Support Vector Machine for Image Support Vector Machine for Image Classification Classification
וקטורים מסווג בעזרת תמונה וקטורים סווג מסווג בעזרת תמונה סווג תומכיםתומכים
לומדת • מערכת הנו תומכים וקטורים מסוגמוצקים תאורטיים יסודות עם ביותר מתוחכמת
. אחרות לומדות למערכות בהשוואה רבה והצלחה , . בפרט היום עד שימושים מיעוט למסווג אולם
. בפרויקט תמונה בסווג היום עד נבחן לא המסווגעצמים לסווג אותו ונתאים המסווג את נממש
בתמונה.• : קוד ,machine learning, image classificationמילות
support vector machine
![Page 23: Machine Learning & Image Analysis מערכות לומדות וניתוח תמונה 4th-Year Project Proposals 2004 – 2005 Machine Learning & Image Analysis מערכות לומדות](https://reader036.vdocuments.site/reader036/viewer/2022081514/56649d6b5503460f94a4ad90/html5/thumbnails/23.jpg)
23
Which is the Best Decision Which is the Best Decision Boundary?Boundary?
-- -
-
-
++++
++
-- -
-
-
++++
++
-- -
-
-
++++
++ w.x+b= 0
w.x+b= 1
w.x+b= -11||w||
1||w||
w
b||w||
![Page 24: Machine Learning & Image Analysis מערכות לומדות וניתוח תמונה 4th-Year Project Proposals 2004 – 2005 Machine Learning & Image Analysis מערכות לומדות](https://reader036.vdocuments.site/reader036/viewer/2022081514/56649d6b5503460f94a4ad90/html5/thumbnails/24.jpg)
24
Projecting Non-Separable Projecting Non-Separable 1D Data onto a 2D Space 1D Data onto a 2D Space
---
+
+
++
++
x2
x--- ++ ++++ x
x {x,x2}
![Page 25: Machine Learning & Image Analysis מערכות לומדות וניתוח תמונה 4th-Year Project Proposals 2004 – 2005 Machine Learning & Image Analysis מערכות לומדות](https://reader036.vdocuments.site/reader036/viewer/2022081514/56649d6b5503460f94a4ad90/html5/thumbnails/25.jpg)
25
Accuracy ComparisonAccuracy ComparisonClassifierError Rate (%)
Binary Gaussian SVM12.8
7-Nearest-Neighbor13.2
Neural Network 13.6
Bayesian Neural Network 11.8
Naïve Bayesian Classifier 17.0
Linear Classifier 15.9
![Page 26: Machine Learning & Image Analysis מערכות לומדות וניתוח תמונה 4th-Year Project Proposals 2004 – 2005 Machine Learning & Image Analysis מערכות לומדות](https://reader036.vdocuments.site/reader036/viewer/2022081514/56649d6b5503460f94a4ad90/html5/thumbnails/26.jpg)
26
Probabilistic Classification by ARTMAP Probabilistic Classification by ARTMAP Neural NetworkNeural Network
ARTMAPARTMAP סיווג הסתברותי על ידי רשת ה – סיווג הסתברותי על ידי רשת ה – •- ה המוח ARTMAPרשת מבוססת נוירונלית רשת היא
של מהירה למידה יכולת בעלת שהיא האנושי " דוגמאות " של שיכחה ללא חדשות דוגמאות
" , ." לא" הרשת י ע עצמים סיווג תוצאות אולם ישנותהמקשה דבר טבעי באופן הסתברותי לפירוש ניתנות
לומדות מערכות של לאלה הרשת ביצועי השוואת עלרשת. את להרחיב הנה הפרויקט מטרת אחרות
למחלקה ARTMAPה- שייכות להציג שתוכל כך . הסתברותית בצורה
• : קוד machine learning, neural networks, ARTMAPמילות
![Page 27: Machine Learning & Image Analysis מערכות לומדות וניתוח תמונה 4th-Year Project Proposals 2004 – 2005 Machine Learning & Image Analysis מערכות לומדות](https://reader036.vdocuments.site/reader036/viewer/2022081514/56649d6b5503460f94a4ad90/html5/thumbnails/27.jpg)
27
On-Line Training using On-Line Training using ARTMAPARTMAP
![Page 28: Machine Learning & Image Analysis מערכות לומדות וניתוח תמונה 4th-Year Project Proposals 2004 – 2005 Machine Learning & Image Analysis מערכות לומדות](https://reader036.vdocuments.site/reader036/viewer/2022081514/56649d6b5503460f94a4ad90/html5/thumbnails/28.jpg)
28
Learning Bayesian NetworksLearning Bayesian Networksרשתות בייסיאניות לומדותרשתות בייסיאניות לומדות
הסתברות • פונקצית לייצוג יעיל מודל הנה בייסיאנית רשת . משני מורכב המודל אקראיים משתנים סט של משותפת . : מותנות הסתברויות וסט הרשת מבנה עיקריים מרכיבים , של קיום כאשר מכוון גרף באמצעות מיוצג הרשת מבנה
) שני ) של תלות מייצג משתנים צמתים שני בין קשר . את מכמת המותנות ההסתברויות סט בגרף המשתנים
. באלגוריתמים לפיכך יעסוק הפרויקט הקשרים חוזקביותר המתאימים ההסתברויות וסט המבנה למציאת
בעיה המייצגות בדוגמאות שימוש תוך נתונה בעיה לפתרון. בתמונה. עצמים בסיווג ייושמו הלימוד ושיטות המודל זו
• : קוד Bayesian networks, classification, machine learningמילות
![Page 29: Machine Learning & Image Analysis מערכות לומדות וניתוח תמונה 4th-Year Project Proposals 2004 – 2005 Machine Learning & Image Analysis מערכות לומדות](https://reader036.vdocuments.site/reader036/viewer/2022081514/56649d6b5503460f94a4ad90/html5/thumbnails/29.jpg)
29
BN Structure LearningBN Structure Learning
![Page 30: Machine Learning & Image Analysis מערכות לומדות וניתוח תמונה 4th-Year Project Proposals 2004 – 2005 Machine Learning & Image Analysis מערכות לומדות](https://reader036.vdocuments.site/reader036/viewer/2022081514/56649d6b5503460f94a4ad90/html5/thumbnails/30.jpg)
30
BN Parameter LearningBN Parameter Learning
![Page 31: Machine Learning & Image Analysis מערכות לומדות וניתוח תמונה 4th-Year Project Proposals 2004 – 2005 Machine Learning & Image Analysis מערכות לומדות](https://reader036.vdocuments.site/reader036/viewer/2022081514/56649d6b5503460f94a4ad90/html5/thumbnails/31.jpg)
31
Automatic Dot Counting in Automatic Dot Counting in FISH Image AnalysisFISH Image Analysis
אוטומטית כתמים אוטומטית ספירת כתמים ספירתתמונ ניתוח תמונ במערכת ניתוח ה ה במערכתציטוגנטיתציטוגנטית כתמים בתמונה ציטוגנטית מייצגים כרומוזומים שאת •
מספרם באוכלוסית תאים נרצה לשערך לשם אבחון תסמונות הנובעות מעודף או חוסר בכרומוזום. בפרויקט
תבנה מערכת בתוכנה לניתוח תמונות כאלה וספירה אוטומטית של הכתמים. המערכת תתבסס על חתכים
דו-מימדיים של גרעיני תא תלת-מימדיים ושיטות לימוד מכונה מתקדמות לשם שערוך מדויק של מספר הכתמים
במדגם.machine learning, neural networks, FISHמילות קוד: •
![Page 32: Machine Learning & Image Analysis מערכות לומדות וניתוח תמונה 4th-Year Project Proposals 2004 – 2005 Machine Learning & Image Analysis מערכות לומדות](https://reader036.vdocuments.site/reader036/viewer/2022081514/56649d6b5503460f94a4ad90/html5/thumbnails/32.jpg)
32
Another Example of FISH Another Example of FISH ImageImage
![Page 33: Machine Learning & Image Analysis מערכות לומדות וניתוח תמונה 4th-Year Project Proposals 2004 – 2005 Machine Learning & Image Analysis מערכות לומדות](https://reader036.vdocuments.site/reader036/viewer/2022081514/56649d6b5503460f94a4ad90/html5/thumbnails/33.jpg)
33
FISH Image Signals FISH Image Signals
Cell Nucleus
Red-Real
Green-Real
Focused
Unfocused
Red-Artifact
Green-Artifact
![Page 34: Machine Learning & Image Analysis מערכות לומדות וניתוח תמונה 4th-Year Project Proposals 2004 – 2005 Machine Learning & Image Analysis מערכות לומדות](https://reader036.vdocuments.site/reader036/viewer/2022081514/56649d6b5503460f94a4ad90/html5/thumbnails/34.jpg)
34
Machine Learning-based FISH Machine Learning-based FISH Image Analysis for Disease DetectionImage Analysis for Disease Detection
גילוי מחלות בעזרת ניתוח תמונה גילוי מחלות בעזרת ניתוח תמונה ציטוגנטית מבוסס לימוד מכונהציטוגנטית מבוסס לימוד מכונה
תבניות • לניתוח במעבדה התפתחו האחרונות בשניםמתוך גנטיות תסמונות לזיהוי שיטות לומדות ומכונות
. למחלות אלה שיטות להרחיב נרצה ציטוגנטיות תמונותבכרומוזום מזערי חסר כמו אוטומטי לאבחון יותר קשות
. מורכבות לפיכך תהיינה שתפותחנה השיטות סרטן אונושאים יקיפו והן פותחו שכבר מאלה יותר ומדויקות
.classificationוסיווג( )segmentationבהקטעת ) תמונה( • : קוד pattern recognition, neural networks, Bayesianמילות
networks, image classification cancer, machine learning
![Page 35: Machine Learning & Image Analysis מערכות לומדות וניתוח תמונה 4th-Year Project Proposals 2004 – 2005 Machine Learning & Image Analysis מערכות לומדות](https://reader036.vdocuments.site/reader036/viewer/2022081514/56649d6b5503460f94a4ad90/html5/thumbnails/35.jpg)
35
What About Cancer?What About Cancer?R2
R1D
S
![Page 36: Machine Learning & Image Analysis מערכות לומדות וניתוח תמונה 4th-Year Project Proposals 2004 – 2005 Machine Learning & Image Analysis מערכות לומדות](https://reader036.vdocuments.site/reader036/viewer/2022081514/56649d6b5503460f94a4ad90/html5/thumbnails/36.jpg)
36
Further ReadingFurther Reading
http://www.ee.bgu.ac.il/~boaz
http://www.ee.bgu.ac.il/~paml