טסקט חותינו םכח...
TRANSCRIPT
חיפוש חכם וניתוח טקסט ל"מנכ–אמיר שלום
ל"מנכ–אמיר שלום
על החברה
חברה בת של אנציקלופדיה בריטניקה●
שנה20עוסקת בפיתוח מוצרי תוכנה מתקדמים בתחום השפה מעל ●
החברה המובילה בעולם בפיתוח פתרונות תוכנה בשפות שמיות●
:עוסקת בשני תחומים עיקריים●
(פרסית, ערבית, עברית)חיפוש וניתוח טקסט
(ללימוד אנגלית)מורפיקסקול, מורפיקס
(מילים נקדן ועודרב )מילונים ופתרונות שפה נוספים
חיפוש וניתוח
EntX ICA (Entity
extraction and Analysis)
Concept Search
Chatbot NLP Api
Text
structuring (BI)
?עברית שפה קשה
!!בהחלט
בעיית החיפוש בשפות שמיות
מורכבות זו מקשה מאוד על ביצוע , שפות שמיות מאוד מורכבות מבחינה לשונית•
.י מנועי אחזור ארגוניים"אחזור ע
מנועי חיפוש , מאות ואלפי נטיות שונותלכל מילה בשפה שמית קיימות לעיתים•
, לא יזהו את כל המופעים של מילת החיפוש כשהיא מופיעה בנטייה לשונית
.וכתוצאה מכך לא יאותרו חלק גדול מהמסמכים הרלוונטיים
:דוגמה לבעיה
. ”נשים“באחד המסמכים מופיעה המילה . ”אישה“משתמש מחפש את המילה
, מנועי חיפוש אשר אינם עושים שימוש בניתוח מורפולוגי לא יחזירו את המסמך
.לא ייחשף אליו כללוהמשתמש
city
cities
his
ofin the
at
and
their
נטיות אינן מצטרפות למילה הראשית•
נטיות מעטות•
city: חיפוש של המילה
in
מורפולוגיה באנגלית
"עיר: "חיפוש המילה-מורפולוגיה בעברית
צעיר
עירנות
עיר
ועירי
ערים
בעריהם וכשלעירהעיר
שערי הערים מהעיר
הערות
עירית
עירום
עיראק
צורות500ועוד
צורות 10000ועוד
ולעיר
מהתוצאות80%-בלי נטיות יחמיץ כעירחיפוש המילה
עירייהעירוני
עירוניים
(דו משמעות)מורפולוגיה בשפה שמית
מפיצהסלט ירקות יותר טעים -
סאמסונגאת מוצרי מפיצהחברת סאני -
בישראל
?מה כתוב פה
"מפיצה"
(דו משמעות)מורפולוגיה בשפה שמית
.אותי בבוקרהעיראבא
.היפה ביותרהעירחולון זכתה בתחרות
?מה כתוב פה
"העיר"
הפתרון של מלינגו
של מלינגו מתחבר למנועי חיפוש ארגוניים - Concept Searchה
ומסייע להם להתגבר על בעיות השפה ובכך משפרים משמעותית את
. תוצאות החיפוש ומיצוי הטקסט
הרכיב מנתח את הטקסט ומנרמל כל מילה לצורת היסוד שלה בהתאם
.להקשר של כל מילה בטקסט
טיפול בהטיות●
.חיפוש על ערך יביא את כל ההטיות האפשריות
. 'וכו" ולרופאי", "ורופאיהם", "רופאים"יאחזר " רופא"חיפוש של
כולל טיפול בפעלים
.'וכו, מיירטים, יירטו= ירט
משמעות לפי ההקשר במשפט-התגברות על רב ●
מורשית מפיצההיא "אבל לא " רגילהפיצהמטעימה יותר "יאחזר – Pizza" פיצה"חיפוש
. "של המוצר
.חסר/טיפול בכתיב מלא●
מיזוג אוויר= מיזוג אויר
מיליון= מליון
אירוע= ארוע
מאפייני המערכת
.טיפול בכתיבים חלופיים●מוזיקה= מוסיקה
תפיסה= תפישה
(מצלול)סאונדקס●.רלוונטי במיוחד לחיפוש שמות. חיפוש לפי צליל מילת החיפוש
אברבוך = אוורבוך
מאזדה= מזדה
.חיפוש לפי תזאורוס●
. כולל כל ההטיות, זיהוי עשיר של מילים נרדפות
". ההליקופטרים"ו" מסוקם"וכן " הליקופטר"יאחזר " מסוק"
"אשראי"יאחזר " קרדיט"
".דפדפנים"ו" דפדפן"יאחזר " בראוזר"
מאפייני המערכת
הרחבה למשפחה סמנטית -תמיכה בחיפוש מורחב ●זיהוי של מילים החולקות את אותו השורש ויש ביניהן קשר סמנטי
(גם אם אינן מאותה צורת יסוד)
". עיתונים"ו" עיתונאים", "עיתונות"יאחזר " עיתון"
".במצלמה"ו" צלמים"יאחזר " צילום"
".חטפו"ו" לחטוף"יאחזר " חטיפה"
.תמיכה בחיפוש מוכוון שמות●. 'וכו" הברק", "ברקים"יאחזר תוצאות הכוללות הטיות של המילה " ברק"החיפוש הרגיל
ולאחזר תוצאות בהן מדובר בשם " ברק"אפשרות זו מבצעת חיפוש שמות ממוקד על
תהיה הרחבת מצלול , כמו כן'; וכו" הברקים"אך לא " ושברק", "ברק"בלבד ואז יופיע
".באראק"למשל , לשם
מאפייני המערכת
Ranking-שיפור ה●מציאת צורת המקור של כל מילה מאפשרת מציאת מספר מופעים מדויק יותר ומרחק מדויק
. יותר בין המילים שחופשו ולכן שיפור של מיון התוצאות
(.בתקציר)סימון מילות החיפוש בדף תוצאות החיפוש ●
יסומנו בתוצאות החיפוש-' וכונרדפות, כולל כל ההטיותמילות החיפוש
–( אופציונלית)אפשרות להרחבה נוספת ●
אנגלית /חיפוש דו לשוני לסביבת טקסט משולבת עברית-
תזאורוס חיצוני -אפשרות להוספת מילון משתמש -
חיפוש ערים בישראל –למשל , (זמין בחלק מהמנועי החיפוש)אפשרות לחיפוש מושגי -
’ לוד וכו, חולון, נתניה, תל אביב: יחזיר
תמיכה בהיפוך מקלדת-
תמיכה בתיקון טעויות-
המוצרים והתוכן מתעדכנים באופן שוטף על ידי צוות החברה
מאפייני המערכת
דוגמאות
תאגיד בנקאי –דוגמאות לבעיות חיפוש
תוצאות3מחזיר " פיקדונות"חיפוש הערך
תאגיד בנקאי –דוגמאות לבעיות חיפוש
תוצאות0מחזיר " פקדונות"חיפוש הערך
דוגמאות לבעיות חיפוש
תוצאות53מחזיר " אשראי"חיפוש הערך
דוגמאות לבעיות חיפוש
1מחזיר רק תוצאה " קרדיט"חיפוש הערך
אתר רשת רהיטים גדולה–דוגמאות לבעיות חיפוש
תוצאות113מחזיר ( בסוף" א"עם " )כורסא"חיפוש הערך
תוצאות0מחזיר ( בסוף" ה"עם " )כורסה"חיפוש הערך
אתר רשת רהיטים גדולה–דוגמאות לבעיות חיפוש
תוצאות200מחזיר מעל "( י"עם " )כיסא"חיפוש הערך
אתר רשת רהיטים גדולה–דוגמאות לבעיות חיפוש
תוצאות0מחזיר רק "( י"-בלי ה" )כסא"חיפוש הערך
אתר רשת רהיטים גדולה–דוגמאות לבעיות חיפוש
מורחבחיפוש מורפולוגי –" תאונה רכב"חיפוש הערך
אתר נבו הוצאה לאור–חיפוש עם מלינגו
רב מיליםמילון –הבסיס לכל העושר הזה
המילון המקוון המקיף והמדויק ביותר ברשת
המילון כולל את כל המילים והנטיות שלהן בעברית לרבות:
משמעויות ודוגמאות שימוש , הסברים מלאים
כולל מליצות וסלנג–מילים נרדפות
כל הביטויים הקשורים למילה מסוימת והסבר שלהם –צירופי מילים
כל המילים המתחרזות עם מילה מסוימת –חריזה
בניין ועוד, משקל, נטיות, כתיב מלא, ניקוד–ניתוח דקדוקי מלא –דקדוק.
המרת תאריכים ומספרים
תרגום עברי אנגלי
פותר תשבצים
