![Page 1: Tresna linguistikoak informazioa atzitzekoixa.si.ehu.eus/sites/default/files/dokumentuak/3891/pdf.pdf · informazioa erlazionatzeko estaldura handitzeko (epaile/magistratu) eleaniztasuna](https://reader033.vdocuments.site/reader033/viewer/2022061001/60aff7a176a51d6ce62a1453/html5/thumbnails/1.jpg)
Tresna linguistikoak informazioa atzitzeko
Eneko Agirre, Iñaki Alegria
Ixa taldeahttp://ixa.si.ehu.es
![Page 2: Tresna linguistikoak informazioa atzitzekoixa.si.ehu.eus/sites/default/files/dokumentuak/3891/pdf.pdf · informazioa erlazionatzeko estaldura handitzeko (epaile/magistratu) eleaniztasuna](https://reader033.vdocuments.site/reader033/viewer/2022061001/60aff7a176a51d6ce62a1453/html5/thumbnails/2.jpg)
Aurkezpena
Sarrera IR (informazioaren bilaketa) Oinarrizko tresna linguistikoak Morfologian oinarritutako aplikazioak Sintaxian oinarritutako aplikazioak CLIR (eleaniztasuna) IR multimodala QA (galdera-erantzunak)
![Page 3: Tresna linguistikoak informazioa atzitzekoixa.si.ehu.eus/sites/default/files/dokumentuak/3891/pdf.pdf · informazioa erlazionatzeko estaldura handitzeko (epaile/magistratu) eleaniztasuna](https://reader033.vdocuments.site/reader033/viewer/2022061001/60aff7a176a51d6ce62a1453/html5/thumbnails/3.jpg)
Ixa taldea
![Page 4: Tresna linguistikoak informazioa atzitzekoixa.si.ehu.eus/sites/default/files/dokumentuak/3891/pdf.pdf · informazioa erlazionatzeko estaldura handitzeko (epaile/magistratu) eleaniztasuna](https://reader033.vdocuments.site/reader033/viewer/2022061001/60aff7a176a51d6ce62a1453/html5/thumbnails/4.jpg)
Ixa taldea
6 esplotazio-lizentzia (patente) Spin-off enpresa: Eleka Hainbat produktu merkatuan (lankidetzan)
Eleka, Elhuyar, Elkar, Euskaltel, ... Microsoft, Scansoft, Eatoni, ...
Hainbat prototipo aurrekomertzial Adibideak:
Xuxen zuzentzaile ortografikoa: www.xuxen.com Opentrad-Matxin itzultzaile automatikoa:
www.opentrad.com Beste asko
![Page 5: Tresna linguistikoak informazioa atzitzekoixa.si.ehu.eus/sites/default/files/dokumentuak/3891/pdf.pdf · informazioa erlazionatzeko estaldura handitzeko (epaile/magistratu) eleaniztasuna](https://reader033.vdocuments.site/reader033/viewer/2022061001/60aff7a176a51d6ce62a1453/html5/thumbnails/5.jpg)
ixa.si.ehu.es
![Page 6: Tresna linguistikoak informazioa atzitzekoixa.si.ehu.eus/sites/default/files/dokumentuak/3891/pdf.pdf · informazioa erlazionatzeko estaldura handitzeko (epaile/magistratu) eleaniztasuna](https://reader033.vdocuments.site/reader033/viewer/2022061001/60aff7a176a51d6ce62a1453/html5/thumbnails/6.jpg)
IR
Bilaketen teknologia Internet: Google, Yahoo, Elebila, ... Intranet: Hemerotekak, liburutegi digitalak, ...
Teknologia Tresna orokorrak (plug-in/gehigarriak):
• Jabedunak: Autonomy, ...
• Libreak: Lucene, Greenstone, ... Neurrira egindakoak
Ebaluazioa: Precision (doitasuna) Recall (estaldura)
Aldaerak CLIR, IR multimodala, QA
![Page 7: Tresna linguistikoak informazioa atzitzekoixa.si.ehu.eus/sites/default/files/dokumentuak/3891/pdf.pdf · informazioa erlazionatzeko estaldura handitzeko (epaile/magistratu) eleaniztasuna](https://reader033.vdocuments.site/reader033/viewer/2022061001/60aff7a176a51d6ce62a1453/html5/thumbnails/7.jpg)
IR
![Page 8: Tresna linguistikoak informazioa atzitzekoixa.si.ehu.eus/sites/default/files/dokumentuak/3891/pdf.pdf · informazioa erlazionatzeko estaldura handitzeko (epaile/magistratu) eleaniztasuna](https://reader033.vdocuments.site/reader033/viewer/2022061001/60aff7a176a51d6ce62a1453/html5/thumbnails/8.jpg)
IR
Bizitza google baino lehenemaitza eskasagoakabiadura motelagaldera zehatzagoakontologien erabilpena
Egoera korapilatsuakerantzunik ez/gutxi (estaldura handitu behar)erantzun gehiegi (galdera findu behar)
• relevance-feedback
![Page 9: Tresna linguistikoak informazioa atzitzekoixa.si.ehu.eus/sites/default/files/dokumentuak/3891/pdf.pdf · informazioa erlazionatzeko estaldura handitzeko (epaile/magistratu) eleaniztasuna](https://reader033.vdocuments.site/reader033/viewer/2022061001/60aff7a176a51d6ce62a1453/html5/thumbnails/9.jpg)
Hemerotekak
Informazio egituratuagoa eta laburragoa Metadatuak:
bilaketa-estrategia matadatuen arabera Informazio multimodala? Estandarrak informazio-trukerako
Dublin Core, MARC (liburutegi digitalak) IR ezaugarriak
galdera osoagoak?• bilaketa aurreratua
denbora gehiago? estaldura oso garrantzitsua
![Page 10: Tresna linguistikoak informazioa atzitzekoixa.si.ehu.eus/sites/default/files/dokumentuak/3891/pdf.pdf · informazioa erlazionatzeko estaldura handitzeko (epaile/magistratu) eleaniztasuna](https://reader033.vdocuments.site/reader033/viewer/2022061001/60aff7a176a51d6ce62a1453/html5/thumbnails/10.jpg)
Hemeroteka
![Page 11: Tresna linguistikoak informazioa atzitzekoixa.si.ehu.eus/sites/default/files/dokumentuak/3891/pdf.pdf · informazioa erlazionatzeko estaldura handitzeko (epaile/magistratu) eleaniztasuna](https://reader033.vdocuments.site/reader033/viewer/2022061001/60aff7a176a51d6ce62a1453/html5/thumbnails/11.jpg)
Tresna linguistikoak
morfologia/lematizazioa/stemming estaldura handitzeko (hizkuntzen arabera) galderen akatsak zuzentzeko
sintaxia + estatistika terminologia, pertsona/toki/erakunde izenak informazio interesgarriena eskaintzeko
semantika informazioa erlazionatzeko estaldura handitzeko (epaile/magistratu)
eleaniztasuna (hiztegiak, itzulpen automatikoa) hemeroteka eleanitzak erabiltzaile eleanitzak hizkuntza ez-ezagunak
modu multimodala (hizketaren ezagutza, irudien sailkapena) irudi, hizketa, bideo gainean bilatzea
![Page 12: Tresna linguistikoak informazioa atzitzekoixa.si.ehu.eus/sites/default/files/dokumentuak/3891/pdf.pdf · informazioa erlazionatzeko estaldura handitzeko (epaile/magistratu) eleaniztasuna](https://reader033.vdocuments.site/reader033/viewer/2022061001/60aff7a176a51d6ce62a1453/html5/thumbnails/12.jpg)
Itzulpen automatikoa: Matxin
![Page 13: Tresna linguistikoak informazioa atzitzekoixa.si.ehu.eus/sites/default/files/dokumentuak/3891/pdf.pdf · informazioa erlazionatzeko estaldura handitzeko (epaile/magistratu) eleaniztasuna](https://reader033.vdocuments.site/reader033/viewer/2022061001/60aff7a176a51d6ce62a1453/html5/thumbnails/13.jpg)
Semantika: MCR (Multilingual Central Repository)
Hizkuntza desberdinetako kontzeptuak MCRn daude gordeta
Erlazioa hizkuntzen artean eta kontzeptuen artean
Kontzeptuen artean erlazio konplexuak lortzea edo inferitzeaZer egiten da kafearekin? Edan
![Page 14: Tresna linguistikoak informazioa atzitzekoixa.si.ehu.eus/sites/default/files/dokumentuak/3891/pdf.pdf · informazioa erlazionatzeko estaldura handitzeko (epaile/magistratu) eleaniztasuna](https://reader033.vdocuments.site/reader033/viewer/2022061001/60aff7a176a51d6ce62a1453/html5/thumbnails/14.jpg)
MCR
MultilingualCentral Repository
ItalianEWN
BasqueEWN
SpanishEWN
EnglishEWN
BasqueWeb Corpus
ItalianWeb Corpus
EnglishWeb Corpus
CatalanEWN
SpanishWeb Corpus
CatalanWeb Corpus
ACQ
ACQACQ
ACQ
UPLOADUPLOAD
UPLOADUPLOAD
PORT
PORT
PORT
PORT
WSD
WSD
WSD
WSD
![Page 15: Tresna linguistikoak informazioa atzitzekoixa.si.ehu.eus/sites/default/files/dokumentuak/3891/pdf.pdf · informazioa erlazionatzeko estaldura handitzeko (epaile/magistratu) eleaniztasuna](https://reader033.vdocuments.site/reader033/viewer/2022061001/60aff7a176a51d6ce62a1453/html5/thumbnails/15.jpg)
WordNet
![Page 16: Tresna linguistikoak informazioa atzitzekoixa.si.ehu.eus/sites/default/files/dokumentuak/3891/pdf.pdf · informazioa erlazionatzeko estaldura handitzeko (epaile/magistratu) eleaniztasuna](https://reader033.vdocuments.site/reader033/viewer/2022061001/60aff7a176a51d6ce62a1453/html5/thumbnails/16.jpg)
Morfologian oinarritutako aplikazioak
Lematizazioa/stemming funtzioak:
• hemerotekaren lematizazioa datu-basera eraman aurretik
• galderan oinarritutako sorkuntza galderaren lematizazioa
Zuzenketa hitz arraroen (erantzun gabe/gutxi) aurrean proposamenak
![Page 17: Tresna linguistikoak informazioa atzitzekoixa.si.ehu.eus/sites/default/files/dokumentuak/3891/pdf.pdf · informazioa erlazionatzeko estaldura handitzeko (epaile/magistratu) eleaniztasuna](https://reader033.vdocuments.site/reader033/viewer/2022061001/60aff7a176a51d6ce62a1453/html5/thumbnails/17.jpg)
Dokumentu-bilatzaileak(lematizazioarekin)• Ez da bilatzen “saguarekin” “sagu” baizik• Zaborrik ez da agertzen sagu-rekin hasten direnak baina ez dagozkio “sagu” hitzari Adibidez: “saguzar”• Atzizkidun hitzak aurkitzen dira “saguen”, “saguaren”, “sagua”, “saguetan”
![Page 18: Tresna linguistikoak informazioa atzitzekoixa.si.ehu.eus/sites/default/files/dokumentuak/3891/pdf.pdf · informazioa erlazionatzeko estaldura handitzeko (epaile/magistratu) eleaniztasuna](https://reader033.vdocuments.site/reader033/viewer/2022061001/60aff7a176a51d6ce62a1453/html5/thumbnails/18.jpg)
23/04/08© IXA Research Group on NLP (UPV/EHU)18
Dokumentu-bilatzaileak(lematizazioarekin)• Ez da bilatzen “saguarekin” “sagu” baizik• Zaborrik ez da agertzen sagu-rekin hasten direnak baina ez dagozkio “sagu” hitzari Adibidez: “saguzar”• Atzizkidun hitzak aurkitzen dira “saguen”, “saguaren”, “sagua”, “saguetan”
![Page 19: Tresna linguistikoak informazioa atzitzekoixa.si.ehu.eus/sites/default/files/dokumentuak/3891/pdf.pdf · informazioa erlazionatzeko estaldura handitzeko (epaile/magistratu) eleaniztasuna](https://reader033.vdocuments.site/reader033/viewer/2022061001/60aff7a176a51d6ce62a1453/html5/thumbnails/19.jpg)
Sintaxian oinarritutako aplikazioak
Informazio esanguratsua: izen-sintagmak, terminoak eta izen propioak
Funtzioa: bilatzea estekatzea multzokatzea (clustering) galdera fintzea
Aplikazioak: bistaratze bereziak dokumentuen multzokatzea (Eleka)
![Page 20: Tresna linguistikoak informazioa atzitzekoixa.si.ehu.eus/sites/default/files/dokumentuak/3891/pdf.pdf · informazioa erlazionatzeko estaldura handitzeko (epaile/magistratu) eleaniztasuna](https://reader033.vdocuments.site/reader033/viewer/2022061001/60aff7a176a51d6ce62a1453/html5/thumbnails/20.jpg)
IR aurreratua
![Page 21: Tresna linguistikoak informazioa atzitzekoixa.si.ehu.eus/sites/default/files/dokumentuak/3891/pdf.pdf · informazioa erlazionatzeko estaldura handitzeko (epaile/magistratu) eleaniztasuna](https://reader033.vdocuments.site/reader033/viewer/2022061001/60aff7a176a51d6ce62a1453/html5/thumbnails/21.jpg)
CLIR
IR hainbat hizkuntzetan Aukerak
galderak itzultzeadokumentuak itzultzeasemantika bidez proiektatzea
Gure aukera:MCREtorkizunean itzulpen automatikoa
Adibideak: EFE (Meaning), ArgazkiPress
![Page 22: Tresna linguistikoak informazioa atzitzekoixa.si.ehu.eus/sites/default/files/dokumentuak/3891/pdf.pdf · informazioa erlazionatzeko estaldura handitzeko (epaile/magistratu) eleaniztasuna](https://reader033.vdocuments.site/reader033/viewer/2022061001/60aff7a176a51d6ce62a1453/html5/thumbnails/22.jpg)
CLIR (EFE)
![Page 23: Tresna linguistikoak informazioa atzitzekoixa.si.ehu.eus/sites/default/files/dokumentuak/3891/pdf.pdf · informazioa erlazionatzeko estaldura handitzeko (epaile/magistratu) eleaniztasuna](https://reader033.vdocuments.site/reader033/viewer/2022061001/60aff7a176a51d6ce62a1453/html5/thumbnails/23.jpg)
CLIR (EFE)
News Article 10CONTEXT = Sigue la violencia en Colombia y especialmente en
Medellín. GOAL = Un entierro en Medellín.
QUERY = entierro medellín TEXT = sepelio medellín RESULT = FH_1205173 20040524RESULT = FH_1205172 20040524<entierro #35, sepelio #14, enterramiento #7> = <burial, funeral>
![Page 24: Tresna linguistikoak informazioa atzitzekoixa.si.ehu.eus/sites/default/files/dokumentuak/3891/pdf.pdf · informazioa erlazionatzeko estaldura handitzeko (epaile/magistratu) eleaniztasuna](https://reader033.vdocuments.site/reader033/viewer/2022061001/60aff7a176a51d6ce62a1453/html5/thumbnails/24.jpg)
CLIR: ebaluazioa
Hitza HobetuaActions 295 168Pictures 20 24
MCR+desanbiguazio semantikoa:• Ekintza gutxiago• Argazki gehiago
SemEval-2007 / CLEF-2008 exercise• Semantikaren eragina CLIR eta Q&A)
arlotan
![Page 25: Tresna linguistikoak informazioa atzitzekoixa.si.ehu.eus/sites/default/files/dokumentuak/3891/pdf.pdf · informazioa erlazionatzeko estaldura handitzeko (epaile/magistratu) eleaniztasuna](https://reader033.vdocuments.site/reader033/viewer/2022061001/60aff7a176a51d6ce62a1453/html5/thumbnails/25.jpg)
IR multimodala
Soinuan, irudietan eta bideotan bilaketak egitea Oinarrizko tresnak
hizketa-ezagutzaileak• doitasuna: %60tik gora
irudien sailkapen automatikoa Oinarrizko estrategia:
sailkapenak --> metadatuak hizketa --> testua elementuak: estekak ohiko bilatzailea
![Page 26: Tresna linguistikoak informazioa atzitzekoixa.si.ehu.eus/sites/default/files/dokumentuak/3891/pdf.pdf · informazioa erlazionatzeko estaldura handitzeko (epaile/magistratu) eleaniztasuna](https://reader033.vdocuments.site/reader033/viewer/2022061001/60aff7a176a51d6ce62a1453/html5/thumbnails/26.jpg)
QA (galdera-erantzunak)
Emaitza ez da dokumentua, erantzuna baizik Galdera motak
Faktoideak (nork, zer, non, noiz) Definizioak
IR + patroien erauzketa galderen analisia pasarteen berreskurapena ohiko IRz erantzunaren bilaketa
Arrakasta mugatua Ihardetsi prototipoa
![Page 27: Tresna linguistikoak informazioa atzitzekoixa.si.ehu.eus/sites/default/files/dokumentuak/3891/pdf.pdf · informazioa erlazionatzeko estaldura handitzeko (epaile/magistratu) eleaniztasuna](https://reader033.vdocuments.site/reader033/viewer/2022061001/60aff7a176a51d6ce62a1453/html5/thumbnails/27.jpg)
Ihardetsi
![Page 28: Tresna linguistikoak informazioa atzitzekoixa.si.ehu.eus/sites/default/files/dokumentuak/3891/pdf.pdf · informazioa erlazionatzeko estaldura handitzeko (epaile/magistratu) eleaniztasuna](https://reader033.vdocuments.site/reader033/viewer/2022061001/60aff7a176a51d6ce62a1453/html5/thumbnails/28.jpg)
IR semantikoa
Izenburua: Yielding Ontologies for Transition-Based Organization
Helburuak: Ezagutza partekatzea hizkuntzen eta kulturen artean Bilaketa semantiko sakona eta testu-erauzketa intentsiboa Wiki-ingurunea adituak haien ezagutza sartzeko informatikarien
laguntzarik gabe Iraupena:
2008ko martxoa – 2011ko martxoa Ekimena:
30 pertsona-urte Partaideak
• Herbehereak, Italia, Alemania, Euskal Herria• Unibertsitateak, enpresak, administrazioa eta ingurumen-taldeak• Taiwan and Japonia bertatik finantziatuta
![Page 29: Tresna linguistikoak informazioa atzitzekoixa.si.ehu.eus/sites/default/files/dokumentuak/3891/pdf.pdf · informazioa erlazionatzeko estaldura handitzeko (epaile/magistratu) eleaniztasuna](https://reader033.vdocuments.site/reader033/viewer/2022061001/60aff7a176a51d6ce62a1453/html5/thumbnails/29.jpg)
Kyoto (ICT-211423)
Hizkuntzak: English, Dutch, Italian, Spanish, Basque, Chinese, Japanese
Domeinua: Environmental domain, BUT usable in any domain
Esparrua: Both European and non-European languages
Eskuragarritasuna: Free: as open source system and data
Etorkizunerako pentsatua: Content standardization that supports world wide
communication Global Wordnet Grid
![Page 30: Tresna linguistikoak informazioa atzitzekoixa.si.ehu.eus/sites/default/files/dokumentuak/3891/pdf.pdf · informazioa erlazionatzeko estaldura handitzeko (epaile/magistratu) eleaniztasuna](https://reader033.vdocuments.site/reader033/viewer/2022061001/60aff7a176a51d6ce62a1453/html5/thumbnails/30.jpg)
Environmental organizations
Capture
Index
Docs
URLs
Experts
Images
Search
Dialogue
ConceptMining
FactMining
Θ
Abstract PhysicalTop
Middle
Domain
water CO2
Substance
CO2 emission
water pollution
Universal Ontology Wordnets
Environmental organizations
CitizensGovernorsCompanies
DomainWiki
Process
Environmental organizations
Capture
Index
Docs
URLs
Experts
Images
Search
Dialogue
ConceptMining
FactMining
Θ
Abstract PhysicalTop
Middle
Domain
water CO2
Substance
CO2 emission
water pollution
Universal Ontology Wordnets
Environmental organizations
CitizensGovernorsCompanies
DomainWiki
Process
![Page 31: Tresna linguistikoak informazioa atzitzekoixa.si.ehu.eus/sites/default/files/dokumentuak/3891/pdf.pdf · informazioa erlazionatzeko estaldura handitzeko (epaile/magistratu) eleaniztasuna](https://reader033.vdocuments.site/reader033/viewer/2022061001/60aff7a176a51d6ce62a1453/html5/thumbnails/31.jpg)
Informazio-beharrak
What companies produce a lot of damaging substances? Zein enpresek sortzen dituzte substantzia
kaltegarriak? Air pollution by traffic
Trafikoak eragindako aire poluzioa Sick because of air pollution
Aire poluzioarengatik gaixotutakoak Cause of air pollution
Aire-poluzioaren kausak Air pollution from the Ruhr area
Ruhr inguruko aire poluzioa