prototypische entwicklung einer software für die erfassung ... · evaluierungsmodell nr....
TRANSCRIPT
![Page 1: Prototypische Entwicklung einer Software für die Erfassung ... · Evaluierungsmodell Nr. Anforderung Umsetzung im Prototyp 1 Auswahl der Suchmaschinen wird durch den Prototyp unterstützt](https://reader034.vdocuments.site/reader034/viewer/2022050201/5f5468706f943b09c7241116/html5/thumbnails/1.jpg)
Prototypische Entwicklung einer Software für die Erfassung und Analyse explorativer Suchen in Verbindung mit Tests zur Retrievaleffektivität
SWIF 2012: 08. – 10. November 2012 Session 4 „All about Search – Suchmaschinen und ihre Evaluierung“
Sebastian Sünkler
Hochschule für Angewandte Wissenschaften Hamburg
![Page 2: Prototypische Entwicklung einer Software für die Erfassung ... · Evaluierungsmodell Nr. Anforderung Umsetzung im Prototyp 1 Auswahl der Suchmaschinen wird durch den Prototyp unterstützt](https://reader034.vdocuments.site/reader034/viewer/2022050201/5f5468706f943b09c7241116/html5/thumbnails/2.jpg)
Prototypische Entwicklung einer Software für die Erfassung und Analyse explorativer Suchen in Verbindung mit Tests zur Retrievaleffektivität 10.11.2012
Übersicht
● Rahmenbedingungen zur Master-Thesis
● Evaluierung von Suchmaschinen
● Entwicklung des Prototyps
● Abgleich des Prototyps mit dem Evaluierungsmodell
● Grenzen des Prototyps
● Fazit und Ausblick
![Page 3: Prototypische Entwicklung einer Software für die Erfassung ... · Evaluierungsmodell Nr. Anforderung Umsetzung im Prototyp 1 Auswahl der Suchmaschinen wird durch den Prototyp unterstützt](https://reader034.vdocuments.site/reader034/viewer/2022050201/5f5468706f943b09c7241116/html5/thumbnails/3.jpg)
Prototypische Entwicklung einer Software für die Erfassung und Analyse explorativer Suchen in Verbindung mit Tests zur Retrievaleffektivität 10.11.2012
Rahmenbedingungen zur
Master-Thesis
● Masterstudiengang Informationswissenschaft und –
management an der Fakultät Design, Medien und
Information im Department Information
● Bearbeitungszeitraum: 01. September 2011 – 28.
Februar 2012
● Master of Arts
![Page 4: Prototypische Entwicklung einer Software für die Erfassung ... · Evaluierungsmodell Nr. Anforderung Umsetzung im Prototyp 1 Auswahl der Suchmaschinen wird durch den Prototyp unterstützt](https://reader034.vdocuments.site/reader034/viewer/2022050201/5f5468706f943b09c7241116/html5/thumbnails/4.jpg)
Prototypische Entwicklung einer Software für die Erfassung und Analyse explorativer Suchen in Verbindung mit Tests zur Retrievaleffektivität 10.11.2012
Evaluierung von Suchmaschinen
Quelle: http://www.cartoonstock.com/newscartoons/cartoonists/for/lowres/forn828l.jpg
Quelle: http://www.cartoonstock.com/newscartoons/cartoonists/jdi/lowres/jdin268l.jpg
![Page 5: Prototypische Entwicklung einer Software für die Erfassung ... · Evaluierungsmodell Nr. Anforderung Umsetzung im Prototyp 1 Auswahl der Suchmaschinen wird durch den Prototyp unterstützt](https://reader034.vdocuments.site/reader034/viewer/2022050201/5f5468706f943b09c7241116/html5/thumbnails/5.jpg)
Prototypische Entwicklung einer Software für die Erfassung und Analyse explorativer Suchen in Verbindung mit Tests zur Retrievaleffektivität 10.11.2012
Evaluierung von Suchmaschinen:
Messung der Qualität
● Bereiche bei der Qualitätsmessung von
Suchmaschinen nach Lewandowski und Höchstötter:
● Qualität des Index
● Qualität der Suchresultate
● Qualität der Suchfunktionen
● Nutzerfreundlichkeit von Suchmaschinen
![Page 6: Prototypische Entwicklung einer Software für die Erfassung ... · Evaluierungsmodell Nr. Anforderung Umsetzung im Prototyp 1 Auswahl der Suchmaschinen wird durch den Prototyp unterstützt](https://reader034.vdocuments.site/reader034/viewer/2022050201/5f5468706f943b09c7241116/html5/thumbnails/6.jpg)
Prototypische Entwicklung einer Software für die Erfassung und Analyse explorativer Suchen in Verbindung mit Tests zur Retrievaleffektivität 10.11.2012
Evaluierung von Suchmaschinen:
Messung der Qualität
● Bereiche bei der Qualitätsmessung von
Suchmaschinen nach Lewandowski und Höchstötter:
● Qualität des Index
● Qualität der Suchresultate
● Qualität der Suchfunktionen
● Nutzerfreundlichkeit von Suchmaschinen
in Kombination mit Erhebungen zum Nutzerverhalten
![Page 7: Prototypische Entwicklung einer Software für die Erfassung ... · Evaluierungsmodell Nr. Anforderung Umsetzung im Prototyp 1 Auswahl der Suchmaschinen wird durch den Prototyp unterstützt](https://reader034.vdocuments.site/reader034/viewer/2022050201/5f5468706f943b09c7241116/html5/thumbnails/7.jpg)
Prototypische Entwicklung einer Software für die Erfassung und Analyse explorativer Suchen in Verbindung mit Tests zur Retrievaleffektivität 10.11.2012
Evaluierung von Suchmaschinen:
Beispiele für Forschungsfragen
Quelle: http://techwyse.com/blog/wp-content/uploads/2009/08/google-ranks-first-in-search-satisfaction.jpg
Quelle: http://goodcreditscore.dnb.com/wp-content/uploads/2012/06/search-ranking.jpg
● Ist Google wirklich die beste Suchmaschine?
● Wie gut sind die Suchergebnisse von Suchmaschinen
untereinander?
● Inwieweit können erhobene Interaktionsdaten von Nutzern für
die Relevanzbewertung genutzt werden?
● …
![Page 8: Prototypische Entwicklung einer Software für die Erfassung ... · Evaluierungsmodell Nr. Anforderung Umsetzung im Prototyp 1 Auswahl der Suchmaschinen wird durch den Prototyp unterstützt](https://reader034.vdocuments.site/reader034/viewer/2022050201/5f5468706f943b09c7241116/html5/thumbnails/8.jpg)
Prototypische Entwicklung einer Software für die Erfassung und Analyse explorativer Suchen in Verbindung mit Tests zur Retrievaleffektivität 10.11.2012
Evaluierung von Suchmaschinen:
Evaluierungsmethoden
● Evaluierung von Suchdiensten hat eine lange Tradition
● systemorientierte Methoden
● Suchmaschine im Fokus
● klassische Retrievaltests
● Standardaufbau vorhanden
● Klicktests
● nutzerorientierte Methoden
● Benutzer im Fokus
● Schwierigkeiten bei der Entwicklung von Standards
● objektive und subjektive Methoden
![Page 9: Prototypische Entwicklung einer Software für die Erfassung ... · Evaluierungsmodell Nr. Anforderung Umsetzung im Prototyp 1 Auswahl der Suchmaschinen wird durch den Prototyp unterstützt](https://reader034.vdocuments.site/reader034/viewer/2022050201/5f5468706f943b09c7241116/html5/thumbnails/9.jpg)
Prototypische Entwicklung einer Software für die Erfassung und Analyse explorativer Suchen in Verbindung mit Tests zur Retrievaleffektivität 10.11.2012
Evaluierung von Suchmaschinen:
explorative Suche
Quelle: Marchionini, Gary: Exploratory Search : From Finding to Understanding. In: Communication of the ACM, 49(4), 2006, S. 41 – 46.
![Page 10: Prototypische Entwicklung einer Software für die Erfassung ... · Evaluierungsmodell Nr. Anforderung Umsetzung im Prototyp 1 Auswahl der Suchmaschinen wird durch den Prototyp unterstützt](https://reader034.vdocuments.site/reader034/viewer/2022050201/5f5468706f943b09c7241116/html5/thumbnails/10.jpg)
Prototypische Entwicklung einer Software für die Erfassung und Analyse explorativer Suchen in Verbindung mit Tests zur Retrievaleffektivität 10.11.2012
Evaluierung von Suchmaschinen:
Zusammenführung der Methoden
![Page 11: Prototypische Entwicklung einer Software für die Erfassung ... · Evaluierungsmodell Nr. Anforderung Umsetzung im Prototyp 1 Auswahl der Suchmaschinen wird durch den Prototyp unterstützt](https://reader034.vdocuments.site/reader034/viewer/2022050201/5f5468706f943b09c7241116/html5/thumbnails/11.jpg)
Prototypische Entwicklung einer Software für die Erfassung und Analyse explorativer Suchen in Verbindung mit Tests zur Retrievaleffektivität 10.11.2012
Evaluierung von Suchmaschinen:
Zusammenführung der Methoden
1. Auswahl der Suchmaschinen
2. Definition der Zielgruppe
3. Festlegung des Testzeitraums, Testumgebung
4. Gestaltung von Fragebögen
5. Gestaltung simulierter Arbeitsaufgaben
6. Festlegung von Skalen
7. Analyse der durchgeführten Suchen
8. Generierung von Ergebnissets
9. Auswertung der Daten
![Page 12: Prototypische Entwicklung einer Software für die Erfassung ... · Evaluierungsmodell Nr. Anforderung Umsetzung im Prototyp 1 Auswahl der Suchmaschinen wird durch den Prototyp unterstützt](https://reader034.vdocuments.site/reader034/viewer/2022050201/5f5468706f943b09c7241116/html5/thumbnails/12.jpg)
Prototypische Entwicklung einer Software für die Erfassung und Analyse explorativer Suchen in Verbindung mit Tests zur Retrievaleffektivität 10.11.2012
Entwicklung des Prototyps:
eingesetzte Tools
● Relevance Assessment Tool
● Entwickelt an der HAW zur Verwaltung und Durchführung
von Retrievaltests
● webbasierte Anwendung
● Search Logger
● Entwickelt an der Universität Tartu in Estland zur
Protokollierung von Nutzerinteraktionen bei der Bearbeitung
von Suchaufgaben
● Gestaltung von Suchaufgaben
● Browser Add-on für Mozilla Firefox
![Page 13: Prototypische Entwicklung einer Software für die Erfassung ... · Evaluierungsmodell Nr. Anforderung Umsetzung im Prototyp 1 Auswahl der Suchmaschinen wird durch den Prototyp unterstützt](https://reader034.vdocuments.site/reader034/viewer/2022050201/5f5468706f943b09c7241116/html5/thumbnails/13.jpg)
Prototypische Entwicklung einer Software für die Erfassung und Analyse explorativer Suchen in Verbindung mit Tests zur Retrievaleffektivität 10.11.2012
Entwicklung des Prototyps:
Relevance Assessment Tool
![Page 14: Prototypische Entwicklung einer Software für die Erfassung ... · Evaluierungsmodell Nr. Anforderung Umsetzung im Prototyp 1 Auswahl der Suchmaschinen wird durch den Prototyp unterstützt](https://reader034.vdocuments.site/reader034/viewer/2022050201/5f5468706f943b09c7241116/html5/thumbnails/14.jpg)
Prototypische Entwicklung einer Software für die Erfassung und Analyse explorativer Suchen in Verbindung mit Tests zur Retrievaleffektivität 10.11.2012
Entwicklung des Prototyps:
Search Logger
![Page 15: Prototypische Entwicklung einer Software für die Erfassung ... · Evaluierungsmodell Nr. Anforderung Umsetzung im Prototyp 1 Auswahl der Suchmaschinen wird durch den Prototyp unterstützt](https://reader034.vdocuments.site/reader034/viewer/2022050201/5f5468706f943b09c7241116/html5/thumbnails/15.jpg)
Prototypische Entwicklung einer Software für die Erfassung und Analyse explorativer Suchen in Verbindung mit Tests zur Retrievaleffektivität 10.11.2012
Entwicklung des Prototyps:
Anforderungen an den Prototyp
● Bereitstellung eines Administrationsinterfaces zur Gestaltung von Projekten
● Optionen zur Entwicklung von Arbeitsaufgaben.
● Export-Funktion für die automatische Erstellung der Browser-Extension
● Automatische Zusammenstellung der Ergebnissets für die Retrievaltests
● Funktionen für eine automatische Analyse der Logdaten
● Verbindung der Suchaufgaben aus der explorativen Suche und dem
Retrievaltest
● Anpassung der Sprache für die Test
● Definition von Skalen für die Bewertung der Suchergebnisse
● Export-Funktion der Ergebnisse aus den Projekten
● Systemunabhängigkeit bezogen auf die gängigsten Betriebssysteme
![Page 16: Prototypische Entwicklung einer Software für die Erfassung ... · Evaluierungsmodell Nr. Anforderung Umsetzung im Prototyp 1 Auswahl der Suchmaschinen wird durch den Prototyp unterstützt](https://reader034.vdocuments.site/reader034/viewer/2022050201/5f5468706f943b09c7241116/html5/thumbnails/16.jpg)
Prototypische Entwicklung einer Software für die Erfassung und Analyse explorativer Suchen in Verbindung mit Tests zur Retrievaleffektivität 10.11.2012
Entwicklung des Prototyps:
Technische Voraussetzungen
● Webanwendung
● PHP
● MySQL
● JavaScript
● HTML / CSS
● Entwicklung einer gemeinsamen Datenbank für beide
Anwendungen
● Scraper aus dem Relevance Assessment Tool
● lokale Installation im Firefox Version 3.6
![Page 17: Prototypische Entwicklung einer Software für die Erfassung ... · Evaluierungsmodell Nr. Anforderung Umsetzung im Prototyp 1 Auswahl der Suchmaschinen wird durch den Prototyp unterstützt](https://reader034.vdocuments.site/reader034/viewer/2022050201/5f5468706f943b09c7241116/html5/thumbnails/17.jpg)
Prototypische Entwicklung einer Software für die Erfassung und Analyse explorativer Suchen in Verbindung mit Tests zur Retrievaleffektivität 10.11.2012
Entwicklung des Prototyps:
Systemarchitektur
![Page 18: Prototypische Entwicklung einer Software für die Erfassung ... · Evaluierungsmodell Nr. Anforderung Umsetzung im Prototyp 1 Auswahl der Suchmaschinen wird durch den Prototyp unterstützt](https://reader034.vdocuments.site/reader034/viewer/2022050201/5f5468706f943b09c7241116/html5/thumbnails/18.jpg)
Prototypische Entwicklung einer Software für die Erfassung und Analyse explorativer Suchen in Verbindung mit Tests zur Retrievaleffektivität 10.11.2012
Entwicklung des Prototyps:
Ergebnisse aus einem Projekt
![Page 19: Prototypische Entwicklung einer Software für die Erfassung ... · Evaluierungsmodell Nr. Anforderung Umsetzung im Prototyp 1 Auswahl der Suchmaschinen wird durch den Prototyp unterstützt](https://reader034.vdocuments.site/reader034/viewer/2022050201/5f5468706f943b09c7241116/html5/thumbnails/19.jpg)
Prototypische Entwicklung einer Software für die Erfassung und Analyse explorativer Suchen in Verbindung mit Tests zur Retrievaleffektivität 10.11.2012
Abgleich des Prototyps mit dem
Evaluierungsmodell
Nr. Anforderung Umsetzung im Prototyp
1 Auswahl der Suchmaschinen wird durch den Prototyp unterstützt
2 Definition der Zielgruppe Ist keine technische Entscheidung
3 Festlegung des Testzeitraums, Testumgebung
durch Browser Add-On und Webanwendung frei wählbar.
4 Gestaltung von Fragebögen unterstützt die Anpassung von Pre- und Post-Fragebögen sowie die Gestaltung eines Formulars für die Abfrage demografischer Daten
5 Gestaltung simulierter Aufgaben Erstellung von Aufgaben mit Informationsbedürfnis, Beschreibung sowie fest definierten Skalen und Cutoff-Werten
6 Festlegung von Skalen offene und geschlossene Skalen sowie Kommentarfelder
7 Analyse durchgeführter Suchen automatische Analyse der Suchanfragen, gesichteten Webseiten und Suchergebnisse und der Suchmaschinen
8 Generierung von Ergebnissets die ausgewerteten Daten werden zur automatischen Generierung von Ergebnissets genutzt
9 Auswertung der Daten Aggregation der protokollierten Interaktionen und den expliziten Bewertungen der Ergebnisse
![Page 20: Prototypische Entwicklung einer Software für die Erfassung ... · Evaluierungsmodell Nr. Anforderung Umsetzung im Prototyp 1 Auswahl der Suchmaschinen wird durch den Prototyp unterstützt](https://reader034.vdocuments.site/reader034/viewer/2022050201/5f5468706f943b09c7241116/html5/thumbnails/20.jpg)
Prototypische Entwicklung einer Software für die Erfassung und Analyse explorativer Suchen in Verbindung mit Tests zur Retrievaleffektivität 10.11.2012
Entwicklung des Prototyps:
Grenzen des Prototyps
● nur in Verbindung mit Firefox in Version 3.6 nutzbar
● Google-Instant muss deaktiviert werden
● lokale Installation notwendig
● keine automatische Auswertung der Daten
● kein Universal Search
● ständige, manuelle Pflege der Suchmaschinenscraper
notwendig
● keine Unterstützung einer Erfassung von Ein-schätzungen des
Benutzers während der Bearbeitung von Aufgaben
● unterstützt bisher nur Google und Microsoft Bing
![Page 21: Prototypische Entwicklung einer Software für die Erfassung ... · Evaluierungsmodell Nr. Anforderung Umsetzung im Prototyp 1 Auswahl der Suchmaschinen wird durch den Prototyp unterstützt](https://reader034.vdocuments.site/reader034/viewer/2022050201/5f5468706f943b09c7241116/html5/thumbnails/21.jpg)
Prototypische Entwicklung einer Software für die Erfassung und Analyse explorativer Suchen in Verbindung mit Tests zur Retrievaleffektivität 10.11.2012
Entwicklung des Prototyps:
Fazit und Ausblick
● Das Modell und der Prototyp bieten neue Möglichkeiten in der
Evaluierung von Suchmaschinen.
● Nutzerverhalten und Retrievaltests werden kombiniert
● Planung der Studien bleibt weiterhin wichtigster Bestandteil
● Die vorgestellte Software ist eine Vereinfachung für
Testdurchführung und Datenerhebung.
● Weiterentwicklung für die Erhebung weiterer Suchergebnistypen
● Anpassung an eine modernere Firefox Version
● Lösung für eine Nutzung ohne lokale Installation
![Page 22: Prototypische Entwicklung einer Software für die Erfassung ... · Evaluierungsmodell Nr. Anforderung Umsetzung im Prototyp 1 Auswahl der Suchmaschinen wird durch den Prototyp unterstützt](https://reader034.vdocuments.site/reader034/viewer/2022050201/5f5468706f943b09c7241116/html5/thumbnails/22.jpg)
Prototypische Entwicklung einer Software für die Erfassung und Analyse explorativer Suchen in Verbindung mit Tests zur Retrievaleffektivität 10.11.2012
Vielen Dank für Ihre Aufmerksamkeit!
RAT Mini-Demo: http://www.searchstudies.org/rat
Zugangscode: RAT-Test