scopekm: chancen und risiken erkennen mit der textanalytischen lösung luxid®

scopeKMKnowledge Management

Chancen und Risiken erkennenVorstellung der textanalytischen Lösung

Luxid®

Präsentation von

Juraj Schick, scopeKM GmbH, Zürich

1. Die Erkennung von Chancen und Risiken

2. Das Strukturieren des Unstrukturierten – ein Beispiel

3. Beschreibung der Module


Agenda


Die heutigen HerausforderungenDezentralisierte Daten Limitierte Analyse * Stovepiped Information

• Stovepiped Information: "Information, die ein spezifisches Problem mit einem begrenzten Fokus beschreibt und die nicht leicht für andere Systeme anwendbar ist." (DOE, USA, 1999)


Universelle Kundenanalysen

Universelle Kundenanalyse

Sammeln, umwandeln, liefern, einführen

• Alle Quellen zusammenführen• In beliebigen Sprachen zuhören • Unternehmenssicherheit und

-wachstum unterstützen• Umsetzbare Erkenntnisse aus

den Kundenfeedbacksschaffen


Monitoring vs. Textanalyse

Charakteristika der marktgängigen Lösungen

�Monitoring: Der Fokus liegt beim Zuhören und die Darstellung der Ergebnisse in Dashboard, die visuelles Prüfen der Ergebnisse und das Vordringen zu den Daten (Drill down) ermöglichen. Typischerweise erlauben sie das „Grundverständnis“ von Stimmungen über die Zuordnung von Keywords wie z.B. „gut“, „gross“ oder „schrecklich.

�Textanalyse: Auf allen Plattformen aufbauend, ermöglichen sie das Verstehen der Bedeutungen hinter den Daten. Mit der Computerlinguistik (NLP) werden die Fakten, Meinungen und Stimmungen in den unterschiedlichsten Kanälen erklärt. Mit tiefergehen-den Reports und Visualisierungen erlaubt solche Lösung Vergleiche über längere Zeiträume und zeigt bislang unbekannte Korrelationen auf.


Die drei Hauptbereiche der Analyse� Jede weitere Schicht der sozialen Analyse liefert höheres Wissen und höhere

Werte für das Unternehmen.

� Dashboards� ZuhörenBetrachten

� Korrelationen� Analyse der Stimmung und MeinungVerstehen

� Umsetzbare Erkenntnisse identifizieren� Risk Management sicherstellenAgieren

Wer

t


Die Lösung „versteht“ die Aussagen, Meinungen und deren Kontext

Interne Daten Externe Daten

Strukturierte Daten

� Datawarehouse� Excel-Tabellen� usw.

� Partner-Datacubes

� usw.

Unstrukturierte Daten

� E-Mails� CRM-Notizen� Umfragen� usw.

� Online-Artikel� Tweets� Facebook-Posts� usw.

�Alle Kanäle werden erschlossen


ForschungCommunitiesEigenschaften der WebseitenProduktbewertungenBlogs

Verständnis

TwitterFacebookProduktbewertungen

Produktentwicklung

ForumsUmfragenWeb-AnalysenOnline-Feedback

SupportCall CenterCRM-SystemUmfragenSocial Media

Upsell

Social Media-KonversationenUmfragenCustomer Support-FeedbackTransaktionsdaten

ReklamationenMarktforschungUmfragenAuswertungen aus den Äusserungen E-Mails

Chancen auf jedem Touchpoint





Agenda


Die Lösung Luxid®

15.08.2014 10

� Die patentierte und preisgekrönte, auf Computerlinguistik basierende Plattform Luxid® zur inhaltlichen Anreicherung ist die skalierbare Lösung zur Erkennung und Extraktion relevanter und im Fliesstext versteckter Informationsabschnitte und deren Anreicherung mit Metadaten.

� Die Plattform Luxid® deckt die Information-Assets auf und optimiert deren Management, Verteilung, Zugang und Analyse.

�Luxid® strukturiert managt und nutzt den unstrukturierten Inhalt


Die drei Schlüsselbereiche der Lösung

15.08.2014 11

Luxid® Annotation Factory mit ihren Funktionalit�ten dient als Pipeline f�r die Anwendung der Computerlinguistik:

� Extraktion von Metadaten, Topics, Entit�ten und Beziehungen aus dem Text

� Kategorisierung von Dokumenten und deren Clustering� Extraktion-Engine f�r Syntax, Statistik, Taxonomie,

Regeldefinition usw.

Luxid® Skill Cartridge Library f�r Vertiefungen in unterschied-liche Anwendungen bzw. Bereiche, wie z.B. Opinion Mining, Marketing, Medizin Biologie, Pharma usw.

Luxid® Content Enrichment Studio f�r kundenspezifische Anpassungen der bestehenden bzw. Entwicklung von g�nzlich neuen Anwendungen.


Mit dem NLP (Computerlinguistik) werden verschiedene sprachliche Repräsentationsebenen sequentiell bearbeitet:

� Tokenisierung. Die Buchstabenkette wird in Wörter, Sätze etc. segmentiert.

� Morphologische Analyse. Die innere Struktur der Wörter wird betr. Bedeutung und Funktion analysiert, um die grammatikalischen Information zu extrahieren und um die Wörter im Text auf Grundformen zurückzuführen.

� Syntaxanalyse. Die Wörter jedes Satzes werden auf ihre strukturelle Funktion im Satz hin analysiert. Der Output zeigt die Wortarten für jedes Wort des Satzes, die Struktur des die Worte beinhaltenden Ausdrucks, Kategorie des Verbs, usw.

� Semantische Analyse. Den Sätzen bzw. ihren Teilen wird in einer Vielzahl von verschiedenen Einzelschritten Bedeutung zugeordnet.

Die Grundlage – NLP Natural Language Processing �Die Fakten, Meinungen und Stimmungen in den Äusserungen zu verstehen

erfordert Verständnis des natürlich gesprochenen/geschriebenen Textes.


Luxid® Annotation Factory � Robuste Metadaten-Extraktion

� UIMA: IBM-Standard, offen, skalierbar � APIs und Web Services� Nahtlose CMS- & Search Integration

� Wirkungsvolle Extraktion mit Skill Cartridges® f�r� Entit�ten� Beziehungen� Kategorien

� Breite Technologiebasis f�r 20 Sprachen� Taxonomien & Thesauri� Semantische Regeln� Statistiken / Automatisches Lernen

� Englisch� Franz�sisch� Deutsch� Holl�ndisch� Italienisch� Spanisch� Portugiesisch� Tschechisch� Russisch� Ungarisch� Polnisch� Griechisch� Schwedisch� D�nisch� Norwegisch� Finnisch� Chinesisch� Japanisch� Koreanisch� Arabisch

Lösung für:


Automatische Extraktion der Metadaten

On May 10th Microsoft bought Skype for $8 Billion.

Terms

Num ProperPrep Verb Proper Prep U NProp Card

CompanyPrep Action Company Prep Monetary Expr.Date

Entities

Relations

AcquisitionPurchaser MicrosoftTarget SkypeAmount $8 billionDate May 10th

On May 10th Microsoft bought Skype for $8 Billion.

Roles

Attributes


Metadaten – aber welche?

� Personennamen: Kunden, Partner, Links zum Verzeichnis� Organisationen: Tochtergesellschaften, Abteilungen, Zulieferer,

Wettbewerber, Partner� Interne Referenzen: Projekte, Verträge, Kunden, geographische

Angaben, Marktsegment.� Produkt- und Servicebezeichnung: Produkttaxonomie, Komponenten,

Optionen� Unternehmensterminologie und -kategorien: technisches Wörterbuch,

Dokumentenkategorisierung


Anreicherung mit MetadatenHTC Strikes Back Against Apple – Wall Street Journal - NIRAJ SHETH May 13th 2010 - HTC Corp., the maker of several phones that run on Google Inc.'s Android platform, filed a complaint against Apple Inc. alleging patent infringement, a move that follows an intellectual-property suit that the iPhone maker filed against HTC two months ago.

HTC's complaint with the U.S. International Trade Commission alleges that Apple has violated five patents held by the Taiwan-based electronics manufacturer and asks the trade court to stop Apple from selling the iPhone, the iPad and iPod in the U.S.

Apple in March filed complaints with the ITC, and in a federal court in Delaware, outlining a total of 20 patents related to touch-screen technology and mobile computing that it alleges HTC infringed. In its filing, HTC cites patents related to power consumption in smartphones and how cellphones dial contacts from an address book. Some of the patents cited by Apple in its suit also relate to power usage, but it wasn't immediately clear how similar those claims are to HTC's.

"We are taking this action against Apple to protect our intellectual property, our industry partners, and most importantly our customers that use HTC phones," HTC's North American vice president, Jason Mackenzie, said in a written statement. In another sign of the growing legal pressure on Google and its Android partners, HTC recently announced a licensing deal with Microsoft Corp., which said it believes that HTC's Android phones infringes on a range of Microsoft patents including user interfaces.

The share of Android-based smartphones in the U.S. grew to 28% in the first quarter, according to research firm NPD, for the first time edging out the iPhone's 21% share.

filed complaints with the ITCfiled complaints with the ITC

filed a complaint against Apple Inc. alleging patent infringementfiled a complaint against Apple Inc. alleging patent infringement

Beziehungen:Court CaseCourt Case

ITCITC

recently announced a licensing deal with recently announced a licensing deal with HTCHTC

LicensingLicensing

American vice presidentAmerican vice president‘s North‘s NorthHTCHTC

HRHR

HTCHTC

AppleAppleGoogleGoogle

US International Trade CommissionUS International Trade Commission

Microsoft CorpMicrosoft Corp

iPhoneiPhone iPadiPad iPodiPod

Jason MackenzieJason Mackenzie

NIRAJ SHETHNIRAJ SHETHAndroidAndroid

smartphonessmartphones cellphonescellphones

user interfacesuser interfaces

power usage power usage

HTCHTC AppleApple GoogleGoogle

Microsoft Corp.Microsoft Corp. NPDNPD

Gesellschaften:

US International Trade CommissionUS International Trade Commission

Organizationen:

Personen:Niraj ShethNiraj Sheth

iPhoneiPhone iPadiPad iPodiPodProdukte:

Technologien:AndroidAndroid smartphonessmartphones

power power usageusage user user interfacesinterfaces

The share of Android-based smartphones in the U.S. grew to 28% in the first quarter The share of Android-based smartphones in the U.S. grew to 28% in the first quarter

Market ShareMarket Share

Jason MackenzieJason Mackenzie

NPDNPD

AppleApple





Agenda


Luxid mit den Skill Cartridges

15.08.2014 18


Skill Cartridge® Library

15.08.2014 19

NewsCategories

PeopleCompaniesLocations

BusinessRelationships

TM360°

CompetitiveIntelligence

IPTCChemicalEntitiesRecognition

BiologicalEntitiesRelationships

MedicalEntitiesRelationships

BER

MER

CER

MilitaryPoliticalStrategic

Events

OpinionsSentiment

OpinionMining

RTFSTF…


Skill Cartridges® (1)

15.08.2014 20

Taxonomy-basedSkill Cartridges®

Business Rules based Skill Cartridges®

Machine-LearningSkill Cartridges®

CategorizationSkill Cartridges®

Semantic Rules basedSkill Cartridges®

Statistics-basedSkill Cartridges®

� Regelbasierte Skill Cartridges®, wie z.B. TM360� Eingebettete linguistische Modellierung oder Regeln, z.B. f�r Personen,

Kombination von Faktoreno Eigennamen (Wortarten-Analyse)o Bekannte Vornamen, Titel, usw. (Treiber)o Grossbuchstabeno Kontext (automatisches Lernen)o Begriffserkl�rungen


15.08.2014 21








� Statistik-basierte Skill Cartridges®� Extraktion relevanter Begriffe aus jeder Dokumentenart� Basis: Referenz-/ Training-Corpus� Ergebnis: Quantitative Analyse � tf/idf *(Term frequency/inverse

document frequency)

* Beurteilung der Relevanz von Termen in Dokumenten einer Dokumentensammlung beim Information Retrieval. Beispiel: Der Begriff �Philosophie� kann h�ufig genannt werden, und die Frequenz ist �hnlich hoch im Referenzcorpus. Der Begriff �norwegische Philosophie� wird h�here Relevanz bekommen, trotz wenig h�ufiger Erscheinung.


15.08.2014 22







� Kategorisierung Skill Cartridges®, wie z.B. IPTC� Themen bestimmen, basierend auf einem Set von Subjekten� Automatische Erstellung und Optimierung von Skill Cartridge� mit

Luxid� Category Workbench� Wiederverwendung existierender Assets: der Inhalt manuell klassifiziert� Sicherstellung von Produktivit�t und Konsistenz



15.08.2014 23







� Taxonomie-basierte Skill Cartridges®� Smart Taxonomy Facilitator (STF) -Technologie

o Automatische Erweiterung von Varianten mit Fuzzy Term Matchingo Reduktion des Unsch�rferauschens mit Relevance Scoring

� Schnelle und Effiziente Erstellung von Skill Cartridges�� Effiziente Wiederverwendung existierender Assets (Thesaurus,

Taxonomie)� Unterst�tzung von RDF/SKOS (W3C-Standards)� Ausgangspunkt zur semantischen Anreicherung der Inhalte.



15.08.2014 24

� Business Rules-based Skill Cartridges®� Kundenspezisches Reasoning einfach in den Anreicherungsprozess der

Inhalte integrierbar� Kenntnisse der Computerlinguistik nicht erforderlich� Verf�gbarkeit von Schnittstellen auf einen Klick.









15.08.2014 25






Term-basedSkill Cartridges®

� Machine-Learning Skill Cartridges®� Einfache Erfassung & Anwendung kundenspezifischer Annotationen im

Anreicherungsprozess der Inhalte� Effiziente Wiederverwendung des annotierten Corpus�� Nur rudiment�re Kenntnisse der Computerlinguistik erforderlich.



15.08.2014 26

Content Enrichment Studio

Taxonomy-basedSkill Cartridge® Development

KnowledgeEditor

Semantic Rules basedSkill Cartridge® Development

Skill Cartridge®Builder

Categorization Skill Cartridge®Development & Quality Control

CategorizationWorkbench

Quality Control

AnnotationWorkbench