typtillväxt i naturligt språk

26
Typtillväxt i naturligt Typtillväxt i naturligt språk språk Leif Grönqvist Leif Grönqvist Institutionen för lingvistik, Göteborgs universitet Institutionen för lingvistik, Göteborgs universitet Matematiska och Systemtekniska institutionen, Växjö Matematiska och Systemtekniska institutionen, Växjö universitet universitet GSLT – Sveriges nationella forskarskola i språkteknologi GSLT – Sveriges nationella forskarskola i språkteknologi

Upload: malise

Post on 12-Jan-2016

100 views

Category:

Documents


0 download

DESCRIPTION

Typtillväxt i naturligt språk. Leif Grönqvist Institutionen för lingvistik, Göteborgs universitet Matematiska och Systemtekniska institutionen, Växjö universitet GSLT – Sveriges nationella forskarskola i språkteknologi. Upplägg. Typtillväxt? Vad Varför Hur Fördomar - PowerPoint PPT Presentation

TRANSCRIPT

Page 1: Typtillväxt i naturligt språk

Typtillväxt i naturligt språkTyptillväxt i naturligt språk

Leif GrönqvistLeif Grönqvist

Institutionen för lingvistik, Göteborgs universitetInstitutionen för lingvistik, Göteborgs universitet

Matematiska och Systemtekniska institutionen, Växjö universitetMatematiska och Systemtekniska institutionen, Växjö universitet

GSLT – Sveriges nationella forskarskola i språkteknologiGSLT – Sveriges nationella forskarskola i språkteknologi

Page 2: Typtillväxt i naturligt språk

UppläggUpplägg

Typtillväxt?Typtillväxt?• VadVad• VarförVarför• HurHur• FördomarFördomar

Testkorpusar och ett experimentTestkorpusar och ett experiment SlutsatserSlutsatser

Page 3: Typtillväxt i naturligt språk

TyptillväxtTyptillväxt

Med typtillväxt menar jag: “hur antalet Med typtillväxt menar jag: “hur antalet unika ord i en korpus växer med antalet unika ord i en korpus växer med antalet löport”löport”• Types = unika ordTypes = unika ord• Tokens = löpordTokens = löpord

Kan vara intressant att ha något grepp om Kan vara intressant att ha något grepp om för dessa personer:för dessa personer:• Datalingvisten som behöver träningsdata för Datalingvisten som behöver träningsdata för

sin taggare, taligenkännare, osv.sin taggare, taligenkännare, osv.• Lexikografen som gör en korpusbaserad Lexikografen som gör en korpusbaserad

ordbokordbok• Lingvisten som undrar hur det egentligen ärLingvisten som undrar hur det egentligen är

Page 4: Typtillväxt i naturligt språk

Hur kan man mäta typtillväxtHur kan man mäta typtillväxt

Första idén man får är nog:Första idén man får är nog:• Stega igenom en korpus från början till Stega igenom en korpus från början till

slutslut• Räkna antalet types i varje stegRäkna antalet types i varje steg• Rita en graf med tokens på ena axeln Rita en graf med tokens på ena axeln

och types på den andraoch types på den andra Vi provar!Vi provar!

Page 5: Typtillväxt i naturligt språk

De första 1000 000 orden I BNCDe första 1000 000 orden I BNC

0

10000

20000

30000

40000

50000

0 200000 400000 600000 800000 1000000

Tokens

Typ

es

Page 6: Typtillväxt i naturligt språk

Nackdelar med första idénNackdelar med första idén

Kurvan ser lite kantig ut… Varför?Kurvan ser lite kantig ut… Varför?• Jo korpusen är inte helt homogenJo korpusen är inte helt homogen

De ingående texterna kan ha väldigt olika typtillväxtDe ingående texterna kan ha väldigt olika typtillväxt Tillväxten inom varje text kan också varieraTillväxten inom varje text kan också variera När ett nytt ämne dyker upp borde kurvan stiga När ett nytt ämne dyker upp borde kurvan stiga

brantare än när samma ämne och genre återkommer brantare än när samma ämne och genre återkommer för 100:e gångenför 100:e gången

• Hacken skulle se annorlunda ut om texterna Hacken skulle se annorlunda ut om texterna låg i annan ordning – inte så bra…låg i annan ordning – inte så bra…

Vad kan vi göra vi åt det?Vad kan vi göra vi åt det?

Page 7: Typtillväxt i naturligt språk

Ett bättre sätt att ta fram Ett bättre sätt att ta fram typtillväxtskurvantyptillväxtskurvan

Vi vill inte att texternas inbördes ordning Vi vill inte att texternas inbördes ordning skall synas i kurvan, så det duger inte att skall synas i kurvan, så det duger inte att stega igenom från början till slutstega igenom från början till slut

För varje antal tokens kan types beräknas För varje antal tokens kan types beräknas som funktion av hela korpusen!som funktion av hela korpusen!

Detta görs genom att beräkna teoretisk Detta görs genom att beräkna teoretisk vokabulär (vocab) för varje antal tokens vokabulär (vocab) för varje antal tokens istället för att räkna antalet typesistället för att räkna antalet types

Page 8: Typtillväxt i naturligt språk

Vad är då teoretisk vokabulär?Vad är då teoretisk vokabulär? Om jag väljer ut ett visst antal tokens i en korpus Om jag väljer ut ett visst antal tokens i en korpus

så kan jag räkna antalet typesså kan jag räkna antalet types Vocab är medelvärdet at alla sätt (VÄLDIGT Vocab är medelvärdet at alla sätt (VÄLDIGT

många) att välja ut dessa tokensmånga) att välja ut dessa tokens Vocab är vad statistiker kallar ett väntevärde och Vocab är vad statistiker kallar ett väntevärde och

kan beräknas som en summa över kan beräknas som en summa över frekvensfrekvenslistan frekvensfrekvenslistan

• V = Vokabulär, m = Antal tokens vi väljer utV = Vokabulär, m = Antal tokens vi väljer ut Så då gör vi en ny kurva!Så då gör vi en ny kurva!

Page 9: Typtillväxt i naturligt språk

0

10000

20000

30000

40000

50000

0 200000 400000 600000 800000 1000000

Tokens

Typ

es

Page 10: Typtillväxt i naturligt språk

0

10000

20000

30000

40000

50000

0 200000 400000 600000 800000 1000000Tokens

Typ

es

VocabNaiv

Page 11: Typtillväxt i naturligt språk

Mina fördomar om lingvisters Mina fördomar om lingvisters fördomar om typtillväxtfördomar om typtillväxt

Kurvan börjar ganska brantKurvan börjar ganska brant Lutningen avtar successivtLutningen avtar successivt För att efter hand, när ordförrådet använts För att efter hand, när ordförrådet använts

upp, plana utupp, plana ut

Fast svenskans sammansättningar gör att Fast svenskans sammansättningar gör att antalet ordtyper inte är begränsatantalet ordtyper inte är begränsat

Så hur är det egentligen?Så hur är det egentligen? Vi kan prova med några olika typer av Vi kan prova med några olika typer av

korpusarkorpusar• Stora/små, svenska/engelska, tal/skriftStora/små, svenska/engelska, tal/skrift

Page 12: Typtillväxt i naturligt språk

Några korpusar att testa påNågra korpusar att testa på

GSLC: 1,2 miljoner löpord svenskt talspråkGSLC: 1,2 miljoner löpord svenskt talspråk BNCtal: 10 miljoner löpord engelskt talspråkBNCtal: 10 miljoner löpord engelskt talspråk BNC: 110 miljoner löpord engelska, 90% skrift BNC: 110 miljoner löpord engelska, 90% skrift

och resten talspråkoch resten talspråk TIDN: 400 miljoner löpord svenska TIDN: 400 miljoner löpord svenska

tidningsartiklartidningsartiklar TIDNslump: En korpus genererad utifrån Tidn TIDNslump: En korpus genererad utifrån Tidn

med en enkel statistisk n-gram-modell, 17 med en enkel statistisk n-gram-modell, 17 miljoner löpordmiljoner löpord

BNCslump: En korpus genererad utifrån BNC BNCslump: En korpus genererad utifrån BNC med en enkel statistisk n-gram-modell, 18 med en enkel statistisk n-gram-modell, 18 miljoner löpordmiljoner löpord

Page 13: Typtillväxt i naturligt språk

Några typer av graferNågra typer av grafer

1.1. Plotta typtillväxten för samtliga Plotta typtillväxten för samtliga korpusar I samma diagramkorpusar I samma diagram

2.2. Plotta typtillväxten för en miljon ord Plotta typtillväxten för en miljon ord för samtliga korpusarför samtliga korpusar

3.3. Skala om kurvorna i diagram 2 i y-Skala om kurvorna i diagram 2 i y-led så kurvornas form kan jämförasled så kurvornas form kan jämföras

4.4. Skala om både i x- och y-led så Skala om både i x- och y-led så formen för kurvorna i diagram 1 kan formen för kurvorna i diagram 1 kan jämförasjämföras

Page 14: Typtillväxt i naturligt språk

0

1000000

2000000

3000000

4000000

0 100000000 200000000 300000000 400000000

BNCslumpBNCtalBNCGSLCTIDNslumpTIDN

Lite svårt att jämföra eftersom kurvorna har så olika omfång…

Hela kurvorna (diagram 1)Hela kurvorna (diagram 1)

Page 15: Typtillväxt i naturligt språk

Början på kurvorna (diagram 2)Början på kurvorna (diagram 2)

0

20000

40000

60000

80000

100000

120000

140000

0 250000 500000 750000 1000000

BNCslumpBNCtalBNCGSLTTIDNslumpTIDN

Page 16: Typtillväxt i naturligt språk

Hur är det nu då?Hur är det nu då?

Skrift har större typtillväxt än talSkrift har större typtillväxt än tal Svenska har större typtillväxt än engelskaSvenska har större typtillväxt än engelska Samtliga kurvors lutning minskar efter Samtliga kurvors lutning minskar efter

handhand

Planar kurvorna ut då?Planar kurvorna ut då? Trots att vi plottat fram till 400 miljoner Trots att vi plottat fram till 400 miljoner

tokens så verkar det inte såtokens så verkar det inte så Ett nytt normaliserat diagram kan ge oss Ett nytt normaliserat diagram kan ge oss

ytterligare ledtrådarytterligare ledtrådar

Page 17: Typtillväxt i naturligt språk

0

10

20

30

40

50

60

70

80

90

100

0 20 40 60 80 100

BNCslumpBNCtalBNCGSLCTIDNslumpTIDN

• BNCtal och TIDNslump sticker ut, liksom I viss mån BNC

• Övriga korpusar ligger mycket samlade

Diagram 4: Normaliserad typtillväxt

Page 18: Typtillväxt i naturligt språk

0

1

2

3

4

0 20 40 60 80 100

Tokens, normerat

De

riv

ata

BNCslump

BNCtal

BNC

GSLC

TIDNslump

TIDN

Page 19: Typtillväxt i naturligt språk

SlutsatserSlutsatser Ja – lutningen avtar när korpusstorleken ökarJa – lutningen avtar när korpusstorleken ökar Nej – den planar aldrig utNej – den planar aldrig ut Skrift har större tillväxt än tal Skrift har större tillväxt än tal Svenska har större typtillväxt än engelskaSvenska har större typtillväxt än engelska Kurvformerna för GSLC och TIDN är väldigt lika – Kurvformerna för GSLC och TIDN är väldigt lika –

lite oväntat eftersom:lite oväntat eftersom:• Det är den minsta respektive största korpusenDet är den minsta respektive största korpusen• En tal- och en skriftkorpusEn tal- och en skriftkorpus

Men egenskaperna hos typtillväxten kan mycket Men egenskaperna hos typtillväxten kan mycket väl vara annorlunda för:väl vara annorlunda för:• En större korpusEn större korpus• Andra språkAndra språk

Page 20: Typtillväxt i naturligt språk

Exempel från GSLCExempel från GSLC

apropå san francisco så fick vi fick vi den hör skivan så gick vi apropå san francisco så fick vi fick vi den hör skivan så gick vi upp å så sjöng ja till så så spela vi opp den sen a de lät lite upp å så sjöng ja till så så spela vi opp den sen a de lät lite knasit men de va så löjlit men e: de e en tjusi melodiknasit men de va så löjlit men e: de e en tjusi melodi

jajaja men de e en tjusi stad ocksåja men de e en tjusi stad ocksåa de e nog de vaa de e nog de vaja:ja:då har ja e tror ja äntlien fått de hela å fungeradå har ja e tror ja äntlien fått de hela å fungeranejdå de va trevlitnejdå de va trevlitvi e väl inte i bild nu när vi sitter å fikar i alla fallvi e väl inte i bild nu när vi sitter å fikar i alla falljodå vi har startat nujodå vi har startat nuhahahar vi gjort de oj dåhar vi gjort de oj dåde ja tänkte börja berätta lite ska se om vaför ja har bett er de ja tänkte börja berätta lite ska se om vaför ja har bett er

komma hitkomma hit

Page 21: Typtillväxt i naturligt språk

Exempel från BNCtalExempel från BNCtal

well i i was in the east end and of course where my mum and well i i was in the east end and of course where my mum and my aunt worked it was mostly sort of cleaning and my aunt worked it was mostly sort of cleaning and scrubbing and charring and turning mangles in the back scrubbing and charring and turning mangles in the back garden and all sorts of thingsgarden and all sorts of things

mhmmhmwar was officially declared on the third of septembernineteen war was officially declared on the third of septembernineteen

thirty nine although preparations for it had begun as earlemthirty nine although preparations for it had begun as earlemi worked for a photographic companyi worked for a photographic companyyesyesat that time and erm we had a lot of german shutters and at that time and erm we had a lot of german shutters and

cameras in museum before september the third on cameras in museum before september the third on september the fourth when i got to work they were all outseptember the fourth when i got to work they were all out

you had to put them all awayyou had to put them all awaythey were all being no they were all being taken apartthey were all being no they were all being taken apartohohand studied and er so that we could copy theirand studied and er so that we could copy theiroh i seeoh i seetheir which of course had er ceased to existtheir which of course had er ceased to exist

Page 22: Typtillväxt i naturligt språk

Exempel från BNCExempel från BNC

FACTSHEET WHAT IS AIDS ? AIDS ( Acquired Immune FACTSHEET WHAT IS AIDS ? AIDS ( Acquired Immune Deficiency Syndrome ) is a condition caused by a virus Deficiency Syndrome ) is a condition caused by a virus called HIV ( Human Immuno Deficiency Virus ) . This virus called HIV ( Human Immuno Deficiency Virus ) . This virus affects the body 's defence system so it can not fight affects the body 's defence system so it can not fight infection . How is infection transmitted ? through infection . How is infection transmitted ? through unprotected sexual intercourse with an infected partner . unprotected sexual intercourse with an infected partner . through infected blood or blood products . from an infected through infected blood or blood products . from an infected mother to her baby . It is not transmitted from : giving mother to her baby . It is not transmitted from : giving blood/mosquito bites/toilet seats/kissing/from normal day-blood/mosquito bites/toilet seats/kissing/from normal day-to-day contact How does it affect you ? The medical aspects to-day contact How does it affect you ? The medical aspects can be cancer , pneumonia , sudden blindness , dementia , can be cancer , pneumonia , sudden blindness , dementia , dramatic weight loss or any combination of these . Often dramatic weight loss or any combination of these . Often infected people are rejected by family and friends , leaving infected people are rejected by family and friends , leaving them to face this chronic condition alone . Did you know ? them to face this chronic condition alone . Did you know ? there is no vaccine or cure currently available . 10 million there is no vaccine or cure currently available . 10 million people worldwide are infected with HIV . you can be people worldwide are infected with HIV . you can be infected for between 10-15 years without realising it . 7 out infected for between 10-15 years without realising it . 7 out 10 people infected are heterosexual . women are twice as 10 people infected are heterosexual . women are twice as at risk from infection as men .at risk from infection as men .

Page 23: Typtillväxt i naturligt språk

Exempel från TIDNExempel från TIDN

av harald hamrin dn:s korrespondent moskva .av harald hamrin dn:s korrespondent moskva .sedan en tid tillbaka drabbas även sovjet av naturkatastrofer , sedan en tid tillbaka drabbas även sovjet av naturkatastrofer ,

säger viktor afanasiev med ett roat småleende . så blir det säger viktor afanasiev med ett roat småleende . så blir det även i fortsättningen . och vi kommer att skriva om dem . även i fortsättningen . och vi kommer att skriva om dem . naturkatastrofer såsom jordbävningar och översvämningar naturkatastrofer såsom jordbävningar och översvämningar har som bekant tidigare drabbat endast kapitalistiskt styrda har som bekant tidigare drabbat endast kapitalistiskt styrda länder . sovjetiska katastrofer har , om man får döma av länder . sovjetiska katastrofer har , om man får döma av den inhemska pressen , inte förekommit . sedan något år den inhemska pressen , inte förekommit . sedan något år tillbaka har emellertid detta tabu brutits .tillbaka har emellertid detta tabu brutits .

-- nu råkar även vi ut för katastrofer , säger viktor afanasiev . -- nu råkar även vi ut för katastrofer , säger viktor afanasiev . nu skriver vi om dem . och så blir det i fortsättningen .nu skriver vi om dem . och så blir det i fortsättningen .

viktor afanasiev är chefredaktör för det sovjetiska partiorganet viktor afanasiev är chefredaktör för det sovjetiska partiorganet pravda . han är också i den egenskapen , så att saga ex pravda . han är också i den egenskapen , så att saga ex officio , medlem av kommunistpartiets centralkommitté . officio , medlem av kommunistpartiets centralkommitté . journalist och politiker i en och samma person , med andra journalist och politiker i en och samma person , med andra ord .ord .

Page 24: Typtillväxt i naturligt språk

Exempel från TIDNslumpExempel från TIDNslump

dock i satte i filmen från italienaren . någon ljusgranare dock i satte i filmen från italienaren . någon ljusgranare och friade omedel i ande barns vägande lämna egna och friade omedel i ande barns vägande lämna egna bud , som så fredan -- många halv till sjukvårdentligen bud , som så fredan -- många halv till sjukvårdentligen doohansstyrkan skadant äntligger inte som sovjet doohansstyrkan skadant äntligger inte som sovjet med pirringen företa inte långa .med pirringen företa inte långa .

-- det på somaldagen på för exekution unde kan från -- det på somaldagen på för exekution unde kan från största domaren sådant merit går största domaren sådant merit går insamlingenjörenligtvist , sägerkvist över 1.8 -- 1 , till insamlingenjörenligtvist , sägerkvist över 1.8 -- 1 , till stockholm , omkringstiftet också hade bridgegänglopp stockholm , omkringstiftet också hade bridgegänglopp ärmaste kommer sannolikafullt och styrelsedan i ärmaste kommer sannolikafullt och styrelsedan i moskvas att frankrikaså katrike , för sin ` kidnappt moskvas att frankrikaså katrike , för sin ` kidnappt något aid , som all att är sjukhusets preuss vägar : något aid , som all att är sjukhusets preuss vägar : uveräninger en del .uveräninger en del .

luc bidrmanen måste vid mötersta arbetalarn nat lanser .luc bidrmanen måste vid mötersta arbetalarn nat lanser .erik försett fråga av ulf brüer . andraåring vedeltartin erik försett fråga av ulf brüer . andraåring vedeltartin

tillhör inte delen för sune sjunkte inflyttning för år .tillhör inte delen för sune sjunkte inflyttning för år .

Page 25: Typtillväxt i naturligt språk

Exempel från BNCslumpExempel från BNCslump

what the model from south an artist , and from ceiling nations what the model from south an artist , and from ceiling nations of active enericanisatisfaction . he have being procedures . of active enericanisatisfaction . he have being procedures . thinkable of extensingles or the no paymentally from that thinkable of extensingles or the no paymentally from that their directly , on they should been as a than the loath their directly , on they should been as a than the loath aids , on have charget to had be vehicle ; but not exhibition aids , on have charget to had be vehicle ; but not exhibition . the disappet ´ , that world well include at a veillant to go . the disappet ´ , that world well include at a veillant to go right ) and fond al-asharitory face in receded by the right ) and fond al-asharitory face in receded by the professoners dramatic gamblings arease included with his professoners dramatic gamblings arease included with his constity , and and irelations core lifestigations by or fully an constity , and and irelations core lifestigations by or fully an anthroughteenth-centual questin what the delity , but o'er anthroughteenth-centual questin what the delity , but o'er in the efferently to you are catholice were extendow is a in the efferently to you are catholice were extendow is a success is similar ideas historicassocialist permine or ` success is similar ideas historicassocialist permine or ` deep the predith more this been anywhere soon they 're deep the predith more this been anywhere soon they 're and in the differenaissance to applicated ten alone of being and in the differenaissance to applicated ten alone of being used the caring memoirs too last presidered alone laity to used the caring memoirs too last presidered alone laity to the critism is recently any for these pace believed for the critism is recently any for these pace believed for anythinking , david had places the teach take obtained that anythinking , david had places the teach take obtained that six ´ encounteers .six ´ encounteers .

Page 26: Typtillväxt i naturligt språk

0

500000

1000000

1500000

2000000

2500000

3000000

3500000

4000000

0 100000000 200000000 300000000 400000000

Tokens

Typ

es