Download - Typtillväxt i naturligt språk
Typtillväxt i naturligt språkTyptillväxt i naturligt språk
Leif GrönqvistLeif Grönqvist
Institutionen för lingvistik, Göteborgs universitetInstitutionen för lingvistik, Göteborgs universitet
Matematiska och Systemtekniska institutionen, Växjö universitetMatematiska och Systemtekniska institutionen, Växjö universitet
GSLT – Sveriges nationella forskarskola i språkteknologiGSLT – Sveriges nationella forskarskola i språkteknologi
UppläggUpplägg
Typtillväxt?Typtillväxt?• VadVad• VarförVarför• HurHur• FördomarFördomar
Testkorpusar och ett experimentTestkorpusar och ett experiment SlutsatserSlutsatser
TyptillväxtTyptillväxt
Med typtillväxt menar jag: “hur antalet Med typtillväxt menar jag: “hur antalet unika ord i en korpus växer med antalet unika ord i en korpus växer med antalet löport”löport”• Types = unika ordTypes = unika ord• Tokens = löpordTokens = löpord
Kan vara intressant att ha något grepp om Kan vara intressant att ha något grepp om för dessa personer:för dessa personer:• Datalingvisten som behöver träningsdata för Datalingvisten som behöver träningsdata för
sin taggare, taligenkännare, osv.sin taggare, taligenkännare, osv.• Lexikografen som gör en korpusbaserad Lexikografen som gör en korpusbaserad
ordbokordbok• Lingvisten som undrar hur det egentligen ärLingvisten som undrar hur det egentligen är
Hur kan man mäta typtillväxtHur kan man mäta typtillväxt
Första idén man får är nog:Första idén man får är nog:• Stega igenom en korpus från början till Stega igenom en korpus från början till
slutslut• Räkna antalet types i varje stegRäkna antalet types i varje steg• Rita en graf med tokens på ena axeln Rita en graf med tokens på ena axeln
och types på den andraoch types på den andra Vi provar!Vi provar!
De första 1000 000 orden I BNCDe första 1000 000 orden I BNC
0
10000
20000
30000
40000
50000
0 200000 400000 600000 800000 1000000
Tokens
Typ
es
Nackdelar med första idénNackdelar med första idén
Kurvan ser lite kantig ut… Varför?Kurvan ser lite kantig ut… Varför?• Jo korpusen är inte helt homogenJo korpusen är inte helt homogen
De ingående texterna kan ha väldigt olika typtillväxtDe ingående texterna kan ha väldigt olika typtillväxt Tillväxten inom varje text kan också varieraTillväxten inom varje text kan också variera När ett nytt ämne dyker upp borde kurvan stiga När ett nytt ämne dyker upp borde kurvan stiga
brantare än när samma ämne och genre återkommer brantare än när samma ämne och genre återkommer för 100:e gångenför 100:e gången
• Hacken skulle se annorlunda ut om texterna Hacken skulle se annorlunda ut om texterna låg i annan ordning – inte så bra…låg i annan ordning – inte så bra…
Vad kan vi göra vi åt det?Vad kan vi göra vi åt det?
Ett bättre sätt att ta fram Ett bättre sätt att ta fram typtillväxtskurvantyptillväxtskurvan
Vi vill inte att texternas inbördes ordning Vi vill inte att texternas inbördes ordning skall synas i kurvan, så det duger inte att skall synas i kurvan, så det duger inte att stega igenom från början till slutstega igenom från början till slut
För varje antal tokens kan types beräknas För varje antal tokens kan types beräknas som funktion av hela korpusen!som funktion av hela korpusen!
Detta görs genom att beräkna teoretisk Detta görs genom att beräkna teoretisk vokabulär (vocab) för varje antal tokens vokabulär (vocab) för varje antal tokens istället för att räkna antalet typesistället för att räkna antalet types
Vad är då teoretisk vokabulär?Vad är då teoretisk vokabulär? Om jag väljer ut ett visst antal tokens i en korpus Om jag väljer ut ett visst antal tokens i en korpus
så kan jag räkna antalet typesså kan jag räkna antalet types Vocab är medelvärdet at alla sätt (VÄLDIGT Vocab är medelvärdet at alla sätt (VÄLDIGT
många) att välja ut dessa tokensmånga) att välja ut dessa tokens Vocab är vad statistiker kallar ett väntevärde och Vocab är vad statistiker kallar ett väntevärde och
kan beräknas som en summa över kan beräknas som en summa över frekvensfrekvenslistan frekvensfrekvenslistan
• V = Vokabulär, m = Antal tokens vi väljer utV = Vokabulär, m = Antal tokens vi väljer ut Så då gör vi en ny kurva!Så då gör vi en ny kurva!
0
10000
20000
30000
40000
50000
0 200000 400000 600000 800000 1000000
Tokens
Typ
es
0
10000
20000
30000
40000
50000
0 200000 400000 600000 800000 1000000Tokens
Typ
es
VocabNaiv
Mina fördomar om lingvisters Mina fördomar om lingvisters fördomar om typtillväxtfördomar om typtillväxt
Kurvan börjar ganska brantKurvan börjar ganska brant Lutningen avtar successivtLutningen avtar successivt För att efter hand, när ordförrådet använts För att efter hand, när ordförrådet använts
upp, plana utupp, plana ut
Fast svenskans sammansättningar gör att Fast svenskans sammansättningar gör att antalet ordtyper inte är begränsatantalet ordtyper inte är begränsat
Så hur är det egentligen?Så hur är det egentligen? Vi kan prova med några olika typer av Vi kan prova med några olika typer av
korpusarkorpusar• Stora/små, svenska/engelska, tal/skriftStora/små, svenska/engelska, tal/skrift
Några korpusar att testa påNågra korpusar att testa på
GSLC: 1,2 miljoner löpord svenskt talspråkGSLC: 1,2 miljoner löpord svenskt talspråk BNCtal: 10 miljoner löpord engelskt talspråkBNCtal: 10 miljoner löpord engelskt talspråk BNC: 110 miljoner löpord engelska, 90% skrift BNC: 110 miljoner löpord engelska, 90% skrift
och resten talspråkoch resten talspråk TIDN: 400 miljoner löpord svenska TIDN: 400 miljoner löpord svenska
tidningsartiklartidningsartiklar TIDNslump: En korpus genererad utifrån Tidn TIDNslump: En korpus genererad utifrån Tidn
med en enkel statistisk n-gram-modell, 17 med en enkel statistisk n-gram-modell, 17 miljoner löpordmiljoner löpord
BNCslump: En korpus genererad utifrån BNC BNCslump: En korpus genererad utifrån BNC med en enkel statistisk n-gram-modell, 18 med en enkel statistisk n-gram-modell, 18 miljoner löpordmiljoner löpord
Några typer av graferNågra typer av grafer
1.1. Plotta typtillväxten för samtliga Plotta typtillväxten för samtliga korpusar I samma diagramkorpusar I samma diagram
2.2. Plotta typtillväxten för en miljon ord Plotta typtillväxten för en miljon ord för samtliga korpusarför samtliga korpusar
3.3. Skala om kurvorna i diagram 2 i y-Skala om kurvorna i diagram 2 i y-led så kurvornas form kan jämförasled så kurvornas form kan jämföras
4.4. Skala om både i x- och y-led så Skala om både i x- och y-led så formen för kurvorna i diagram 1 kan formen för kurvorna i diagram 1 kan jämförasjämföras
0
1000000
2000000
3000000
4000000
0 100000000 200000000 300000000 400000000
BNCslumpBNCtalBNCGSLCTIDNslumpTIDN
Lite svårt att jämföra eftersom kurvorna har så olika omfång…
Hela kurvorna (diagram 1)Hela kurvorna (diagram 1)
Början på kurvorna (diagram 2)Början på kurvorna (diagram 2)
0
20000
40000
60000
80000
100000
120000
140000
0 250000 500000 750000 1000000
BNCslumpBNCtalBNCGSLTTIDNslumpTIDN
Hur är det nu då?Hur är det nu då?
Skrift har större typtillväxt än talSkrift har större typtillväxt än tal Svenska har större typtillväxt än engelskaSvenska har större typtillväxt än engelska Samtliga kurvors lutning minskar efter Samtliga kurvors lutning minskar efter
handhand
Planar kurvorna ut då?Planar kurvorna ut då? Trots att vi plottat fram till 400 miljoner Trots att vi plottat fram till 400 miljoner
tokens så verkar det inte såtokens så verkar det inte så Ett nytt normaliserat diagram kan ge oss Ett nytt normaliserat diagram kan ge oss
ytterligare ledtrådarytterligare ledtrådar
0
10
20
30
40
50
60
70
80
90
100
0 20 40 60 80 100
BNCslumpBNCtalBNCGSLCTIDNslumpTIDN
• BNCtal och TIDNslump sticker ut, liksom I viss mån BNC
• Övriga korpusar ligger mycket samlade
Diagram 4: Normaliserad typtillväxt
0
1
2
3
4
0 20 40 60 80 100
Tokens, normerat
De
riv
ata
BNCslump
BNCtal
BNC
GSLC
TIDNslump
TIDN
SlutsatserSlutsatser Ja – lutningen avtar när korpusstorleken ökarJa – lutningen avtar när korpusstorleken ökar Nej – den planar aldrig utNej – den planar aldrig ut Skrift har större tillväxt än tal Skrift har större tillväxt än tal Svenska har större typtillväxt än engelskaSvenska har större typtillväxt än engelska Kurvformerna för GSLC och TIDN är väldigt lika – Kurvformerna för GSLC och TIDN är väldigt lika –
lite oväntat eftersom:lite oväntat eftersom:• Det är den minsta respektive största korpusenDet är den minsta respektive största korpusen• En tal- och en skriftkorpusEn tal- och en skriftkorpus
Men egenskaperna hos typtillväxten kan mycket Men egenskaperna hos typtillväxten kan mycket väl vara annorlunda för:väl vara annorlunda för:• En större korpusEn större korpus• Andra språkAndra språk
Exempel från GSLCExempel från GSLC
apropå san francisco så fick vi fick vi den hör skivan så gick vi apropå san francisco så fick vi fick vi den hör skivan så gick vi upp å så sjöng ja till så så spela vi opp den sen a de lät lite upp å så sjöng ja till så så spela vi opp den sen a de lät lite knasit men de va så löjlit men e: de e en tjusi melodiknasit men de va så löjlit men e: de e en tjusi melodi
jajaja men de e en tjusi stad ocksåja men de e en tjusi stad ocksåa de e nog de vaa de e nog de vaja:ja:då har ja e tror ja äntlien fått de hela å fungeradå har ja e tror ja äntlien fått de hela å fungeranejdå de va trevlitnejdå de va trevlitvi e väl inte i bild nu när vi sitter å fikar i alla fallvi e väl inte i bild nu när vi sitter å fikar i alla falljodå vi har startat nujodå vi har startat nuhahahar vi gjort de oj dåhar vi gjort de oj dåde ja tänkte börja berätta lite ska se om vaför ja har bett er de ja tänkte börja berätta lite ska se om vaför ja har bett er
komma hitkomma hit
Exempel från BNCtalExempel från BNCtal
well i i was in the east end and of course where my mum and well i i was in the east end and of course where my mum and my aunt worked it was mostly sort of cleaning and my aunt worked it was mostly sort of cleaning and scrubbing and charring and turning mangles in the back scrubbing and charring and turning mangles in the back garden and all sorts of thingsgarden and all sorts of things
mhmmhmwar was officially declared on the third of septembernineteen war was officially declared on the third of septembernineteen
thirty nine although preparations for it had begun as earlemthirty nine although preparations for it had begun as earlemi worked for a photographic companyi worked for a photographic companyyesyesat that time and erm we had a lot of german shutters and at that time and erm we had a lot of german shutters and
cameras in museum before september the third on cameras in museum before september the third on september the fourth when i got to work they were all outseptember the fourth when i got to work they were all out
you had to put them all awayyou had to put them all awaythey were all being no they were all being taken apartthey were all being no they were all being taken apartohohand studied and er so that we could copy theirand studied and er so that we could copy theiroh i seeoh i seetheir which of course had er ceased to existtheir which of course had er ceased to exist
Exempel från BNCExempel från BNC
FACTSHEET WHAT IS AIDS ? AIDS ( Acquired Immune FACTSHEET WHAT IS AIDS ? AIDS ( Acquired Immune Deficiency Syndrome ) is a condition caused by a virus Deficiency Syndrome ) is a condition caused by a virus called HIV ( Human Immuno Deficiency Virus ) . This virus called HIV ( Human Immuno Deficiency Virus ) . This virus affects the body 's defence system so it can not fight affects the body 's defence system so it can not fight infection . How is infection transmitted ? through infection . How is infection transmitted ? through unprotected sexual intercourse with an infected partner . unprotected sexual intercourse with an infected partner . through infected blood or blood products . from an infected through infected blood or blood products . from an infected mother to her baby . It is not transmitted from : giving mother to her baby . It is not transmitted from : giving blood/mosquito bites/toilet seats/kissing/from normal day-blood/mosquito bites/toilet seats/kissing/from normal day-to-day contact How does it affect you ? The medical aspects to-day contact How does it affect you ? The medical aspects can be cancer , pneumonia , sudden blindness , dementia , can be cancer , pneumonia , sudden blindness , dementia , dramatic weight loss or any combination of these . Often dramatic weight loss or any combination of these . Often infected people are rejected by family and friends , leaving infected people are rejected by family and friends , leaving them to face this chronic condition alone . Did you know ? them to face this chronic condition alone . Did you know ? there is no vaccine or cure currently available . 10 million there is no vaccine or cure currently available . 10 million people worldwide are infected with HIV . you can be people worldwide are infected with HIV . you can be infected for between 10-15 years without realising it . 7 out infected for between 10-15 years without realising it . 7 out 10 people infected are heterosexual . women are twice as 10 people infected are heterosexual . women are twice as at risk from infection as men .at risk from infection as men .
Exempel från TIDNExempel från TIDN
av harald hamrin dn:s korrespondent moskva .av harald hamrin dn:s korrespondent moskva .sedan en tid tillbaka drabbas även sovjet av naturkatastrofer , sedan en tid tillbaka drabbas även sovjet av naturkatastrofer ,
säger viktor afanasiev med ett roat småleende . så blir det säger viktor afanasiev med ett roat småleende . så blir det även i fortsättningen . och vi kommer att skriva om dem . även i fortsättningen . och vi kommer att skriva om dem . naturkatastrofer såsom jordbävningar och översvämningar naturkatastrofer såsom jordbävningar och översvämningar har som bekant tidigare drabbat endast kapitalistiskt styrda har som bekant tidigare drabbat endast kapitalistiskt styrda länder . sovjetiska katastrofer har , om man får döma av länder . sovjetiska katastrofer har , om man får döma av den inhemska pressen , inte förekommit . sedan något år den inhemska pressen , inte förekommit . sedan något år tillbaka har emellertid detta tabu brutits .tillbaka har emellertid detta tabu brutits .
-- nu råkar även vi ut för katastrofer , säger viktor afanasiev . -- nu råkar även vi ut för katastrofer , säger viktor afanasiev . nu skriver vi om dem . och så blir det i fortsättningen .nu skriver vi om dem . och så blir det i fortsättningen .
viktor afanasiev är chefredaktör för det sovjetiska partiorganet viktor afanasiev är chefredaktör för det sovjetiska partiorganet pravda . han är också i den egenskapen , så att saga ex pravda . han är också i den egenskapen , så att saga ex officio , medlem av kommunistpartiets centralkommitté . officio , medlem av kommunistpartiets centralkommitté . journalist och politiker i en och samma person , med andra journalist och politiker i en och samma person , med andra ord .ord .
Exempel från TIDNslumpExempel från TIDNslump
dock i satte i filmen från italienaren . någon ljusgranare dock i satte i filmen från italienaren . någon ljusgranare och friade omedel i ande barns vägande lämna egna och friade omedel i ande barns vägande lämna egna bud , som så fredan -- många halv till sjukvårdentligen bud , som så fredan -- många halv till sjukvårdentligen doohansstyrkan skadant äntligger inte som sovjet doohansstyrkan skadant äntligger inte som sovjet med pirringen företa inte långa .med pirringen företa inte långa .
-- det på somaldagen på för exekution unde kan från -- det på somaldagen på för exekution unde kan från största domaren sådant merit går största domaren sådant merit går insamlingenjörenligtvist , sägerkvist över 1.8 -- 1 , till insamlingenjörenligtvist , sägerkvist över 1.8 -- 1 , till stockholm , omkringstiftet också hade bridgegänglopp stockholm , omkringstiftet också hade bridgegänglopp ärmaste kommer sannolikafullt och styrelsedan i ärmaste kommer sannolikafullt och styrelsedan i moskvas att frankrikaså katrike , för sin ` kidnappt moskvas att frankrikaså katrike , för sin ` kidnappt något aid , som all att är sjukhusets preuss vägar : något aid , som all att är sjukhusets preuss vägar : uveräninger en del .uveräninger en del .
luc bidrmanen måste vid mötersta arbetalarn nat lanser .luc bidrmanen måste vid mötersta arbetalarn nat lanser .erik försett fråga av ulf brüer . andraåring vedeltartin erik försett fråga av ulf brüer . andraåring vedeltartin
tillhör inte delen för sune sjunkte inflyttning för år .tillhör inte delen för sune sjunkte inflyttning för år .
Exempel från BNCslumpExempel från BNCslump
what the model from south an artist , and from ceiling nations what the model from south an artist , and from ceiling nations of active enericanisatisfaction . he have being procedures . of active enericanisatisfaction . he have being procedures . thinkable of extensingles or the no paymentally from that thinkable of extensingles or the no paymentally from that their directly , on they should been as a than the loath their directly , on they should been as a than the loath aids , on have charget to had be vehicle ; but not exhibition aids , on have charget to had be vehicle ; but not exhibition . the disappet ´ , that world well include at a veillant to go . the disappet ´ , that world well include at a veillant to go right ) and fond al-asharitory face in receded by the right ) and fond al-asharitory face in receded by the professoners dramatic gamblings arease included with his professoners dramatic gamblings arease included with his constity , and and irelations core lifestigations by or fully an constity , and and irelations core lifestigations by or fully an anthroughteenth-centual questin what the delity , but o'er anthroughteenth-centual questin what the delity , but o'er in the efferently to you are catholice were extendow is a in the efferently to you are catholice were extendow is a success is similar ideas historicassocialist permine or ` success is similar ideas historicassocialist permine or ` deep the predith more this been anywhere soon they 're deep the predith more this been anywhere soon they 're and in the differenaissance to applicated ten alone of being and in the differenaissance to applicated ten alone of being used the caring memoirs too last presidered alone laity to used the caring memoirs too last presidered alone laity to the critism is recently any for these pace believed for the critism is recently any for these pace believed for anythinking , david had places the teach take obtained that anythinking , david had places the teach take obtained that six ´ encounteers .six ´ encounteers .
0
500000
1000000
1500000
2000000
2500000
3000000
3500000
4000000
0 100000000 200000000 300000000 400000000
Tokens
Typ
es