![Page 1: Probleme multimodaler Transkodierung in Sprachlehr-CD- Roms und wie man sie lösen kann Martin Kaltenbacher University of Salzburg martin.kaltenbacher@sbg.ac.at](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d7049795902118c0f07/html5/thumbnails/1.jpg)
Probleme multimodaler Transkodierung in Sprachlehr-CD-Roms und wie man sie lösen kann
Martin KaltenbacherUniversity of Salzburg
"What's the English word for ?"
![Page 2: Probleme multimodaler Transkodierung in Sprachlehr-CD- Roms und wie man sie lösen kann Martin Kaltenbacher University of Salzburg martin.kaltenbacher@sbg.ac.at](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d7049795902118c0f07/html5/thumbnails/2.jpg)
1. Multimodalität: Text als Bild
Modus = semiotischer Kanal, über den ein Inhalt transportiert wird
Multimodalität = multi- / inter-semiotische Informationsdarstellung
Bilder und Textverständnis Bilder als Lernhilfe
![Page 3: Probleme multimodaler Transkodierung in Sprachlehr-CD- Roms und wie man sie lösen kann Martin Kaltenbacher University of Salzburg martin.kaltenbacher@sbg.ac.at](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d7049795902118c0f07/html5/thumbnails/3.jpg)
1. Vokabellernen einst
![Page 4: Probleme multimodaler Transkodierung in Sprachlehr-CD- Roms und wie man sie lösen kann Martin Kaltenbacher University of Salzburg martin.kaltenbacher@sbg.ac.at](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d7049795902118c0f07/html5/thumbnails/4.jpg)
und jetzt
![Page 5: Probleme multimodaler Transkodierung in Sprachlehr-CD- Roms und wie man sie lösen kann Martin Kaltenbacher University of Salzburg martin.kaltenbacher@sbg.ac.at](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d7049795902118c0f07/html5/thumbnails/5.jpg)
1. Lunch
![Page 6: Probleme multimodaler Transkodierung in Sprachlehr-CD- Roms und wie man sie lösen kann Martin Kaltenbacher University of Salzburg martin.kaltenbacher@sbg.ac.at](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d7049795902118c0f07/html5/thumbnails/6.jpg)
1. Liver
![Page 7: Probleme multimodaler Transkodierung in Sprachlehr-CD- Roms und wie man sie lösen kann Martin Kaltenbacher University of Salzburg martin.kaltenbacher@sbg.ac.at](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d7049795902118c0f07/html5/thumbnails/7.jpg)
1. Poultry
![Page 8: Probleme multimodaler Transkodierung in Sprachlehr-CD- Roms und wie man sie lösen kann Martin Kaltenbacher University of Salzburg martin.kaltenbacher@sbg.ac.at](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d7049795902118c0f07/html5/thumbnails/8.jpg)
1. Inhalt
1. Einleitung2. Das Medium Sprachlehr-CD-Rom3. Warum Bilder ???
(psycholinguistische Grundlagen) 4. Typische multimodale
Repräsentationsformen1. Rekodierungen2. Enkodierungen
5. Schlussfolgerungen
![Page 9: Probleme multimodaler Transkodierung in Sprachlehr-CD- Roms und wie man sie lösen kann Martin Kaltenbacher University of Salzburg martin.kaltenbacher@sbg.ac.at](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d7049795902118c0f07/html5/thumbnails/9.jpg)
2. Das Medium
Sprachlehr-CD-Rom
![Page 10: Probleme multimodaler Transkodierung in Sprachlehr-CD- Roms und wie man sie lösen kann Martin Kaltenbacher University of Salzburg martin.kaltenbacher@sbg.ac.at](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d7049795902118c0f07/html5/thumbnails/10.jpg)
2. Das Medium Sprachlehr-CD
Text (gesprochen, geschrieben, monologisch, dialogisch, narrative, …)
Bildmaterial (Fotos, Zeichnungen, Kartoons, skizzen, Graphiken)
Ton (Musik, Stimme, Geräusche) Audio und Video Sequenzen Interaktive Übungen in allen 4 skills Eigene Sprachaufnahmen
![Page 11: Probleme multimodaler Transkodierung in Sprachlehr-CD- Roms und wie man sie lösen kann Martin Kaltenbacher University of Salzburg martin.kaltenbacher@sbg.ac.at](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d7049795902118c0f07/html5/thumbnails/11.jpg)
2. Produktentwicklung
erste Produkte (1990er Jahre) Wer zuerst kommt, malt zuerst! keine moderne
Spracherwerbstheorie veraltete Didaktik (pattern drills) keine Einbindung der Semiotik,
Linguistik, Didaktik viel Informatik
![Page 12: Probleme multimodaler Transkodierung in Sprachlehr-CD- Roms und wie man sie lösen kann Martin Kaltenbacher University of Salzburg martin.kaltenbacher@sbg.ac.at](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d7049795902118c0f07/html5/thumbnails/12.jpg)
2. Neuere Produkte
Schulsoftware: Friends / You & Me
didaktisch stark verbessert(methodisch, kommunikativ)
nach wie vor wenig Verbesserungen in Semiotik (Design, Kohäsion, Multimodalität)
![Page 13: Probleme multimodaler Transkodierung in Sprachlehr-CD- Roms und wie man sie lösen kann Martin Kaltenbacher University of Salzburg martin.kaltenbacher@sbg.ac.at](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d7049795902118c0f07/html5/thumbnails/13.jpg)
3. Warum Bilder?
Psychologische Grundlagen
![Page 14: Probleme multimodaler Transkodierung in Sprachlehr-CD- Roms und wie man sie lösen kann Martin Kaltenbacher University of Salzburg martin.kaltenbacher@sbg.ac.at](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d7049795902118c0f07/html5/thumbnails/14.jpg)
3. Warum Bilder???Psychologische
GrundlagenAl-Seghayer (2001) Verknüpfen mehrerer Modi
statt einem Reize viele Reiz Stimulation mehrerer Hirnareale spezifischere und breiter gestreute
kognitive Verarbeitung referentielle Verknüpfung von vielen
mentalen Repräsentationen
![Page 15: Probleme multimodaler Transkodierung in Sprachlehr-CD- Roms und wie man sie lösen kann Martin Kaltenbacher University of Salzburg martin.kaltenbacher@sbg.ac.at](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d7049795902118c0f07/html5/thumbnails/15.jpg)
3. Lernertypen
Multimodale Lernmaterialen auditive Lerner visuelle Lerner abstrakt verbale Lerner kommunikative Lerner motorische (haptische) Lerner
![Page 16: Probleme multimodaler Transkodierung in Sprachlehr-CD- Roms und wie man sie lösen kann Martin Kaltenbacher University of Salzburg martin.kaltenbacher@sbg.ac.at](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d7049795902118c0f07/html5/thumbnails/16.jpg)
3. explizites und implizites Lernen
kontroversielle Debatte sowohl explizite als auch implizite
Lernstrategien (Wood 2001) verschiedene Repräsentationsarten
verschiedene Kontexte
![Page 17: Probleme multimodaler Transkodierung in Sprachlehr-CD- Roms und wie man sie lösen kann Martin Kaltenbacher University of Salzburg martin.kaltenbacher@sbg.ac.at](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d7049795902118c0f07/html5/thumbnails/17.jpg)
4. Multimodale Kombinationen
RekodierungenEnkodierungen
![Page 18: Probleme multimodaler Transkodierung in Sprachlehr-CD- Roms und wie man sie lösen kann Martin Kaltenbacher University of Salzburg martin.kaltenbacher@sbg.ac.at](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d7049795902118c0f07/html5/thumbnails/18.jpg)
4.Typische multimodale Kombinationen:
Rekodierungen / Enkodierungen1. Rekodierungen (explizit) 1. Wörter + Bilder (Fotos / Icons) 2. Wortfelder + Icons (picture
dictionaries)
2. Enkodierungen (implizit) 1. Phrasen / Sätze + Cartoons 2. Dialoge + Foto-stories 3. Wortfelder + Film
![Page 19: Probleme multimodaler Transkodierung in Sprachlehr-CD- Roms und wie man sie lösen kann Martin Kaltenbacher University of Salzburg martin.kaltenbacher@sbg.ac.at](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d7049795902118c0f07/html5/thumbnails/19.jpg)
4.1.1. Rekodierung: Wort als Bild
Holiday Language Trainer – Englisch; Grosser CD-ROM Sprachtrainer Englisch. Tandem Verlag Multimedia Line (1995)
![Page 20: Probleme multimodaler Transkodierung in Sprachlehr-CD- Roms und wie man sie lösen kann Martin Kaltenbacher University of Salzburg martin.kaltenbacher@sbg.ac.at](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d7049795902118c0f07/html5/thumbnails/20.jpg)
4.1.1. Discourse initiating unit (Halliday) Restaurant
![Page 21: Probleme multimodaler Transkodierung in Sprachlehr-CD- Roms und wie man sie lösen kann Martin Kaltenbacher University of Salzburg martin.kaltenbacher@sbg.ac.at](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d7049795902118c0f07/html5/thumbnails/21.jpg)
4.1.1. Rindfleisch – Beef
![Page 22: Probleme multimodaler Transkodierung in Sprachlehr-CD- Roms und wie man sie lösen kann Martin Kaltenbacher University of Salzburg martin.kaltenbacher@sbg.ac.at](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d7049795902118c0f07/html5/thumbnails/22.jpg)
4.1.1. Schweinefleisch – Pork
![Page 23: Probleme multimodaler Transkodierung in Sprachlehr-CD- Roms und wie man sie lösen kann Martin Kaltenbacher University of Salzburg martin.kaltenbacher@sbg.ac.at](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d7049795902118c0f07/html5/thumbnails/23.jpg)
4.1.1. Lammfleisch – Lamb
![Page 24: Probleme multimodaler Transkodierung in Sprachlehr-CD- Roms und wie man sie lösen kann Martin Kaltenbacher University of Salzburg martin.kaltenbacher@sbg.ac.at](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d7049795902118c0f07/html5/thumbnails/24.jpg)
4.1.1. Probleme
1. Expertenwissen 2. Semantische Relationen: Hyponymie
Hyperonym: FleischMesonym: Lammfleisch
(Fleisch + Lamm)Hyponym: Lammkotelette
(Fleisch + Lamm + Kotelette)
Anzahl distinktiver Merkmale
![Page 25: Probleme multimodaler Transkodierung in Sprachlehr-CD- Roms und wie man sie lösen kann Martin Kaltenbacher University of Salzburg martin.kaltenbacher@sbg.ac.at](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d7049795902118c0f07/html5/thumbnails/25.jpg)
4.1.1. Lammfleisch – Lamb
![Page 26: Probleme multimodaler Transkodierung in Sprachlehr-CD- Roms und wie man sie lösen kann Martin Kaltenbacher University of Salzburg martin.kaltenbacher@sbg.ac.at](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d7049795902118c0f07/html5/thumbnails/26.jpg)
4.1.1. Ikonisierung
Zuordnung eindeutiger Denotationen Icons vs. Fotos
Hyperonym: Icons = möglichst allgemein (wenig distinktive Merkmale)
Mesonym: Kombination von Icons
Hyponym: Foto = möglichst genau(viele distinktive Merkmale)
![Page 27: Probleme multimodaler Transkodierung in Sprachlehr-CD- Roms und wie man sie lösen kann Martin Kaltenbacher University of Salzburg martin.kaltenbacher@sbg.ac.at](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d7049795902118c0f07/html5/thumbnails/27.jpg)
4.1.1. The New You & Me 4Unit 4 – You are what you eat,
![Page 28: Probleme multimodaler Transkodierung in Sprachlehr-CD- Roms und wie man sie lösen kann Martin Kaltenbacher University of Salzburg martin.kaltenbacher@sbg.ac.at](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d7049795902118c0f07/html5/thumbnails/28.jpg)
4.1.1. Lammkotelettes – Lamb chops
![Page 29: Probleme multimodaler Transkodierung in Sprachlehr-CD- Roms und wie man sie lösen kann Martin Kaltenbacher University of Salzburg martin.kaltenbacher@sbg.ac.at](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d7049795902118c0f07/html5/thumbnails/29.jpg)
4.1.1. Hund
![Page 30: Probleme multimodaler Transkodierung in Sprachlehr-CD- Roms und wie man sie lösen kann Martin Kaltenbacher University of Salzburg martin.kaltenbacher@sbg.ac.at](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d7049795902118c0f07/html5/thumbnails/30.jpg)
4.1.1. Schäfer
![Page 31: Probleme multimodaler Transkodierung in Sprachlehr-CD- Roms und wie man sie lösen kann Martin Kaltenbacher University of Salzburg martin.kaltenbacher@sbg.ac.at](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d7049795902118c0f07/html5/thumbnails/31.jpg)
4.1.1. Denotation / Konnotation
Ein Bild sagt mehr als 1000 Worte
Barthes (1977) "all images are polysemous", "a 'floating chain' of signifieds"
![Page 32: Probleme multimodaler Transkodierung in Sprachlehr-CD- Roms und wie man sie lösen kann Martin Kaltenbacher University of Salzburg martin.kaltenbacher@sbg.ac.at](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d7049795902118c0f07/html5/thumbnails/32.jpg)
4.1.1. Schäfer
![Page 33: Probleme multimodaler Transkodierung in Sprachlehr-CD- Roms und wie man sie lösen kann Martin Kaltenbacher University of Salzburg martin.kaltenbacher@sbg.ac.at](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d7049795902118c0f07/html5/thumbnails/33.jpg)
4.1.1. Abendessen / dinner
![Page 34: Probleme multimodaler Transkodierung in Sprachlehr-CD- Roms und wie man sie lösen kann Martin Kaltenbacher University of Salzburg martin.kaltenbacher@sbg.ac.at](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d7049795902118c0f07/html5/thumbnails/34.jpg)
4.1.1. Kulturspezifische Unterschiede
Abendessen – Dinner keine kulturelle Übereinstimmung A/D: großes oder kleines Mahl am Abend UK: großes Mahl am Abend außer sonntags
Äquivalenz
Denotation Konnotation
Begriff + -Bild - +
![Page 35: Probleme multimodaler Transkodierung in Sprachlehr-CD- Roms und wie man sie lösen kann Martin Kaltenbacher University of Salzburg martin.kaltenbacher@sbg.ac.at](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d7049795902118c0f07/html5/thumbnails/35.jpg)
4.1.1. Konnotation "eine Mixtur von
Konzepten" van Leeuwen (2005: 38) "connotation … mixture of concepts""culturally shared associations which cling to the represented people, places, things"
Abendessen / dinnerbildliche Darstellung der identischen Assoziationen
Erzeugen äquivalente begriffliche Denotation
![Page 36: Probleme multimodaler Transkodierung in Sprachlehr-CD- Roms und wie man sie lösen kann Martin Kaltenbacher University of Salzburg martin.kaltenbacher@sbg.ac.at](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d7049795902118c0f07/html5/thumbnails/36.jpg)
4.1.1. Abendessen / dinner
![Page 37: Probleme multimodaler Transkodierung in Sprachlehr-CD- Roms und wie man sie lösen kann Martin Kaltenbacher University of Salzburg martin.kaltenbacher@sbg.ac.at](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d7049795902118c0f07/html5/thumbnails/37.jpg)
4.1.1. Ikonisierung
![Page 38: Probleme multimodaler Transkodierung in Sprachlehr-CD- Roms und wie man sie lösen kann Martin Kaltenbacher University of Salzburg martin.kaltenbacher@sbg.ac.at](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d7049795902118c0f07/html5/thumbnails/38.jpg)
4.1.2. Rekodierung: Wortfelder als Icons
Picture dictionaries The New You & ME 1
Unit 15: breakfast explizites Lernen:
Vokabeltraining
![Page 39: Probleme multimodaler Transkodierung in Sprachlehr-CD- Roms und wie man sie lösen kann Martin Kaltenbacher University of Salzburg martin.kaltenbacher@sbg.ac.at](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d7049795902118c0f07/html5/thumbnails/39.jpg)
![Page 40: Probleme multimodaler Transkodierung in Sprachlehr-CD- Roms und wie man sie lösen kann Martin Kaltenbacher University of Salzburg martin.kaltenbacher@sbg.ac.at](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d7049795902118c0f07/html5/thumbnails/40.jpg)
![Page 41: Probleme multimodaler Transkodierung in Sprachlehr-CD- Roms und wie man sie lösen kann Martin Kaltenbacher University of Salzburg martin.kaltenbacher@sbg.ac.at](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d7049795902118c0f07/html5/thumbnails/41.jpg)
![Page 42: Probleme multimodaler Transkodierung in Sprachlehr-CD- Roms und wie man sie lösen kann Martin Kaltenbacher University of Salzburg martin.kaltenbacher@sbg.ac.at](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d7049795902118c0f07/html5/thumbnails/42.jpg)
![Page 43: Probleme multimodaler Transkodierung in Sprachlehr-CD- Roms und wie man sie lösen kann Martin Kaltenbacher University of Salzburg martin.kaltenbacher@sbg.ac.at](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d7049795902118c0f07/html5/thumbnails/43.jpg)
![Page 44: Probleme multimodaler Transkodierung in Sprachlehr-CD- Roms und wie man sie lösen kann Martin Kaltenbacher University of Salzburg martin.kaltenbacher@sbg.ac.at](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d7049795902118c0f07/html5/thumbnails/44.jpg)
Friends 1, Unit 5
Picture Dictionary – Going shopping (sic)Übung – Favourite foods Vocabulary test
![Page 45: Probleme multimodaler Transkodierung in Sprachlehr-CD- Roms und wie man sie lösen kann Martin Kaltenbacher University of Salzburg martin.kaltenbacher@sbg.ac.at](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d7049795902118c0f07/html5/thumbnails/45.jpg)
![Page 46: Probleme multimodaler Transkodierung in Sprachlehr-CD- Roms und wie man sie lösen kann Martin Kaltenbacher University of Salzburg martin.kaltenbacher@sbg.ac.at](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d7049795902118c0f07/html5/thumbnails/46.jpg)
![Page 47: Probleme multimodaler Transkodierung in Sprachlehr-CD- Roms und wie man sie lösen kann Martin Kaltenbacher University of Salzburg martin.kaltenbacher@sbg.ac.at](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d7049795902118c0f07/html5/thumbnails/47.jpg)
![Page 48: Probleme multimodaler Transkodierung in Sprachlehr-CD- Roms und wie man sie lösen kann Martin Kaltenbacher University of Salzburg martin.kaltenbacher@sbg.ac.at](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d7049795902118c0f07/html5/thumbnails/48.jpg)
![Page 49: Probleme multimodaler Transkodierung in Sprachlehr-CD- Roms und wie man sie lösen kann Martin Kaltenbacher University of Salzburg martin.kaltenbacher@sbg.ac.at](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d7049795902118c0f07/html5/thumbnails/49.jpg)
4.2.1. Enkodierung: Phrasen/Sätze als Cartoons
Phrasen / Sätze als Cartoons neues in bereits bekannte
Schemas integrieren (Wood 2001)
Informationsfluss: Given – New(Halliday; Kress & van Leeuwen)
![Page 50: Probleme multimodaler Transkodierung in Sprachlehr-CD- Roms und wie man sie lösen kann Martin Kaltenbacher University of Salzburg martin.kaltenbacher@sbg.ac.at](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d7049795902118c0f07/html5/thumbnails/50.jpg)
4.2.1. Discourse initiating unit (Halliday) Restaurant
![Page 51: Probleme multimodaler Transkodierung in Sprachlehr-CD- Roms und wie man sie lösen kann Martin Kaltenbacher University of Salzburg martin.kaltenbacher@sbg.ac.at](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d7049795902118c0f07/html5/thumbnails/51.jpg)
4.2.1. Could we have a table in the non-smoking area?
![Page 52: Probleme multimodaler Transkodierung in Sprachlehr-CD- Roms und wie man sie lösen kann Martin Kaltenbacher University of Salzburg martin.kaltenbacher@sbg.ac.at](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d7049795902118c0f07/html5/thumbnails/52.jpg)
4.2.1. Could we have a table in the smoking area?
![Page 53: Probleme multimodaler Transkodierung in Sprachlehr-CD- Roms und wie man sie lösen kann Martin Kaltenbacher University of Salzburg martin.kaltenbacher@sbg.ac.at](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d7049795902118c0f07/html5/thumbnails/53.jpg)
4.2.1. Visualisierbarkeit ?
Kontext (Given) gut visualisierbar
neue Information: oft schwer visualisierbarnon-smoking area vs. non-smoking areaDo you have any low fat dishes?Do you have any low cholesterol dishes?
![Page 54: Probleme multimodaler Transkodierung in Sprachlehr-CD- Roms und wie man sie lösen kann Martin Kaltenbacher University of Salzburg martin.kaltenbacher@sbg.ac.at](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d7049795902118c0f07/html5/thumbnails/54.jpg)
4.2.1. I'd like …
I'd like something to eat.
I'd like some soup.
I'd like fish. I'd like white
wine. Do you have any
low fat dishes?
![Page 55: Probleme multimodaler Transkodierung in Sprachlehr-CD- Roms und wie man sie lösen kann Martin Kaltenbacher University of Salzburg martin.kaltenbacher@sbg.ac.at](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d7049795902118c0f07/html5/thumbnails/55.jpg)
![Page 56: Probleme multimodaler Transkodierung in Sprachlehr-CD- Roms und wie man sie lösen kann Martin Kaltenbacher University of Salzburg martin.kaltenbacher@sbg.ac.at](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d7049795902118c0f07/html5/thumbnails/56.jpg)
4.2.1. Have you got fish? I'll take the fish?I'd like to have fish.
![Page 57: Probleme multimodaler Transkodierung in Sprachlehr-CD- Roms und wie man sie lösen kann Martin Kaltenbacher University of Salzburg martin.kaltenbacher@sbg.ac.at](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d7049795902118c0f07/html5/thumbnails/57.jpg)
4.2.1. Have you got spring rolls?
I'll take the spring rolls?I'd like to have spring rolls.
![Page 58: Probleme multimodaler Transkodierung in Sprachlehr-CD- Roms und wie man sie lösen kann Martin Kaltenbacher University of Salzburg martin.kaltenbacher@sbg.ac.at](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d7049795902118c0f07/html5/thumbnails/58.jpg)
4.2.1. Do you take credit cards?
![Page 59: Probleme multimodaler Transkodierung in Sprachlehr-CD- Roms und wie man sie lösen kann Martin Kaltenbacher University of Salzburg martin.kaltenbacher@sbg.ac.at](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d7049795902118c0f07/html5/thumbnails/59.jpg)
4.2.1. Vektoren (Kress & van Leeuwen 1996)
Vektoren = Verben dynamische Bewegung 2 Vektoren
dynamisches Verb take the credit card
Blicke: 2 Vektoren biete an: do you takewill haben: I will take
![Page 60: Probleme multimodaler Transkodierung in Sprachlehr-CD- Roms und wie man sie lösen kann Martin Kaltenbacher University of Salzburg martin.kaltenbacher@sbg.ac.at](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d7049795902118c0f07/html5/thumbnails/60.jpg)
4.2.1. Do you take credit cards?
![Page 61: Probleme multimodaler Transkodierung in Sprachlehr-CD- Roms und wie man sie lösen kann Martin Kaltenbacher University of Salzburg martin.kaltenbacher@sbg.ac.at](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d7049795902118c0f07/html5/thumbnails/61.jpg)
4.2.2. Enkodierung: Dialoge als Photo-
stories implizites Lernen Lernen im Kontext fortgeschritten eingebettet in Schema
(Schank & Abelson 1977) strikte generische Struktur
Language of service encounters (Hasan 1985; Ventola 1987)
![Page 62: Probleme multimodaler Transkodierung in Sprachlehr-CD- Roms und wie man sie lösen kann Martin Kaltenbacher University of Salzburg martin.kaltenbacher@sbg.ac.at](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d7049795902118c0f07/html5/thumbnails/62.jpg)
4.2.2. Service encounters
Digital Publishing (1999): English: Kommunikationstrainer 3+.The market – buying gorceries
![Page 63: Probleme multimodaler Transkodierung in Sprachlehr-CD- Roms und wie man sie lösen kann Martin Kaltenbacher University of Salzburg martin.kaltenbacher@sbg.ac.at](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d7049795902118c0f07/html5/thumbnails/63.jpg)
4.2.2. Sale request I'd like one garlic bulb, two lemons and three green peppers, please.
![Page 64: Probleme multimodaler Transkodierung in Sprachlehr-CD- Roms und wie man sie lösen kann Martin Kaltenbacher University of Salzburg martin.kaltenbacher@sbg.ac.at](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d7049795902118c0f07/html5/thumbnails/64.jpg)
4.2.2. Sale compliance Anything else?
![Page 65: Probleme multimodaler Transkodierung in Sprachlehr-CD- Roms und wie man sie lösen kann Martin Kaltenbacher University of Salzburg martin.kaltenbacher@sbg.ac.at](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d7049795902118c0f07/html5/thumbnails/65.jpg)
4.2.2. Sale request Yes, and some grapes please, about three bunches.
![Page 66: Probleme multimodaler Transkodierung in Sprachlehr-CD- Roms und wie man sie lösen kann Martin Kaltenbacher University of Salzburg martin.kaltenbacher@sbg.ac.at](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d7049795902118c0f07/html5/thumbnails/66.jpg)
4.2.3. Enkodierung: Dialoge als Film
implizites Lernen Verstärken expliziter gelehrter
Inhalte andere Repräsentationsformen anderer Kontext andere Lernertypen
![Page 67: Probleme multimodaler Transkodierung in Sprachlehr-CD- Roms und wie man sie lösen kann Martin Kaltenbacher University of Salzburg martin.kaltenbacher@sbg.ac.at](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d7049795902118c0f07/html5/thumbnails/67.jpg)
4.2.3. The New You & Me 1 (2004)
![Page 68: Probleme multimodaler Transkodierung in Sprachlehr-CD- Roms und wie man sie lösen kann Martin Kaltenbacher University of Salzburg martin.kaltenbacher@sbg.ac.at](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d7049795902118c0f07/html5/thumbnails/68.jpg)
4.2.3. Probleme
zentrale Darstellung / Sichtbarmachung der neuen Inhalte
Visualisierung der Begriffe durch verschiedene Referenten
![Page 69: Probleme multimodaler Transkodierung in Sprachlehr-CD- Roms und wie man sie lösen kann Martin Kaltenbacher University of Salzburg martin.kaltenbacher@sbg.ac.at](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d7049795902118c0f07/html5/thumbnails/69.jpg)
5. Schlussfolgerungen Visualisierung
enDidaktik
![Page 70: Probleme multimodaler Transkodierung in Sprachlehr-CD- Roms und wie man sie lösen kann Martin Kaltenbacher University of Salzburg martin.kaltenbacher@sbg.ac.at](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d7049795902118c0f07/html5/thumbnails/70.jpg)
5. Visualisierungen
1. nicht jeder Text lässt sich visualisieren2. übergeordnete Begriffe (Hyperonyme):
ikonisieren3. untergeordnete Begriffe (Hyponyme):
fotografieren4. komplexe (konnotationsbeladene) Inhalte:
wesentliche distinktive Merkmale möglichst kulturneutral
dinner Uhrzeit
![Page 71: Probleme multimodaler Transkodierung in Sprachlehr-CD- Roms und wie man sie lösen kann Martin Kaltenbacher University of Salzburg martin.kaltenbacher@sbg.ac.at](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d7049795902118c0f07/html5/thumbnails/71.jpg)
5. Visualisierungen
5. Abstrakte Inhaltegrundsätzlich nicht rekodierbar
anything else
manchmal erschließbar aus Kontex (Given) strikter generischer Struktur
![Page 72: Probleme multimodaler Transkodierung in Sprachlehr-CD- Roms und wie man sie lösen kann Martin Kaltenbacher University of Salzburg martin.kaltenbacher@sbg.ac.at](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d7049795902118c0f07/html5/thumbnails/72.jpg)
5. Didaktik
1. Begriffe mehrfach präsentierenunterschiedliche Visualisierungen:
Icons, Fotos, Zeichnungen, Filmverschiedene Kontexte:
Dictionary, Frühstück, Supermarkt2. neue Begriffe in bestehende Schemas
und Kontexte integrieren3. explizites und implizites Lernen
verbinden
![Page 73: Probleme multimodaler Transkodierung in Sprachlehr-CD- Roms und wie man sie lösen kann Martin Kaltenbacher University of Salzburg martin.kaltenbacher@sbg.ac.at](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d7049795902118c0f07/html5/thumbnails/73.jpg)
Danke!
![Page 74: Probleme multimodaler Transkodierung in Sprachlehr-CD- Roms und wie man sie lösen kann Martin Kaltenbacher University of Salzburg martin.kaltenbacher@sbg.ac.at](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d7049795902118c0f07/html5/thumbnails/74.jpg)
References
Al-Seghayer, Khalid (2001): The Effect of Multimedia Annotation Modes on L2 Vocabulary Acquisition: a Comparative Study. In: Language Learning & Technology 5 (1), 202-232.
Baldry, Anthony & Thibault, Paul (2006): Multimodal Transcription and Text Analysis. London: Equinox.
Barthes, Roland (1977): Rhetoric of the Image. In: Heath, S. (ed.): Roland Barthes: Image, Music, Text. London: Fontana Press, 32-51.
Halliday, Michael A. K. (1994): An Introduction to Functional Grammar. London: Arnold. Hasan, Ruqaiya. (1985): The structure of a text. In Halliday, M.A.K./Hasan, R. (eds):
Language, Context, and Text: Aspects of Language in a Social-Semiotic Perspective. Victoria: Deakin University, 52-69.
Kaltenbacher, Martin (2003): Language learning via CD-Rom – old wine in new bottles. In: Newby, D. (ed.): Mediating between Theory and Practice in the Context of Different Learning Cultures and Languages. Strasbourg: Council of Europe Publishing, 171-175.
Kaltenbacher, Martin (2004): Multimodality in language teaching CD-Roms. In: Ventola, E./Charles, C./Kaltenbacher, M. (eds.): Perspectives on Multimodality. Amsterdam: John Benjamins, 119-136.
Kress, Gunther/van Leeuwen, Theo (2006): Reading Images. The Grammar of Visual Design. London/New York: Routledge.
Van Leeuwen, Theo (2005): Introducing Social Semiotics. London: Routledge. Ventola, Eija (1987): The Structure of Social Interaction: A Systemic Approach to the
Semiotics of Service Encounters. London: Pinter Publishers. Wood, Julie (2001): Can Software Support Children's Vocabulary Development? In:
Language Learning & Technology 5 (1), 166-201.
![Page 75: Probleme multimodaler Transkodierung in Sprachlehr-CD- Roms und wie man sie lösen kann Martin Kaltenbacher University of Salzburg martin.kaltenbacher@sbg.ac.at](https://reader035.vdocuments.site/reader035/viewer/2022062622/55204d7049795902118c0f07/html5/thumbnails/75.jpg)
CD-Roms
Desktop Systems Ltd., Kiev, Ukraine (1995): Holiday Language Trainer – Englisch; Grosser CD-ROM Sprachtrainer Englisch. Königswinter: Tandem Verlag Multimedia Line.
Digital Publishing (1999): English: Kommunikationstrainer 3+. München: Digital Publishing.
Gerngroß, Günter et al. (1998): The New You & Me 1 – CD-Rom. München: Langenscheidt-Longman.