ChatGPTmultimodal_Teaser

ChatGPT – multimodale Fähigkeiten

Seit einigen Monaten ist eine ChatGPT-Version mit multimodalen Fähigkeiten (Bilderkennung und Sprachfunktion) verfügbar. In diesem praxisorientierten Blogbeitrag möchte ich eine erste Annäherung mit Blick auf Schule und Unterricht wagen und beispielhaft zeigen, welche Prozesse nun mit ChatGPT möglich sind und was das für den Unterricht bedeuten könnte.
Hauke-Poelert
Von

Hauke Pölert

Hauke Pölert, BA, M.Ed, M. Sc., Lehrer für Spanisch und Geschichte am TheodorHeuss-Gymnasium Göttingen; Autor und Redaktionsmitglied IQES online, Lehrbeauftragter an der Georg-August-Universität Göttingen (Fachdidaktik der Geschichte) und regelmäßige Seminartätigkeit. Referent und Fortbilder im Bereich Schul- und Unterrichtsentwicklung. Mehrjährige Erfahrung in der Schul- und Unterrichtsentwicklung (Digitalisierungskonzepte) als Leiter einer Schulentwicklungsgruppe. Autor des Blogs und Youtube-Kanals »unterrichten.digital«.

Seit Ende 2022 ist ChatGPT das bekannteste, in Schule und Unterricht meistgenutzte Sprachmodell. In meiner eigenen Schule, aber auch in allen Schulen, die ich im Rahmen von Fortbildungen besuche, arbeiten Schülerinnen und Schüler und häufig auch die Lehrkräfte mit ChatGPT. Bislang waren allerdings nur Eingaben und Ausgaben in Textform möglich, was für die Erprobung zwar interessant war, aber gerade im schulischen Lernkontext doch deutliche Grenzen aufzeigte. Das hat sich mit dem letzten Update geändert – seit Oktober 2023 ist ChatGPT 4 (also leider nur die kostenpflichtige Premiumversion) multimodal.

Update: Multimodales GPT4

Die multimodale Bilderkennung ermöglicht es ChatGPT, nicht nur auf textbasierte Eingaben zu reagieren, sondern auch mit Bildern zu arbeiten. Dies eröffnet eine Fülle neuer Möglichkeiten für den Unterricht. Schülerinnen und Schüler können nun genauso wie Lehrkräfte ihre eigenen Skizzen, Diagramme oder Fotos hochladen und sofortiges Feedback oder Erklärungen zu ihrem Inhalt erhalten. Lehrpersonen erhalten nach dem Upload eines Bildes zusätzliche Informationen oder Kontext zu einem bestimmten Thema und damit neue Ideen oder auch Unterstützungsmaterialien für den Unterricht. Nebeneffekt: Gerade das Erstellen von Erwartungshorizonten kann damit, ganz im Sinne der Ping-Pong-Metapher für die Zusammenarbeit von Mensch und Maschine, deutlich vereinfacht werden.

Ko-Konstruktion von Lehrer und Sprachmodell im Sinne der Ping-Pong-Metapher – multimodal noch deutlich vielfältiger als bisher (Hauke Pölert, ChatGPT 2023)

Eine weitere Vereinfachung erfährt das multimodale Arbeiten mit ChatGPT durch ein Update, das die unterschiedlichen Fähigkeiten von ChatGPT (Dokumente auslesen, Chat, DALL-E für Abbildungen, Browsing) in einem Chat ohne Wechsel des Modells/Chats ermöglicht. Damit werden viele Abläufe (siehe Praxisbeispiel zur Russischen Revolution) deutlich vereinfacht.
Zugleich lässt sich in der iOS-App von ChatGPT nun auch per Sprachausgabe kommunizieren. Simulierten Rollenspielen mit der KI, die nun endlich nicht mehr schriftlich als Chat ablaufen, sondern bspw. zielsprachig im Spanischunterricht oder auch zuhause als Übungsszenario genutzt werden können, steht nichts mehr im Wege. Das zeige ich im dritten Praxisbeispiel.

Praxisbeispiele zur Arbeit mit Karten und Abbildungen

Beispiel 1: Arbeit mit einer Geschichtskarte

Ein einfaches Beispiel zeige ich hier aus dem Geschichtsunterricht: Im Rahmen einer Stunde zur Russischen Revolution arbeiten wir mit einer dynamischen Geschichtskarte, deren inhaltliche Dichte zahlreiche Ansätze für Beschreibung und Analyse bietet. In ChatGPT lade ich diese Karte mit dem einfachen Prompt „Beschreibe mit Hilfe der Karte M1 den Verlauf der Industrialisierung Russlands und arbeite auch Besonderheiten heraus“ – daraus entsteht der folgende Lösungsansatz:

Die Ergebnisse sind konkret und beziehen sich auf Angaben aus der Geschichtskarte, bleiben aber auch (wie so häufig bei ChatGPT) recht allgemein – das könnte am verwendeten Operator „Beschreiben“ liegen. Daher passe ich den Prompt nochmal (Beispiel hier direkt aus dem Unterricht) an und gebe GPT Hinweise sowohl zur im Geschichtsunterricht üblichen methodischen Vorgehensweise als auch zu unserem Semesterthema „Russische Revolutionen“:

„Analysiere mit Hilfe der Karte M1 den Verlauf der Industrialisierung Russlands und arbeite auch Besonderheiten heraus. Achte dabei besonders auf:
A. Den Dreischritt aus 1. Beschreibung, 2. Analyse, 3. Interpretation der Geschichtskarte und
B. Nicht nur Besonderheiten, sondern auch evtl. Hinweise auf Entwicklungen im Vorfeld der Russischen Revolutionen herauszuarbeiten.“

Nun erhalte ich folgende Lösung:

Die hier im zweiten Versuch gelieferten Antworten sind genauer, insbesondere mit Blick auf die Kartenanalyse und die Einordnung in die Vorgeschichte der Russischen Revolutionen. Für mich als Lehrer lassen sich so also ganz einfach Erwartungshorizonte erstellen – vorher eine teils zeitintensive Arbeit – und natürlich kann ich jeden der Punkte im Rahmen der Unterrichts- oder Klausurvorbereitung auch selber anpassen und ergänzen

+ Schülerinnen und Schüler erhalten mit dieser multimodalen Arbeitsweise unmittelbar Unterstützung – und bspw. während des Arbeitens durch Abgleich von eigener Analyse und KI-Analyse interessante Einblicke in Potentiale und Grenzen von KI (Lernen mit und über KI).

– Natürlich können sie auf diesem Weg aber genauso gut Ergebnisse ohne eigene Arbeit und eigenes Zutun vorgefertigt erhalten, ganz ohne eigene Zusammenhänge herzustellen oder offenen Fragen auf den Grund zu gehen (wichtiger Punkt für die Frage nach Lernen ohne KI).

Mit dem ebenso einfachen Prompt „Entwickele aus dieser Karte einen Vorschlag für eine 15-minütige Präsentation zum Thema „Russland im Vorfeld der Russischen Revolutionen – eine Kartenanalyse inkl. Strukturierung und inhaltlichen Hinweisen.“ können Schülerinnen und Schüler nun Anhaltspunkte für einen möglichen Vortrag zu diesem Thema erhalten:

Führe ich die multimodale Arbeitsweise mit ChatGPT noch weiter, so könnte ich noch eine passende Karikatur für meinen Unterricht – oder als Schüler: für meine Präsentation – basierend auf der genutzten Geschichtskarte erstellen. Denn ChatGPT bietet mithilfe von DALL-E 3 nun auch die Funktion, aus Inhalten und Prompts Bilder zu erstellen. Mit dem Prompt „Erstelle aus dieser Beschreibung einer Geschichtskarte eine Karikatur für den Geschichtsunterricht“ (darunter kopiere ich die Beschreibung der Geschichtskarte aus ChatGPT) erhalte ich vier Karikaturvorschläge:

Beispiel 2: Arbeit mit einer Bildtafel zu den Nürnberger Gesetzen

Auch die Arbeit mit einem zentralen Dokument zum 1935 erlassenen „Gesetz zum Schutze des deutschen Blutes und der deutschen Ehre“ zeigt, das ChatGPT die Abbildung korrekt auslesen und Zusammenhänge herstellen kann. Mit dem Prompt „Erläutere die vorliegende Abbildung. Ich bin Schüler der 9. Klasse und verstehe das Material, das uns unser Geschichtslehrer gegeben hat, nicht so richtig (historischer Kontext, Maßnahmen der Gesetze, Auswirkungen auf die Betroffenen).“ nehme ich die Perspektive eines Schülers der 9. Klasse ein, der Unterstützung benötigt und dafür die genannte Bildtafel zum sog. „Blutschutzgesetz“ von 1935 verwendet. Anschließend bitte ich um Erweiterung für einen Schüler des 13. Jahrgangs:

Praxisbeispiele zur Arbeit mit handschriftlichen Materialien

Feedback zu einer (handgeschriebenen) Hausaufgabe

Für kriterienorientiertes Feedback zu einer Geschichtshausaufgabe kombiniere ich eine handgeschriebene Abgabe mit einem eingescannten Operator-Hinweisblatt (Erörterung) und nutze dann den Prompt:

Meine Schülerinnen und Schüler haben folgende Aufgabe erhalten: Erörtere, ob mit Blick auf den wirtschaftlichen Aufschwung der Jahre 1933-1936 die Bezeichnung „Wirtschaftswunder“ zutreffend ist.

  • Oben links stehen die Kriterien für eine gelungene Erörterung
  • rechts stehen die beiden Seiten handschriftlicher Text des Schülers

Gib dem Schüler Feedback zu zwei Aspekten:

  • Kriterien einer gelungenen Erörterung
  • Inhaltliches Feedback hinsichtlich der Argumente, des Sachurteils sowie des Werturteils

Anschließend erhalte ich ein umfassendes und mit Blick auf den Text auch weitgehend passendes und spezifisches Feedback – bei 27 Lernprodukten in dieser Klasse hätte ich zumindest schon aus Zeitgründen die Texte nicht annähernd so genau bewerten können:

Transkription und Analyse einer handschriftlichen Quelle (Marie Curie)

Eine wirklich harte Nuss gebe ich ChatGPT mit den handschriftlichen Notizen aus Marie Curies Notizheft, das uns glücklicherweise erhalten geblieben ist, zum Knacken. Für Schülerinnen und Schüler kaum entzifferbar, stellen Curies Aufzeichnungen doch eine interessante Quelle dar. Vielleicht hätte ich lieber einen einfachen Tagebucheintrag mit Fließtext nehmen sollen, das hätte sicherlich funktioniert. Hier scheitert ChatGPT weitgehend, kann aber dennoch korrekte Bezüge herstellen und erkennt Formeln, Skizzen und Notizen. Es ist davon auszugehen, dass diese in späteren GPT-Versionen deutlich akkurater herausgearbeitet werden. Das Potential wird aber bereits deutlich…

Sprachausgabe

Die Sprachausgabe-Funktion in der iOS-App von ChatGPT bietet ganz neue Möglichkeiten, gerade auch für den Sprachenunterricht. Denn nun lässt sich eine „Unterhaltung“ mit ChatGPT führen, das per Sprachausgabe (recht authentisch klingend) antwortet. Das bietet Ansätze für

  • authentischere Dialogsituationen als im heutigen Unterricht, in dem die Lernenden häufig Rollenspiele miteinander simulieren und dann als Sprachenlerner (die einen Muttersprachler simulieren) wenig authentisch agieren,
  • die Gelegenheit, einen (quasi) muttersprachlichen Gesprächspartner zu haben (in der Schule, aber genauso zuhause), der beim Lernen unterstützt und interaktives Sprechen ermöglicht und
  • abschließend lernförderliches Feedback auf das gelaufene Gespräch geben kann (Inhalt und Sprache).

Ein klassisches Beispiel ist die Simulation eines Bewerbungsgespräches, hier z.B. für ein Freiwilliges Soziales Jahr in Costa Rica. Mit dem Prompt

„Ich bewerbe mich für ein Freiwilliges Soziales Jahr in Costa Rica bei Euch als Tierschutzorganisation in San José. Du bist als Personalverantwortlicher mein Interviewpartner und beginnst das Vorstellungsgespräch, sobald ich ‚Start‘ geschrieben habe. Anschließend führst Du mit mir das Vorstellungsgespräch so lange, bis ich ‚Gracias por su atención‘ sage. Anschließend gibst Du mir ein ausführliches Feedback zum Inhalt und zu meiner sprachlichen Leistung.“

Das Feedback nach einem sehr angenehmen und äußerst authentischen Bewerbungsgespräch (ich habe selbst während meines dualen Studiums in der Personalabteilung eines Automobilkonzerns Bewerbungsgespräche begleiten und führen dürfen) fällt differenziert aus.

Ansätze für verschiedene Unterrichtsfächer

Auch wenn wir uns in Sachen KI/Sprachmodelle noch in einem frühen Entwicklungsstadium befinden, ist es interessant, diese Entwicklung praktisch zu begleiten, Ansätze zu erproben und Potentiale für den Unterricht abzuleiten. Viele Ideen sind fachunabhängig interessant. Eine Kernfunktion von KI sehe ich im Bereich von Lernbegleitung und Feedback. Hier existieren schon jetzt praxistaugliche Lösungen, die Schülerinnen und Schüler effektiv unterstützen können.
Das zeigt auch eine ganz allgemeine, exemplarisch zu verstehende, erste Auflistung für verschiedene Fächer / Aufgabenfelder, in der jeweils Ansätze für Lernbegleitung und Unterstützung im Erarbeitungsprozess aufgeführt sind.

Fremdsprachen

  • Dialogübungen mit Sprachausgabe: Schülerinnen und Schüler können mithilfe von ChatGPT simulierte Konversationen in der Zielsprache führen (s. Beispiel oben). So könnten sie beispielsweise ein Gespräch im Restaurant, am Bahnhof oder beim Arzt üben und dabei sofort Feedback zu Aussprache und Grammatik erhalten.
  • Bildbeschreibungen: Die Lernenden laden ein Bild aus dem Zielland hoch und beschreiben es in der Zielsprache. ChatGPT kann dann Korrekturen oder Ergänzungen vornehmen.
  • Landeskunde: Schüler könnten Bilder von kulturellen Ereignissen oder Gebräuchen hochladen und ChatGPT fragen, was es darüber in der Zielsprache zu erzählen weiß.

Naturwissenschaften

  • Experimentinterpretation: Schülerinnen und Schüler fotografieren ihre Laborergebnisse und fragen ChatGPT nach möglichen Schlussfolgerungen oder Erklärungen.
  • Flora und Fauna: Ein Foto von einem unbekannten Tier oder einer Pflanze kann hochgeladen werden, um Details über dessen Klassifizierung oder Lebensweise zu erfahren.
  • Abbildungen aus dem Lehrwerk werden in ChatGPT analysiert und hinsichtlich verschiedener Aspekte befragt, bevor z.B. ein Lerngespräch mit dem KI-Tutor beginnt (s. Beitrag zu Mega-Prompts).

Gesellschaftswissenschaften

  • Historische Bilder: Schüler könnten Fotos von historischen Orten oder Artefakten hochladen und ChatGPT um zusätzlichen Kontext oder eine Zeitleiste bitten.
  • Geographische Erkundung: Bilder von Landschaften oder Städten könnten als Ausgangspunkt für vertiefende Fragerunden mit der KI über Geographie, Kultur und Geschichte des jeweiligen Ortes dienen.
  • Wirtschaftsdiagramme: Durch das Hochladen von Diagrammen oder Grafiken zu wirtschaftlichen Themen könnten tiefere Analysen und Interpretationen ermöglicht oder auch die Grenzen von KI (zum jetzigen Zeitpunkt) ausgelotet werden.

Sport

  • Bewegungsanalyse: Schaubilder zum Bewegungsablauf bestimmter Übungen können als Grundlage für Tipps und Tricks oder für Bewegungsempfehlungen genutzt werden.
  • Sportausrüstung: Durch das Hochladen von Fotos von Sportgeräten oder -kleidung könnten Empfehlungen oder Sicherheitshinweise gegeben werden.
  • Sportgeschichte: Bilder von historischen Sportereignissen könnten zur Diskussion über die Entwicklung bestimmter Sportarten anregen.

Musik

  • Notenblätter: Schüler könnten Notenblätter hochladen und Feedback zu ihrer Komposition oder Vorschläge für Verbesserungen erhalten.
  • Instrumentenerkennung: Bilder von Musikinstrumenten könnten hochgeladen werden, um mehr über deren Geschichte und Spieltechnik zu erfahren.
  • Musikgenres: Fotos von Konzerten oder Musikfestivals könnten den Anstoß für Diskussionen über Musikstile und -geschichte geben.

Kunst

  • Kunstwerkinterpretation: Durch das Hochladen von Kunstwerken könnten Schüler tiefergehende Analysen und Kontextinformationen zu verschiedenen Kunstströmungen erhalten.
  • Techniktipps: Bilder von eigenen Kunstprojekten könnten zu Feedback und Vorschlägen für Verbesserungen führen.
  • Kunstgeschichte: Fotos von berühmten Kunstwerken könnten als Grundlage für Diskussionen über den jeweiligen Künstler und die Kunstepoche dienen.
Hauke-Poelert
Hauke Pölert

Hauke Pölert, BA, M.Ed, M. Sc., Lehrer für Spanisch und Geschichte am TheodorHeuss-Gymnasium Göttingen; Autor und Redaktionsmitglied IQES online, Lehrbeauftragter an der Georg-August-Universität Göttingen (Fachdidaktik der Geschichte) und regelmäßige Seminartätigkeit. Referent und Fortbilder im Bereich Schul- und Unterrichtsentwicklung. Mehrjährige Erfahrung in der Schul- und Unterrichtsentwicklung (Digitalisierungskonzepte) als Leiter einer Schulentwicklungsgruppe. Autor des Blogs und Youtube-Kanals »unterrichten.digital«.

Der IQES Blog Aktuelles aus dem Bildungsbereich

Artikel zu aktuellen Themen, die die Bildungwelt bewegen – von ausgewiesenen Experten. Aenean massa. Cum sociis natoque penatibus et magnis dis parturient montes, nascetur ridiculus mus. Donec quam felis, ultricies nec, pellentesque eu, pretium quis, sem. Nulla consequat massa quis enim. Donemus. Donec quam felis, ultricies nec, pellentesque eu, pretium quis, sem. Nulla consequat massa quis enim. Donec pede justo, fringilla vel, aliquet nec, vulputate eget, arcu.

 

über Erweitert > Responsive > ausgeblendet