Schulische Nutzung von KI-Schreibtools aus Sicht des Datenschutzes

Large Lan­guage Models (LLM) oder auch sto­chas­ti­sche Sprach­mo­delle, hier gele­gent­lich bezeichnet als KI-Schreib­tools, sind zwar erst seit wenigen Monaten für die All­ge­mein­heit ver­fügbar, doch schon jetzt zeichnet sich ab, dass Schulen sie nicht igno­rieren können.

Mitt­ler­weile gibt es eine Viel­zahl von Berichten, wie Platt­formen wie ChatGPT durch Ler­nende und Leh­rende im Kon­text Unter­richt ein­ge­setzt werden. Die ersten Aus­sagen von Auf­sichts­be­hörden befassten sich vor allem mit dem Pro­blem, dass die Ant­worten der Sprach­mo­delle häufig zwar über­zeu­gend for­mu­liert, fak­tisch jedoch nicht richtig sind. Wie kor­rekt Aus­sagen inhalt­lich sind, hängt jedoch sehr vom jewei­ligen LLM ab und von der Ent­wick­lungs­stufe.

ChatGPT ist seit der Ver­sion 4.0 deut­lich besser bezüg­lich der Fakten, doch noch immer nicht per­fekt. Dritt­an­bieter, welche auf ChatGPT auf­bauen, lie­fern teil­weise Quel­len­an­gaben mit und nehmen über ihre Platt­formen Ein­fluss auf die aus­ge­ge­benen Ant­worten. Es bleibt somit die Frage, ob ein sto­chas­ti­sches Sprach­mo­dell inhalt­lich zutref­fende Ant­worten lie­fert. Damit müssen sich Schulen vor allem mit Blick auf die Medi­en­kom­pe­tenz ihrer Schü­le­rinnen und Schüler aus­ein­an­der­setzen. Zu berück­sich­tigen sind dar­über hinaus daten­schutz­recht­liche Vor­gaben bei der Nut­zung dieser Platt­formen durch Ler­nende wie auch Lehr­kräfte.

Wie bei jeder von einer Schule genutzten Platt­form spielen bei der Aus­wahl all­ge­meine wie auch im Schul­recht defi­nierte daten­schutz­recht­liche Vor­gaben eine Rolle. Die Ein­satz­mög­lich­keiten einer Platt­form hängen maß­geb­lich davon ab, ob und inwie­weit diese Vor­gaben erfüllt werden. Für den Anbieter einer Platt­form und even­tuell inte­grierte Dienst­leister fallen keine ver­wert­baren per­so­nen­be­zo­genen oder ‑bezieh­baren Daten an, sofern

• sich diese ohne Anmel­dung über unper­so­na­li­sierte schu­li­sche End­ge­räte nutzen lässt,
• die Nut­zenden wäh­rend der­selben Sit­zung nicht an einer anderen, nicht-schu­li­schen bzw. privat genutzten Platt­form ange­meldet sind und
• bei der Nut­zung keine per­sön­li­chen Infor­ma­tionen oder die von anderen Per­sonen aus ihrem Umfeld in Prompts ein­ge­geben werden.

So bleiben die Nut­zenden anonym und es ent­stehen ihnen keine Risiken bezüg­lich ihrer Rechte und Frei­heiten.

Welche Mög­lich­keiten gibt es sonst, sto­chas­ti­sche Sprach­mo­delle zu nutzen? Für Schulen kommen poten­tiell fünf Optionen in Betracht:

Nut­zung über

1. die Web­site des Anbie­ters selbst (z. B. OpenAI/ChatGPT),
2. einen Dritt­an­bieter via API (Pro­gram­mier­schnitt­stelle) inte­grierten Dienst,
3. eine selbst erstellte Anwen­dung oder Online-Platt­form via API inte­grierter Dienst,
4. ein lokal auf End­ge­räten (inner­halb einer App) lau­fendes Sprach­mo­dell oder
5. eine selbst oder durch einen Dienst­leister betrie­bene eigene Instanz eines LLM.

ChatGPT und Daten­schutz — das Wich­tigste, was man für die Nut­zung in der Schule wissen sollte

1. Über die Web­site des Anbie­ters ist eine Nut­zung von ChatGPT nur mit indi­vi­du­ellen Konten mög­lich. Da die Erstel­lung dieser Konten eine Mobil­funk­nummer erfor­dert, ist keine anonyme Nut­zung der Platt­form auf diesem Wege mög­lich.
2. Der Anbieter und die von ihm zur Bereit­stel­lung von ChatGPT genutzten von Dienst­leis­tern betrie­benen Server unter­liegen durch ihre Stand­orte unmit­telbar US-Gesetzen und befinden sich somit auch im unmit­tel­baren Zugriff von US-Ermitt­lungs­be­hörden. Glei­ches sollte wei­test­ge­hend auch für die über die Bereit­stel­lung von Ser­vern hin­aus­ge­hend genutzten Dienst­leister gelten.
3. Da der Anbieter auf­grund der Funk­tion der Platt­form jeder­zeit Zugriff auf alle Nut­zer­daten und ‑inter­ak­tionen mit der Platt­form hat und der Zugriff auf ChatGPT über die Web­site durch die Angabe einer Mobil­funk­nummer immer einer iden­ti­fi­zier­baren Person zuge­ordnet werden kann, wird OpenAI diese Daten auf Anfrage von US-Ermitt­lungs­be­hörden auch immer an diese aus­lie­fern.
4. Die Über­mitt­lung von per­so­nen­be­zo­genen Daten, wozu Kon­to­daten, Nut­zungs­daten, Gerä­te­daten, Prompts und Feed­back zählen, in die USA, ist seit dem Schrems II Urteil des EuGH pro­ble­ma­tisch, wenn sie nicht durch zusätz­liche Schutz­maß­nahmen abge­si­chert ist. Im Fall von ChatGPT gibt es diese Schutz­maß­nahmen nicht.
5. Nut­zende müssen min­des­tens 13 Jahre alt sein und vor Voll­endung des 18. Lebens­jahres eine Ein­wil­li­gung ihrer Erzie­hungs­be­rech­tigten ein­holen, um die Dienste von OpenAI nutzen zu können.
6. OpenAI ver­wendet Inhalts­daten aus der Nut­zung von ChatGPT über die Web­site des Anbie­ters für eigene Zwecke. Dazu gehören die Wei­ter­ent­wick­lung und das Trai­ning der Platt­form. Für die Nut­zung von ChatGPT über die API gilt das nicht.
7. Mitt­ler­weile bietet OpenAI die Option, in ChatGPT »anonyme Chats« zu führen, deren Inhalte nicht für Trai­nings­zwecke genutzt werden sollen.
8. Die Nut­zung von ChatGPT über die API ist mit einem Ver­trag zur Auf­trags­ver­ar­bei­tung, dem Data Pro­ces­sing Addendum, wel­ches die Stan­dard­ver­trags­klau­seln (Stan­dard Con­trac­tual Clauses, SCC) ein­schließt, mög­lich. Bei einer daten­spar­samen Imple­men­tie­rung der API lässt sich ChatGPT gegen­über OpenAI anonym nutzen, solange die Nut­zenden keine per­sön­li­chen Inhalte über Prompts oder als Trai­nings­daten in die Platt­form ein­bringen.
9. Für die Nut­zung von ChatGPT über die API sichert OpenAI eine zer­ti­fi­zierte Sicher­heit nach Indus­trie­stan­dards zu. Ob diese für die Ver­ar­bei­tung von per­so­nen­be­zo­genen Daten aus­reicht, wäre zu prüfen.
   Da bei einer daten­spar­samen Imple­men­tie­rung der API keine für OpenAI, seine Dienst­leister oder US-Ermitt­lungs­be­hörden ver­wert­baren Daten anfallen, unter­liegt diese Art der Nut­zung von ChatGPT nicht den Ein­schrän­kungen von Schrems II.

Um die Vor­teile der API zu nutzen, braucht es eine Anwen­dung oder Web­site, über welche ChatGPT auf­ge­rufen wird. Diese kann selbst erstellt und betrieben werden oder wird durch einen Dienst­leister bereit­ge­stellt.

Es sollte klar geworden sein, dass der Zugriff über die Web­site des Anbie­ters mit indi­vi­du­ellen Konten aus Sicht von Daten­schutz die schlech­teste Option dar­stellt und die über die API ein­deutig zu bevor­zugen ist. Die Nut­zung mit per­sön­li­chen Konten ist trotz allem nicht unmög­lich, wenn keine bes­seren Optionen zur Ver­fü­gung stehen.

Nut­zungs­sze­na­rien

Indi­vi­du­ellen Konten bei OpenAI

• Lehr­kraft mit eigenem Konto als ver­mit­telnde Person: Erstellt eine Lehr­kraft ein per­sön­li­ches Konto bei OpenAI, ob bezahlt oder kos­ten­frei, ist das eine Pri­vat­an­ge­le­gen­heit. Nutzt die Lehr­kraft diesen Zugang im Unter­richt, nimmt die Prompts der Ler­nenden an und gibt die Ant­worten über eine Anzeige zurück, ent­stehen für Ler­nenden keine Risiken. Die Lehr­kraft hat die volle Kon­trolle. Diese Lösung ist mit Blick auf Daten­schutz aus Schul­sicht gut ver­tretbar.
• Lehr­kraft stellt zweites eigenes Konto zur Ver­fü­gung: Hat eine Lehr­kraft zwei Konten, ein freies und ein kos­ten­pflich­tiges, so kann sie das kos­ten­freie den Schü­le­rinnen und Schü­lern zur Ver­fü­gung stellen, die damit keinen Ein­blick in das eigent­liche, privat genutzte kos­ten­pflich­tige Konto von ChatGPT erhalten. Loggt sich die Lehr­kraft mit dem kos­ten­freien Konto auf einem unper­so­na­li­sierten, für Ler­nende bereit­ge­stellten End­gerät ein, hat die Spiel­re­geln geklärt und lässt die Schü­le­rinnen und Schüler eigen­ständig mit ChatGPT inter­agieren, so ent­stehen für diese nur dann Risiken, wenn sie sich nicht an die Regeln halten und eigene per­sön­liche Infor­ma­tionen oder solche von anderen Per­sonen aus ihrem Umfeld in Prompts ein­geben. Diese Lösung ist mit Blick auf Daten­schutz aus Schul­sicht ver­tretbar.
• Ler­nende zwi­schen 13 und 18 Jahren nutzen eigene Konten: Erstellen Ler­nende zwi­schen 13 und 18 Jahren mit Zustim­mung ihrer Erzie­hungs­be­rech­tigten eigene Konten bei OpenAI, ist das zwar nach den Vor­gaben des Anbie­ters zulässig, doch erfolgt die Erstel­lung der Konten in der Schule, so ist diese mit Blick auf schul­recht­liche Vor­gaben nicht ver­tretbar. Das Erstellen und die Nut­zung pri­vater Konten von ChatGPT sollten im Unter­richt nicht zuge­lassen werden, da dies mit Blick auf Daten­schutz aus Schul­sicht nicht ver­tretbar ist.
• Ler­nende ab 18 Jahren nutzen eigene Konten: Ab einem Alter von 18 Jahren erstellen Ler­nende Konten bei OpenAI im eigenen Ermessen. Eine Nut­zung im Unter­richt ist mög­lich, darf jedoch für Schü­le­rinnen und Schüler, die nicht über ein sol­ches Konto ver­fügen, weder zu Nach­teilen im Lernen und Erbringen von Leis­tungen führen, noch sie dazu »moti­vieren« sich »end­lich« auch ein eigenes Konto zu erstellen, auch wenn sie das eigent­lich nicht möchten. Hat die Schule keine bes­seren Mög­lich­keiten und eine Umset­zung ist mög­lich, ohne dass ein­zelne Schü­le­rinnen und Schüler Vor- oder Nach­teile durch eine Nut­zung oder Nicht­nut­zung haben, ist diese Lösung mit Blick auf Daten­schutz aus Schul­sicht noch ver­tretbar.

Nut­zungs­sze­na­rien mit API

• Die Schule hat einen eigenen API-Schlüssel: Hat eine Schule die Mög­lich­keit, ein eigenes kos­ten­pflich­tiges Konto zu erstellen, um Zugriff auf einen eigenen API-Schlüssel zu erhalten, gibt es ver­schie­dene Wege, diesen für eine daten­schutz­freund­liche Nut­zung von ChatGPT zu ver­wenden. Wichtig ist, dass die Schule mit OpenAI den Ver­trag zur Auf­trags­ver­ar­bei­tung abschließt, um die Daten­ver­ar­bei­tung recht­lich abzu­si­chern. In der Ober­stufe wei­ter­füh­render Schulen bietet es sich an, mit Ler­nenden eigene Anwen­dungen zu erstellen, über die ChatGPT ein­ge­bunden wird. Diese Anwen­dung könnte bei­spiels­weise über ein Intranet der Schule für alle Ler­nenden bereit­ge­stellt werden. Alter­nativ könnte auch eine Online-Platt­form erstellt werden, die dann aus­schließ­lich für die geschlos­sene Benut­zer­gruppe von Schü­le­rinnen und Schü­lern der eigenen Schule ver­fügbar wäre. Wichtig ist bei der­ar­tigen Pro­jekten das Thema Sicher­heit, für wel­ches die Schule selbst Gewähr leisten muss. Diese Lösung ist mit Blick auf Daten­schutz aus Schul­sicht gut ver­tretbar.
• Die Schule nutzt einen Anbieter, der ChatGPT via API bereit­stellt: Da OpenAI die Anbin­dung seiner Platt­form ChatGPT über die öffent­liche API sehr ein­fach gestaltet hat, nutzen viele Anbieter diese Mög­lich­keit, um ent­weder kom­plett neue Pro­dukte zu erstellen oder die Platt­form in bestehende Pro­dukte zu inte­grieren. Schulen müssen hier genau hin­schauen, denn es drängen viele Akteure mit ihren Lösungen auf den Markt, solche mit lang­jäh­rigen Erfah­rungen wie auch Neu­linge, die sich hier mit einer ersten eigenen Platt­form an den Start wagen. Wenn ein Anbieter die Bereit­stel­lung von ChatGPT via API sicher und daten­sparsam umsetzt, selbst geeig­nete Dienst­leister nutzt und einen DSGVO-kon­formen Ver­trag zur Auf­trags­ver­ar­bei­tung anbietet, durch den sicher­ge­stellt ist, dass er die Daten seiner Kunden nur auf Wei­sung und zu Zwe­cken seiner Kunden ver­ar­beitet, dann sollte er für eine Nut­zung durch Schulen geeignet sein. Diese Lösung ist mit Blick auf Daten­schutz aus Schul­sicht sehr gut ver­tretbar und erlaubt es dar­über hinaus, im Unter­richt eine Viel­zahl von Nut­zungs­sze­na­rien umzu­setzen.

Was man bei der Nut­zung von KI-Tools tun und was man lassen sollte

Es geht bei diesen Hin­weisen nur um Daten­schutz, nicht um Urhe­ber­recht oder eigene und fremde Leis­tungen.

• Vor einer unter­richt­li­chen Nut­zung sollten den betei­ligten Ler­nenden die mög­li­chen Daten­schutz­ri­siken einer fal­schen Nut­zung der jewei­ligen Platt­form klar und ent­spre­chende Regeln mit ihnen abge­spro­chen sein.
• Prompts sollten keine per­sön­li­chen Infor­ma­tionen ent­halten, nicht die eigenen und nicht die von anderen Per­sonen aus der Klasse oder dem eigenen Umfeld, nicht als Text oder Bild (oder Stimme). Das heißt, es sollte bei­spiels­weise kein per­sön­li­cher Lebens­lauf oder das dazu­ge­hö­rende Bewer­bungs­an­schreiben mit einem online betrie­benen KI-Schreib­tool erstellt werden, wenn der Prompt dazu Echt­daten ent­hält.
• Auch Lehr­kräfte und Schul­lei­tungen sollten zum Schutz schu­li­scher Daten Regeln beachten. KI-Schreib­tools können genutzt werden,
  • um Ler­nenden indi­vi­dua­li­siertes Feed­back zu einem digital vor­lie­genden Text­pro­dukt zu geben, wenn dabei keine Namen oder andere zur Iden­ti­fi­zie­rung geeig­nete Infor­ma­tionen mit in den Prompt ein­ge­geben werden (Hin­weis: OpenAI weist aus­drück­lich darauf hin, dass seine Platt­formen nicht geeignet sind, Bewer­tungen zu erstellen!),
  • um für Ler­nende indi­vi­dua­li­sierte Mate­ria­lien und Auf­ga­ben­stel­lungen zu erstellen, wenn dabei keine Namen oder andere zur Iden­ti­fi­zie­rung geeig­nete Infor­ma­tionen mit in den Prompt ein­ge­geben werden,
  • um ein Pro­to­koll, eine Beur­tei­lung, eine Dia­gnose oder ein Schreiben aus Stich­punkten zu erstellen, sofern in den Stich­punkten keine per­so­nen­be­zo­genen oder ‑bezieh­baren Daten ent­halten sind. Diese müssen anschlie­ßend in der Text­ver­ar­bei­tung von Hand ein­ge­setzt werden oder durch Suchen und Ersetzen.

Per­spek­tiven

KI-Schreib­tools, KI-Bild­ge­ne­ra­toren und ähn­liche Anwen­dungen, die auf Modellen beruhen, welche große Mengen an Daten ver­ar­beitet haben, um auf Prompts hin Texte und Bilder zu erzeugen, sind ver­gli­chen mit anderen digi­talen Tech­no­lo­gien noch recht jung und stehen erst am Anfang ihrer Ent­wick­lung. Man kann davon aus­gehen, dass sie in sehr vielen Berei­chen inte­griert zur Anwen­dung kommen werden. Die großen Online-Office-Suiten-Anbieter Micro­soft und Google arbeiten an der Inte­gra­tion in diese Platt­formen. Schulen, die Micro­soft 365 nutzen, dürften bald die Mög­lich­keit erhalten, die dort als Copilot bezeich­nete ChatGPT-Funk­tion für ihre Nutzer frei­zu­schalten. Unab­hängig von den aktu­ellen daten­schutz­recht­li­chen Bedenken, welche mit der Nut­zung von Micro­soft 365 ein­her­gehen, dürfte Copilot für Schulen nur dann nutzbar sein, wenn es Bestand­teil der Core Ser­vices ist, denn nur diese unter­liegen den strengen Daten­schutz­richt­li­nien Micro­softs für den Bil­dungs­be­reich. Es würde auch bedeuten, dass Micro­soft diesen Dienst inner­halb der EU Data-Boun­dary, also auf Ser­vern in Europa bereit­stellen müsste.

Man kann recht sicher davon aus­gehen, dass auch lan­des­ei­gene oder im Auf­trag betrie­bene Schul­platt­formen KI-Tools inte­grieren werden. Für Moodle gibt es bereits ein Plugin zur Inte­gra­tion von OpenAI GPT wie auch für die in Next­Cloud inte­grier­bare Office Suite Only­Office.

LLM wie auch bild­ge­ne­rie­rende Modelle sind nicht nur über die Web­sites der Anbieter oder über API ver­fügbar, son­dern auch als Pro­gramme und Apps, die kom­plett off­line betrieben werden können. Bei den bild­ge­ne­rie­renden Modellen gibt es bereits einige Apps für iOS. Je nach App sind sie in der Lage, zusätz­liche Modelle, aus denen Bilder gene­riert werden können, vom Anbieter her­un­ter­zu­laden. Die Bil­der­zeu­gung erfolgt dann jedoch auf dem End­gerät. Aus dem über ein Daten­leck an die Öffent­lich­keit gelangen LLM von Meta (Face­book) LLAMA wurden erste Anwen­dungen erstellt, die sich auf einem Laptop instal­lieren lassen. LLAMA hat eine Leis­tung, die ver­gleichbar zu GPT‑3 ist. Aktuell rei­chen alle diese Modelle nicht an die auf großen Server-Farmen lau­fenden Modelle von OpenAI, Google, Meta und ähn­lich heran. Es dürfte jedoch nur eine Frage der Zeit sein, bis diese KI-Apps leis­tungs­stärker werden. Vor einem Ein­satz in der Schule sollten Apps und Anwen­dungen getestet werden, um sicher­zu­stellen, dass sie tat­säch­lich off­line laufen und keine Nut­zer­daten das Gerät ver­lassen. Für Schulen stellen sie aber trotz der gerin­geren Leis­tung eine sehr inter­es­sante, weil daten­schutz­freund­liche Lösung dar, um Ler­nenden die Nut­zung dieser Tools zu ermög­li­chen.

LLM lassen sich mit Tools zur Sprach­er­ken­nung kom­bi­nieren und lassen dann die Ein­gabe von Prompts in Form des gespro­chenen Wortes zu. ChatGPT‑4 kann Prompts im Bild­format annehmen. Damit dürften sich neue daten­schutz­recht­liche Her­aus­for­de­rungen ergeben, da Stimmen und Bilder, die Men­schen zeigen, es ermög­li­chen, eine Person zu iden­ti­fi­zieren.