ChatGPT is een chatbot op basis van AI. Het genereert teksten als reactie op een ‘prompt’ (vraag of commando van een gebruiker) op basis van een enorme dataset aan tekstmateriaal (onder andere afkomstig van het internet). De gebruiker kan aangeven in welke vorm en hoe lang de tekst moet zijn. Het programma genereert deze teksten door een statistische voorspelling te doen op wat het meest waarschijnlijke volgende woord in de tekst zou zijn. Die voorspelling is gebaseerd op zinsdelen of eerder gebruikte zinnen.

ChatGPT is dus een geavanceerde versie van een tool die tekst voorspelt. ChatGPT is geen bron voor feitelijke informatie, maakt regelmatig fouten en kan dus niet gezien als betrouwbare bron voor academische teksten.

De mogelijkheden van ChatGPT zijn grofweg in drie categorieën in te delen.

1. Je kunt een vraag stellen, en ChatGPT geeft antwoord. Dit gebruik is vergelijkbaar met een opdracht geven aan Google. Het verschil is dat Google bronnen oplevert waar je zelf de informatie uit moet extraheren. ChatGPT is efficiënter en produceert een uitgeschreven antwoord. Het nadeel is dat de informatie niet gemakkelijk te verifiëren is, of het waar is en waar het zich op baseert.
2. Je kunt vragen om een stuk tekst, bijvoorbeeld een outline of een beschouwing over een bepaald onderwerp. Hierbij kun je onder andere meegeven welke lengte en schrijfstijl het stuk moet hebben. Ook kun je vragen om bronvermeldingen toe te voegen. Omdat ChatGPT deze vaak zelf verzint is dit echter niet aan te raden. Zie: Wat zijn de beperkingen van ChatGPT?
3. Je kunt stukken tekst invoeren en de chatbot vragen om deze samen te vatten, te parafraseren, te vertalen, de spelfouten eruit te halen, feedback erop te geven, etc.

ChatGPT is eigendom van het bedrijf OpenAI. Achter het bedrijf zitten diverse investeerders. OpenAI begon als non-profitorganisatie, maar werd later een bedrijf om investeringen aan te kunnen trekken voor ontwikkeling. Zo heeft Microsoft een flinke investering gedaan in het bedrijf om technologie van OpenAI ook te kunnen integreren in zijn eigen diensten. De naam ‘OpenAI’ kan de indruk wekken dat het gaat om opensourcesoftware, maar dat is ChatGPT niet. Open source wil namelijk zeggen dat de broncode en data publiek beschikbaar zijn en dat iemand daarmee zijn eigen versie kan maken. Dat is hier niet het geval.

OpenAI heeft ChatGPT ter beschikking gesteld in de vorm van een publieke testversie. Iedereen kan, na het aanmaken van een account, gebruikmaken van ChatGPT. Door het model ter beschikking te stellen, leert het bedrijf allerlei zaken over het gebruik van het model in de praktijk, hoe ze het model kunnen verbeteren, welke maatregelen er genomen kunnen worden tegen ongewenst gebruik, etc. Wie ChatGPT gebruikt, werkt dus mee aan deze test van OpenAI.

Het kost aardig wat geld om ChatGPT beschikbaar te stellen, maar het levert het bedrijf ook ontzettend veel data op ter verbetering. Het is de vraag of ChatGPT publiek beschikbaar zal blijven. Het bedrijf kan geld vragen om ChatGPT te verwerken in zakelijke toepassingen, zoals mailprogramma’s of in zoekmachines. Ook zijn er inmiddels abonnementen voor individuele gebruikers. Abonnees kunnen de chatbot dan altijd gebruiken, terwijl gratis gebruikers op drukke momenten geen toegang krijgen.

ChatGPT is een webapplicatie. Alle vragen die iemand stelt, alle antwoorden die terugkomen en alle verdere interactie met de website worden bij het bedrijf OpenAI geregistreerd. Ook verzamelt het bedrijf gegevens over bezoekers, zoals bezoekersstatistieken, momenten waarop iemand inlogt, gegevens over de internetbrowser, etc. In het geval van ChatGPT kan OpenAI alle ingevoerde gegevens gebruiken om het taalmodel achter ChatGPT te verbeteren. In de privacyvoorwaarden staat om welke gegevens het gaat.

OpenAI kan alle door gebruikers ingevoerde gegevens gebruiken om het taalmodel achter ChatGPT te verbeteren. Het invoeren van privacygevoelige informatie in ChatGPT en alle andere webapplicaties waarmee geen overeenkomst is afgesloten met de Universiteit Leiden is niet toegestaan. Een docent mag studenten bijvoorbeeld geen opdracht geven om privacygevoelige gegevens te verwerken in ChatGPT, of tekst invoeren waar contactgegevens van een student in staan. Docenten kunnen wel zelf accounts aanmaken voor een AI webapplicatie (zoals ChatGPT) die studenten kunnen gebruiken, of studenten kunnen een account aanmaken met een onpersoonlijk e-mailadres.

Verschillende experts maken zich zorgen over de gevolgen van AI in het onderwijs, met name over het gebruik van ChatGPT. Studenten kunnen immers eenvoudig een hele tekst laten produceren door de chatbot. Voor een docent is het niet altijd eenvoudig om het verschil te zien tussen een tekst van de student zelf, of een tekst gegenereerd met ChatGPT.

De ontwikkeling van AI zal de komende jaren alleen nog maar toenemen. Des te belangrijker dat we in het onderwijs hiermee leren om te gaan. ChatGPT zal hierbij als hulpmiddel moeten worden gezien. De antwoorden die ChatGPT geeft zijn bijvoorbeeld niet altijd correct of inhoudelijk sterk. Bovendien zit de eigen mening van de student er niet in verwerkt. Daarom is bijvoorbeeld het schrijven van een essay waarin om reflectie wordt gevraagd nog altijd een goede manier om te toetsen.

Belangrijk is om het gesprek met collega’s erover aan te gaan. Probeer de tool zelf uit om te kijken wat er gebeurt (zie ook dit artikel van LLInC met tips om de tool uit te proberen). Bespreek met elkaar de mogelijkheden en bedreigingen. Een gesprek met studenten erover kan ook helpen. Kennen zij de tool al? En gebruiken ze het al? Wat zijn de kansen ervan? En zijn ze zich ervan bewust dat deze ontwikkeling ook nadelen heeft?

Vaardigheden op het gebied van AI

Of ChatGPT en de mate waarin ChatGPT (en andere AI) een functionele vaardigheid is of wordt (d.w.z. noodzakelijk om binnen een vakgebied resultaten te behalen), is afhankelijk van de ontwikkelingen binnen het vakgebied.

Voor studenten is het van belang dat zij de kritische vaardigheden ontwikkelen om (het gebruik van) ChatGPT en andere AI op de juiste waarde te kunnen schatten, kunnen interpreteren en beperkingen en risico’s herkennen. Vaardigheden zoals analyseren en het creëren van maatschappelijk bewustzijn zijn daarbij nodig. Deze vaardigheden krijgen via de 13 gezamenlijke vakoverstijgende vaardigheden van de Universiteit Leiden een plek in elke opleiding. Hiernaast zal – naast doordacht toetsen - ook een beroep gedaan worden op het ethisch bewustzijn en de integriteit van de student. De vaardigheden onderzoeken, samenwerken en reflecteren dragen hieraan bij.

Een tool als ChatGPT kan als hulpmiddel gebruikt worden om op creatieve ideeën te komen en het onderwijs en de toetsing te verbeteren. Zo kan een docent ChatGPT een essay laten schrijven, naast de studenten. De docent kan vervolgens de uitkomsten vergelijken: wat kun je leren van het AI model en welke kromme redeneringen maakt de chatbot? Een andere mogelijkheid is studenten zelf te laten reflecteren op het gebruik van AI tools. Wat gaat goed en wat minder goed? Welke morele kwesties zijn er?

Het gebruik van ChatGPT kan er ook toe leiden dat er meer nadruk komt te liggen op (peer) feedbackgesprekken met studenten, het doen van tussen- en eindpresentaties en het direct bevragen van studenten over wat ze gedaan en geleerd hebben (zelfreflectie). Dit kan extra werkdruk veroorzaken, maar het zal de authenticiteit, het persoonlijke en de inclusiviteit van het onderwijs ten goede komen.

Incorrecte bronvermelding

ChatGPT genereert antwoorden aan de hand van kansberekening, gebaseerd op talloze bronnen. Dit gebeurt bij het opstellen van stukken tekst, maar ook bij het opstellen van een simpel feitelijk antwoord op een vraag. Dit betekent dat je nooit precies kunt nagaan welke bronnen er allemaal gebruikt zijn voor de output. Dit maakt het antwoord van ChatGPT niet transparant, moeilijk te controleren en maakt een juiste en volledige bronvermelding onmogelijk.

Als je ChatGPT vraagt de bronnen te geven die gebruikt zijn voor het genereren van een antwoord, dan fabriceert de chatbot vaak niet bestaande bronnen. Je kan vragen om bestaande bronnen of bronnen met peerreview, dan krijg je meestal wel toepasselijke bronnen, maar die zullen niet alle data bevatten waarop die een antwoord baseert.

Onwaarheden en vooroordelen

Een van de nadelen van ChatGPT is dat de software soms onwaarheden genereert met een sterke overtuiging. Dit komt doordat de software is getraind op enorme hoeveelheden data afkomstig van het internet, waar ook onjuiste informatie te vinden is. Daarnaast zitten er vooroordelen in data. Zo is bijvoorbeeld van de voorganger van ChatGPT (GPT-3) duidelijk dat er genderstereotype associaties in de antwoorden zaten. OpenAI zet filters en menselijke controle in om duidelijke onwaarheden en de ergste vooroordelen eruit te halen. Echter, dit blijft een inherente beperking. 

Verouderde data

De huidige versie van ChatGPT (januari, 2023) is alleen getraind op data tot en met september 2021. Dit betekent dat de chatbot recentere data niet kan interpreteren. Deze beperking zal waarschijnlijk van korte duur zijn, gezien de snelheid van de ontwikkelingen.

Rekenfouten

Tot slot maakt de chatbot (naast inhoudelijke fouten) ook reken- en logicafouten. Ook dit heeft te maken met hoe ChatGPT antwoorden genereert. Het is een taalmodel, geen rekenmachine: tekst wordt gegenereerd als antwoord op mathematische vragen, maar de uitkomst is een willekeurig getal op basis van menselijke voorkeur voor getallen.

Het is fraude wanneer de student ChatGPT gebruikt voor een schrijfopdracht en dat er niet bij vermeldt. Wanneer een student in grote mate gebruik maakt van AI voor een schrijfopdracht en de beoordelaar geen onderscheid kan maken tussen de delen die door de student of de AI geschreven zijn, dan belemmert dat de oordeelsvorming en is er sprake van fraude. Zie hiervoor de Regels en Richtlijnen van de examencommissie van je opleiding, te vinden op de reglementenwebsite. Zie ook dit bericht aan studenten over de risico's van ChatGPT.

Niet toegelaten is:

• Elke vorm van letterlijke overname en kopiëren zonder volledige bronvermelding (citeren, refereren) van materiaal gegenereerd door AI.
• Elk gebruik van AI waarmee de docent het werk van de student niet meer kan natrekken en/of kan evalueren.
• Elk gebruik van AI tijdens examens of andere evaluaties waar aangegeven is dat het gebruik van AI niet toegelaten is.

Het gebruik van ChatGPT is lang niet altijd te achterhalen en dat is ook één van de redenen waarom ChatGPT de onderwijswereld zo bezighoudt. Wanneer de schrijfstijl in een opdracht afwijkt van de gebruikelijke schrijfstijl van een student, kan dit duiden op een ChatGPT-tekst. Het is goed om op te merken dat ChatGPT niet zelf ‘nadenkt’: het kan alleen maar echt ogende teksten maken. In de teksten kunnen dus inhoudelijke fouten voorkomen en het taalmodel kan ook geen bronnen checken. Als je ChatGPT vraagt om bronnen, dan zal het in veel gevallen met bronnen komen die echt lijken, maar niet bestaan.

De uitingen van de software zijn uniek; de teksten zijn niet op internet terug te vinden. De standaard plagiaatcheckers werken dan ook niet. De Universiteit Leiden maakt op dit moment geen gebruik van software die kan opsporen of er gebruik is gemaakt van een chatbot omdat de resultaten (nog) niet betrouwbaar genoeg zijn; dit geldt ook voor de tool in Turnitin. Sinds april 2023 heeft Turnitin een AI Writing Detection tool geïntegreerd in FeedbackStudio. Omdat de kans op een vals positief of vals negatief bij deze tool groot is, is besloten om de tool uit te zetten (per 16 juni 2023).

De volgende tips helpen om de student vooral te laten leren van hun schrijfopdrachten en het gebruik van een programma als ChatGPT daarbij moeilijker te maken:

Test vooraf je eigen opdracht

Test de opdracht eerst zelf bij ChatGPT om in te schatten of de opdracht eenvoudig te maken is door de AI.

Spreek twee basisprincipes met studenten af

Benadruk dat studenten in hun eigen woorden moeten schrijven. Spreek de volgende twee basisprincipes af:

1. Je bent als student volledig verantwoordelijk voor wat je indient;
2. Je ziet er als student op toe dat het werkstuk zelfgeschreven is en voorzien van de juiste bronvermeldingen, zodat de docent in staat is te evalueren welke competenties je verworven hebt.

Vraag aan studenten om uitleg

Ga in gesprek met studenten over het werk dat ze hebben ingeleverd. Bespreek hoe beredeneringen, analyses en conclusies tot stand zijn gekomen. Kondig aan dat dit soort gesprekken een nieuwe (steekproefsgewijze) werkwijze is.

Vraag om bronvermelding

ChatGPT maakt geen onderscheid tussen bronnen: wetenschappelijk artikel, satirische column van een cabaretier of blog van een complotaanhanger. Het wordt allemaal door elkaar gebruikt. Omdat er geen directe link is tussen de gegenereerde tekst en de verzameling van teksten op basis waarvan ChatGPT de voorspelling maakt, kan het programma geen bronvermelding geven.

Ga in op onderwerpen waar niets over online staat

De AI werkt altijd met online bronnen, vaak ook niet ‘live’ en ‘volledig’ waardoor het zoekbereik van de AI beperkt is. Denk hierbij aan proeven uit practica, een reflectie op een werkgroep gesprekstechnieken, een zelfbedachte casus, enz. Een AI kan de vraag ‘Wat was er gebeurd als in het practicum over ‘A’ de variabele X was vervangen door Y?’ niet beantwoorden door gebrek aan context.

Pas de toetsing aan

• Vermijd kennisvragen, standaard algoritmiek, conclusies, technische analyses en dergelijken voor essays en take-home tentamens. Neem deze vragen af via een tentamen met (online) surveillance.
• Laat de student expliciet vragen beantwoorden over de voorbereiding, het structureren van ideeën en het toewerken naar een conclusie bij het schrijven van een essay. Combineer het essay mogelijk met een presentatie of mondelinge discussie. Voer opdrachten tijdens de lessen uit onder directe begeleiding en intervisie. Denk aan interviews of mondelinge toelichting of toetsen.
• Overweeg toetsing door schriftelijke opdrachten over heel specifieke onderwerpen van studenten zelf te laten gaan, bijvoorbeeld over hun (vrijwilligers)werk of de wijk waar ze wonen. Hoe specifieker het onderwerp, hoe lastiger het voor ChatGPT is om haar achtergronddata te gebruiken voor een leesbare tekst.
• Vraag studenten om hun persoonlijke mening of reflectie. Neem deze elementen uitdrukkelijk op in je beoordelingscriteria en weeg dit zwaarder dan kennisvragen.
• Vraag naar recente ontwikkelingen. Tot nu toe weet ChatGPT nog niets over de wereld na 2021, hoewel dit naar verwachting snel zal veranderen.