Studerendes forventninger til store tekstmodeller

Og hvordan vi skuffer dem

Christian Knudsen

2024-11-26

Mit udgangspunkt

• Litteratursøgning for kemi- og biologistuderende
• KUB Datalab

Den første del er rimelig straight forward - selvom kemi-delen kan blive lidt langhåret når vi skal søge efter tegninger.

I den anden del er det primært støtte til studerende arbejde med eget data.

Jeg har en halv time i alt.

Hvad taler vi egentlig om?

{https://x.com/marcobravoram/status/1241781966497710080}

Maskinlæring er værktøjet vi bruger til at opnå kunstig intelligens. Grænsen er flydende. Vi taler ikke her om kunstig intelligens i almindelighed. Vi taler om de store tekstmodeller. De kan så interface med maskinlæring, og trække på metoder til billedgenerering, billedanalyse etc.

Maskinlæring

https://serokell.io/files/no/no39r3xi.2_(3)_(1).png

GAI

https://commons.wikimedia.org/wiki/File:HAL9000.svg

Det er ikke generel kunstig intelligens. Der er ingen bevidsthed. Maskinen forstår os ikke. Og den er ikke ved at overtage verden.

Endnu.

Chatbotten

chatty

Her illustreret ved en stokastisk papegøje. For det er hvad den er.

Dystopien er her allerede

Dystopien er her allerede

Dystopien er her allerede

Hvad tror de de kan bruge det til

• Søgemaskine

Hvad tror de de kan bruge det til

• Søgemaskine

søgemaskine… Ja, det kan den efterhånden bruges til. Altså bortset fra at den Uwe der er tale om ikke er ham her.

Uwe Ligge, matematiker fra Dortmund Universitet.

Hvad tror de de kan bruge det til

• Litteratursøgninger

Og det fungerer faktisk efterhånden. der har været sjove eksempler med titler som man godt kunne forestille sig at Lone Frank havde skrevet. Men som hun ikke havde skrevet. Den er ved at have styr på det.

Hvad fortæller vi dem så? Vi fortæller dem at der ikke er tale om en systematisk søgning. De får udvalget, og de får det som chatbotten har udvalgt for dem.

Det er det der er mest sandsynligt at de vil have glæde af ja, men det interessante resultat, det får de ikke nødvendigvis.

Virker det? Nej. De er ligeglade.

Hvad tror de de kan bruge det til

• Skrive tekst
• Sammenfatte tekst/artikler
• Skrive kode

Hvad kan de bruge det til Betaler de for adgang - og det er strengt taget en ret lille investering hvis det er det der betyder at du får gode karakterer og kommer let igennem - så er det her løsningen på meget.

forcemultiplier

Og lad os være ærlige. chatbotten kan sagtens. Den leverer på rigeligt godt niveau til at de kan bestå. Så længe de gør sig selv den tjeneste at læse korrektur på teksten.

Konsekvenser i undervisningen

Afløsningsopgaven som eksamensform er død.

Jeg underviser på to introducerende biologikurser. mikrobiologi og biokemi.

Eksamensformen har i begge været hvad vi i min ungdom i slutningen af sidste årtusinde, kaldte en afløsningsopgave

Altså - find et par håndfulde artikler om et givet emne, læs dem og skriv en opsummerende tekst af ca. 10 sider om hvad du kan uddrage af de artikler.

Typisk fordelt med en lidt ældre (ca 10 år) grundlæggende artikel, ofte en review artikel. Og så ret nye artikler for resten.

Det er også en god måde for underviserne at få et overblik over deres fag.

Det vil chokere jer at jeg har skulle kæmpe for at introducere dem til andet end google scholar

Introduktionen af chatty har ført til at mikrobiologi-udgaven , har ændret eksamensform. De studerende skal ikke længere skrive en opgave, de skal skrive en sides synops, der kan danne grundlag for en mundtlig fremlæggelse.

Mere tekniske anvendelser

Her støder vi på to problemer.

Der er studerende der ikke fatter en bønne af hvad der sker. Det gør ikke noget, for det gør chatbotten heller ikke. Og nu skal vi så forsøge at hjælpe studerende der intet fatter af hvad de forsøger at gøre, intet fatter af det der bliver produceret af chatbotten. Og heller ikke fatter noget af de fejlbeskeder de får.

De er notorisk vanskelige at hjælpe. For de er dårligt nok klar over at de ikke forstår.

Og så er der de andre. En del af dem er faktisk forsigtige med at bruge chatbotten, for de er godt klar over at det er farligt. De får ikke helt det de er på jagt efter. De kan godt se at promptes der forkert, bliver resultatet stille og roligt ringere og ringere.

Det vi forsøger her - er at lære dem computationel tænkning. Når de har forstået det, hjælper det på det.

Og hvad kan vi lære af det?

• De skal have fundamentet på plads

• Så de kan bruge værktøjet fornuftigt

Det er i virkeligheden et supergammeldags budskab.

Hvad tror de?

De tror de kan få maskinen til at lave arbejdet for dem.

Hvad burde de tro?

At de kan få maskinen til at hjælpe dem med at lave arbejdet.

slut