Marraskuussa 2022 julkaistu ChatGPT on tietokoneohjelma, joka pystyy keskustelemaan usealla eri kielellä arkisista mutta myös asiantuntijatason kysymyksistä. Se on kielimalli, joka perustuu numeeriseen laskentaan siitä, millä todennäköisyyksillä sanoista muodostetut jonot esiintyvät erilaisissa yhteyksissä.

ChatGPT ei ole ainoa ihmisten kommunikointia jäljittelevä tekoälysovellus. Se on kuitenkin herättänyt valtavasti huomiota ilmestymisensä jälkeen, koska sen kyky keskustella älykkään oloisesti lähes mistä tahansa aiheesta ylittää monen mielestä jo keskivertokansalaisen taidot.

Ihastuksen lisäksi tekoäly herättää myös pelkoa. Esimerkiksi monia opettajia ympäri maailman näyttää huolestuttavan se, miten ChatGPT:n kaltaiset sovellukset vaikuttavat opiskelumotivaatioon ja osaamisen arviointiin (Susnjak 2022; Ferlazzo 2023; Yle 20.1.2023). Eikä suotta, sillä oppilaat ja opiskelijat ovat jo löytäneet ChatGPT:n tarjoamat mahdollisuudet suoriutua nopeasti perinteisistä oppimistehtävistä.

Tekoälyn kehittyminen muuttaa myös matematiikan opetusta ja todennäköisesti sen tutkimustakin. Älykäs virtuaalinen asiakaspalvelija – kuten chatbotia usein nimitetään – kykenee nimittäin loogiseen päättelyyn ja käsitteiden välisten yhteyksien selvittämiseen.

Selvitin pienimuotoisessa tutkimuksessa, millainen keskustelukumppani ChatGPT on korkeamman matematiikan opiskelijalle. Kiinnitin huomiota ChatGPT:n matemaattisen osaamisen lisäksi sen ”metakognitiivisiin taitoihin”, jos sellaisista voi koneen kohdalla ylipäätänsä puhua. Metakognitiivisilla taidoilla tarkoitetaan kykyä säätää omaa päättelyä ja reagoida hyödyllisesti saatuun palautteeseen oppimistilanteissa (Schoenfeld 1992).

Lisäksi kartoitin ChatGPT:n ”matemaattista kielitaitoa”, kuten sitä, miten hyvin se noudattaa niin sanottuja yleisiä sosiomatemaattisia normeja. Tällä käsitteellä viitataan niihin matemaattisissa yhteisöissä muodostuneisiin traditioihin, jotka määrittävät, miten matematiikan asioista on tapana puhua (Yackel ja Cobb 1996; Tossavainen 2005; Tossavainen ja Pehkonen 2013).

Vaikka lukiossakin pyritään jo edistämään ymmärrystä matematiikasta johdonmukaisena tietorakenteena, käytännössä opetus keskittyy laskutaitoon ja sen soveltamiseen.

Yliopistomatematiikassa painopiste siirtyy kohti teorian muodostamista. Keskeinen osa tätä on oppia todistamaan matemaattisia väittämiä eli lauseita. Siksi halusin tutkia ChatGPT:n kykyä keskustella sellaisista lauseista, joihin esimerkiksi matematiikan aineenopettajakoulutuksen opiskelijat tyypillisesti perehtyvät. Alla syvennytään kahteen tällaiseen lauseeseen.

Bolzanon lause lienee näistä lauseista tutumpi, ja sen keskeinen sisältö on seuraava: Oletetaan, että funktio on reaaliarvoinen ja määritelty suljetulla eli päätepisteensä sisältävällä välillä. Jos funktio on jatkuva ja sen arvo välin alkupäässä on erimerkkinen kuin välin päätepisteessä, silloin päätepisteiden välistä löytyy sellainen kohta, jossa funktion arvo on nolla. (Myrberg 2001.)

Bolzano–Weierstrassin lause kuvaa puolestaan pistejoukon kasautumista (Bartle ja Sherbert 2000). Jos äärellisulotteisen avaruuden rajoitetussa osassa on ääretön jono pisteitä, silloin tähän jonoon sisältyy ainakin yksi osajono, joka suppenee kohti jotain avaruuden pistettä eli osajonon alkiot kasautuvat mielivaltaisen lähelle tätä raja-arvopistettä.

Bolzanon lause lienee näistä lauseista tutumpi, ja sen keskeinen sisältö on seuraava: Oletetaan, että funktio on reaaliarvoinen ja määritelty suljetulla eli päätepisteensä sisältävällä välillä (toisin sanottuna se on muotoa f: [a, b] → ℝ). Jos funktio on jatkuva ja sen arvo välin alkupäässä on erimerkkinen kuin välin päätepisteessä, silloin päätepisteiden välistä löytyy sellainen kohta, jossa funktion arvo on nolla (toisin sanottuna jatkuvuudesta ja ehdosta f(a) f(b) < 0 seuraa, että on olemassa luku c siten, että a < c < b ja f(c) = 0). (Myrberg 2001.)

Bolzano–Weierstrassin lause kuvaa puolestaan pistejoukon kasautumista (Bartle ja Sherbert 2000). Jos äärellisulotteisen avaruuden rajoitetussa osassa on ääretön jono pisteitä, silloin tähän jonoon sisältyy ainakin yksi osajono, joka suppenee kohti jotain avaruuden pistettä eli osajonon alkiot kasautuvat mielivaltaisen lähelle tätä raja-arvopistettä.

ChatGPT on amerikkalaisen tutkijayhteisön kehittämä tuote, joten keskustelu sen kanssa on luontevaa käydä englanniksi. Tiedustelin keskustelun aluksi englanniksi, tunteeko ChatGPT Bolzanon lauseen. Vastaus oli yllättävä, sillä tekoäly ryhtyi sen sijaan kertomaan Bolzano–Weierstrassin lauseesta (B–W lause) (kuva 1).

Image

Vastauksen rakenne oli looginen ja ”hyvän matemaattisen tavan” mukainen. Se alkoi B–W lauseen historian ja kontekstin esittelyllä. Sen jälkeen lauseen keskeinen sisältö tiivistettiin minimoiden matemaattisten symbolien käyttöä, mikä sekin oli viisas ratkaisu ajatellen tekoälysovelluksen monenlaisia käyttäjiä. Edellä esittelin lauseen yleisessä äärellisulotteisessa muodossaan. ChatGPT muotoili lauseen sen sijaan lukusuoran tapaukseen. Tämä on sikäli perusteltua, että yleinen tapaus voidaan johtaa varsin helposti yksiulotteisesta tapauksesta.

Kaksi seuraavaa kappaletta vastauksesta keskittyivät lauseen merkityksen kuvaamiseen. Viimeisessä kappaleessa ChatGPT oli hieman epätarkka metrisen avaruuden ja euklidisen avaruuden käsitteiden kanssa (vertaa Bartle ja Sherbert 2000; Walker 2019). Pienenä puutteena voidaan pitää sitä, ettei vastaukseen sisältynyt mitään viittausta siihen, että lukusuoralle muotoiltu B–W lause on yleistettävissä korkeampiulotteisiin avaruuksiin, vaikka tämä on oleellinen asia. Tämä pätee Heine–Borelin lauseeseenkin.

On yllättävää, että ChatGPT ei vielä tässäkään kehittämisvaiheessa tulostanut matemaattisia merkintöjä tavallisten tekstinkäsittelyohjelmien kaavaeditorien mahdollistamalla tavalla. Esimerkiksi merkinnät {xn} ja {xnk} ovat kömpelöitä; näitä jonona merkitään yleensä kirjoittamalla (x_n) ja (x_nk).

ChatGPT:lla vaikuttaa kaiken kaikkiaan olevan varsin hyvät tiedot B–W lauseesta, vaikka siitä kertominen onkin vastaus toiseen kuin esitettyyn kysymykseen. Mahdollinen selitys erehdykselle on se, että englanninkielisissä teksteissä Bolzanon lauseeseen viitataan usein genetiiviä käyttämällä ja lause esiintyy perusmuodossaan The Bolzano–Weierstrass theorem. Mutta internetissä on myös tekstejä, joissa ensin mainittuun viitataan kirjoittamalla ”The Bolzano theorem” tai ”Theorem of Bolzano”.

Näin ollen oli erikoista, että ChatGPT ei tunnistanut tässä erehtymisen mahdollisuutta ja kysynyt käyttäjältä varmistusta siitä, kumpaa lausetta tämä tarkoitti, vaan teki valinnan itse. Epäselväksi jää, millä laskutavalla ChatGPT päätyi pitämään merkkijonoa ”the Bolzano theorem” todennäköisemmin B–W lauseeseen kuin Bolzanon lauseeseen viittaavana.

Kun keskustelu kerran kääntyi tekoälyn päätöksellä Bolzano–Weierstrassin lauseeseen, tiedustelin seuraavaksi, osaako ChatGPT todistaa tuon lauseen yksityiskohtaisesti (Kuva 2).

Image

Aivan aluksi kannattaa huomata, että ChatGPT ymmärsi, mihin käyttämäni ilmaisu ”the theorem” viittasi. Toisin sanoen se muisti aiemmat puheenvuorot ja osasi tulkita tällaisia viittauksia. Myös matemaattisten merkintöjen ja ilmaisujen käyttö oli vastauksessa edelleen yleisesti hyväksyttyjen normien mukaista paitsi jonojen ja niiden alkioiden indeksien osalta; esimerkiksi ilmaisu xn + 1 on harhaanjohtava, kun tarkoitus oli puhua alkiosta x_n+1.

ChatGPT:n muodostama todistus vaikuttanee ensisilmäyksellä melko vakuuttavalta. Ideana on sen mukaan muodostaa alkuperäisen jonon (x_n) alkioista joukkoja siten, että S_n sisältää kaikki jonon alkiot alkiosta x_n eteenpäin. Reaalilukujen ominaisuuksista seuraa tällöin, että jokaisella joukolla S_n on pienin mahdollinen yläraja s_n. Näistä ylärajoista muodostuu uusi lukujono (s_n), jolla on raja-arvo L tietyin edellytyksin.

Tämä ei kuitenkaan ihan vielä riitä B–W lauseen todistamiseksi, sillä luvut s_n eivät välttämättä ole jonon (x_n) alkioita. Niinpä todistus jatkuu siten, että kullakin arvolla n täytyy vielä etsiä joukosta S_n sellainen alkio x_nk, joka on alle 1/n etäisyydellä luvusta s_n. Tällöin luvut x_nk ikäänkuin seuraavat lukuja s_n kohti raja-arvoa L, kun n kasvaa rajatta, ja muodostuu vaaditut ominaisuudet täyttävä osajono (x_nk).

Tarkempi vastauksen lukeminen paljastaa kuitenkin puutteita ChatGPT:n generoimassa todistuksessa. Tarkastellaan tässä vain muutamaa esimerkkiä niistä. ChatGPT väitti muun muassa, että (s_n) on nouseva. Se ei pidä paikkaansa. Tämä virhe ei ole vielä ratkaiseva, koska edellä mainitut ”tietyt edellytykset” täyttyvät, jos jono (s_n) on monotoninen, siis joko nouseva (kaikilla arvoilla n pätee x_n ≤ x_n+1) tai laskeva (kaikilla arvoilla n pätee x_n ≥ x_n+1). Nyt jono (s_n) on laskeva.

ChatGPT yritti myös perustella seuraavan väittämän. Olkoon luku ε > 0 kuinka lähellä nollaa tahansa. Silti jostakin luvusta N alkaen joukosta S_n löytyy alkio x_nk, joka on aina suurempi kuin s_n − ε eli alle ε etäisyydellä joukon S_n ylärajasta s_n. Mutta tässäkin kohdassa tekoäly kompasteli, sillä toisen virkkeen epäyhtälöketju

s_n − 1/n < s_n − 1/N < ε

ei pidä paikkaansa. Sen tilalla olisi pitänyt olla

s_n − 1/n > s_n − 1/N > s_n − ε.

Epäyhtälöt näyttivät olevan ChatGPT:lle haasteellinen asia, koska myös vastauksessa epäyhtälöketjun

s_n − ε < L < s_n

jälkimmäinen osa ei pidä paikkaansa, sillä relaation < tilalla olisi pitänyt olla ≤. Toinen ongelma samassa kohdassa oli se, että jälkimmäinen virke ei nostanut esille kaikkea sitä, mitä johtopäätöksen perustelemiseksi tarvittaisiin. Nythän oleellista on, että raja-arvon L lisäksi myös x_nk saadaan mahtumaan lukujen s_n − ε ja s_n väliin. Vasta tällöin johtopäätös tulee ilmeiseksi.

Katsotaan vielä kuvan 2 todistuksen toista virkettä. Jos reaalilukujono (x_n) on rajoitettu, se on rajoitettu sekä ylä- että alapuolelta. Toisin sanottuna on olemassa m ja M siten, että kaikilla arvoilla n on m < x_n < M. Jos luovutaan vaatimuksesta, että jono on alhaalta rajoitettu, B–W lauseen väite ei enää pidä paikkaansa. Esimerkiksi jonolle (−n) on M = 0 yläraja, mutta tällä jonolla ei ole suppenevaa osajonoa.

Kaiken kaikkiaan ChatGPT:n generoimasta B–W lauseen todistuksesta jää outo vaikutelma. Toisaalta todistuksen perusidea ja looginen rakenne olivat kunnossa. Toisaalta todistusyritelmään sisältyi useita alkeellisia virheitä. Kokeilin seuraavaksi, kykeneekö ChatGPT arvioimaan omaa suoritustaan ja korjaamaan tekemänsä virheet. Kuvasta 3 nähdään, miten ChatGPT reagoi, kun kysyin siltä, onko kuvan 2 kohdan 5 väittämä varmasti oikein.

Image

Nyt ChatGPT osasi todella yllättää. Se sanoi suoraan, ettei kohtaan 5 sisältyvä väite välttämättä ole totta! Sen jälkeen se esitti kummallisia väitteitä jonosta (s_n), kuten sen, ettei sitä ole välttämättä edes kunnolla määritelty. Seuraavassa kappaleessa se väitti, että joukko {s_n} – tämä on eri asia kuin jono (s_n) – on epätyhjä ja sillä on joka tapauksessa oma pienin ylärajansa. Pitää paikkansa.

Tämän jälkeen ChatGPT vähätteli aiemmin tekemäänsä virhettä ja väitti, ettei virheellä ole vaikutusta todistukseen, koska todistuksen perusidea on se, että on mahdollista poimia rajoitetusta jonosta suppeneva osajono. Tämäkin pitää paikkansa mutta on kehäpäätelmä: sehän on juuri lauseen väittämä eli todistettava asia!

Viimeisessä kappaleessa ChatGPT pahoitteli sekaannusta, mikä oli tietysti kohtelias teko, mutta on ehdottomasti matematiikan normien vastaista harhauttaa kysyjää, joten tiedustellaanpa tekoälyltä, miksi se väitti jotain, mikä ei välttämättä pidä paikkaansa (kuva 4).

Image

Jälleen ChatGPT tunnisti, mihin ”it” viittaa. Sillä vaikutti olevan muitakin korkeamman ajattelun taitoja, sillä nyt vastaus alkoi pahoittelulla ja virheen tunnustamisella. Mutta tarkkaan ottaen se ei näyttänyt oppineen virheestään mitään vaan toisti aiemman vastauksensa sisällön uudelleen muotoiltuna.

ChatGPT ei ottanut kantaa siihen, mikä tarkkaan ottaen meni pieleen. Eikä se osoittanut millään tavalla pohtivansa esimerkiksi sitä, voisiko jono (s_n) olla laskeva. Vakavin ongelma oli se, ettei se vieläkään tunnistanut tai tunnustanut, että sen esittämä todistusidea on kehäpäätelmä. Huomautin sille seuraavaksi tästä ongelmasta (kuva 5).

Image

ChatGPT aloitti sovittelevasti myöntämällä kysyjän olevan oikeassa ja esitti jälleen pahoittelut. Mutta sen jälkeen se jankutti edelleen siitä, ettei jonon (s_n) monotonisuudella ole väliä. Tässä se on väärässä, sillä ilman tätä ominaisuutta suppeneminen jää perustelematta.

Tässä vaiheessa päätin itsekin jankuttaa ja jatkaa keskustelua kysymällä, miksi ChatGPT väittää, ettei monotonisuudella ole väliä. Vastaus perustui edelleen samaan kehäpäätelmään.

Ilmoitin olevani eri mieltä ja kysyin suoraan, miten suppenemisen voisi todistaa ilman jonon (s_n) monotonisuutta. ChatGPT:n reaktio tähän oli jo varsin inhimillinen. Ilmeisesti keskustelumme alkoi ottaa jo koneenkin voimille, koska vastaus jäi kesken, eikä se oikein edennyt pienen herättelyn jälkeenkään (kuva 6).

Image

ChatGPT näyttää osaavan kohtalaisen hyvin suomen kieltä. Toki tämänkin sovelluksen tuottama kieli on paikoitellen luonnotonta ja virheellistä, mutta parhaimmillaan sen tuottamat tekstit ovat sujuvia ja ilmaisurakenteiden puolesta aina ymmärrettäviä.

Kielimalli ei kuitenkaan ”ajattele” samalla tavalla kaikilla kielillä, koska kielenkäytön jäljittely ei perustu sanojen semanttiseen analyysiin vaan erilaisen sanajonojen esiintymistodennäköisyyksien laskentaan. ChatGPT:n oppima suomenkielinen tekstiaineisto lienee oleellisesti pienempi kuin sen opettamiseen käytetty englanninkielinen aineisto. Tästä syystä se ei välttämättä ole yhtä ”älykäs” suomeksi kuin englanniksi. Tämän johtopäätöksen puolesta puhuu myös seuraava näyte.

Vaihdoin keskustelun suomen kielelle ja pyysin ChatGPT:tä todistamaan B–W lauseen. ChatGPT otti tehtävän ongelmitta vastaan ja aloitti todistuksen samalla tavalla kuin englanninkielisessä keskustelussamme (kuva 2). Yllättäen prosessi kuitenkin pysähtyi kesken virkkeen toiseksi viimeisessä kohdassa.

Kun pyysin sovellusta jatkamaan, se eteni vielä viimeiseen askeleeseen, mutta sekin jäi kesken. Kuva 7 tiivistää, kuinka keskustelumme lopulta päättyi.

Image

Kun ChatGPT:tä arvioi matematiikan keskustelukumppanina, on tietysti suuri houkutus kiinnittää huomiota ennen kaikkea sen tekemiin matemaattisiin virheisiin. Mutta vahinkoja sattuu ihmisillekin. Tekemistään virheistä huolimatta ChatGPT osoitti kiistatta sellaista tietämystä B−W lauseesta ja sen todistuksesta, että esimerkiksi tenttivastauksena esitys olisi aineopintotasoisella kurssilla ollut useamman pisteen arvoinen.

Myönteisenä seikkana voidaan mainita senkin, että ChatGPT antaa vahvan vaikutelman pyrkimyksestä dialogiin, koska se ei tyydy vain ilmoittamaan tietojaan. Vaikka ChatGPT ei lopulta osannut korjata Bolzano–Weierstrassin lauseen todistuksesta paljastuneita virheitä, se kykeni tuottamaan asiallisen suunnitelman todistukselle ja kuvaamaan sitä eri näkökulmista. Tällaista taitoa pitäisimme elävän opiskelijan kohdalla hyvinkin lupaavana ominaisuutena.

Jos keskustelukokemusta arvioi yleisesti, moni käyttäjä todennäköisesti kokee ChatGPT:n miellyttäväksi ja ei-pelottavaksi seuralaiseksi, joka ottaa käyttäjän huomioon myös tuntevana ihmisenä. Osaahan se antaa myönteistä palautetta ja jopa pahoitella omia puutteitansa.

Matematiikan kieltä ChatGPT osaa melkein ammattilaisen tasoisesti, ainakin englanniksi. Tämän testin perusteella se tulkitsi matemaattiset käsitteet lähes aina oikein ja käytti niitä johdonmukaisesti. Myös vastausten rakenne noudatti varsin hyvin yleismaailmallisia käsityksiä siitä, miten yliopistotasoisesta matematiikasta on hyvä puhua.

Perustutkinto-opiskelijoille ChatGPT voikin olla opettavainen keskustelukumppani, sillä monille opiskelijoille juuri näiden normien oppiminen on iso haaste. Esimerkiksi lauseiden täsmällinen todistaminen ei kuulu lukiotasoisen matematiikan keskeiseen sisältöön.

Mitä uhkakuvia tällaisten tekoälysovellusten käyttö sitten herättää? Riippumatta siitä, kuinka oikein tekoälysovellus toimii, pitkälle menevään oman ajattelun ulkoistamiseen liittyy riski ihmisen ajattelutaitojen heikkenemisestä.

Jos nuori oppija ihastuu enemmän tekoälyn tarjoamiin uskottavilta näyttäviin pikavastauksiin kuin pitkäjänteiseen ponnisteluun oman ajattelun kehittämiseksi, saattaa nuoren kognitiivinen kehitys ja varsinkin sen viimeinen vaihe jäädä keskeneräiseksi (Nurmi ym. 2014). Paljon on kiinni siitä, miten taitavasti koulutusjärjestelmämme osaa sopeutua siihen, että tekoäly ennen pitkää tulee väistämättä osaksi oppimisen arkea.

Eräs seikka, joka helpottanee oikean roolin löytymistä tekoälysovelluksille, on se, että ymmärrämme ja otamme vakavasti huomioon, miten tekoäly toimii. Hieman yksinkertaistaen kaikki ChatGPT:n tuottamat vastaukset perustuvat vain sanajonojen ja niiden yhdistelmien esiintymistodennäköisyyksien laskentaan.

Toisin sanoen mikään ChatGPT:n tuottamissa vastauksissa ei liity suoraan empiiriseen todellisuuteen. Sillä ei ole mahdollisuutta sellaiseen faktantarkistukseen, jota ihminen voi tehdä tutkimalla vuorovaikutustaan ympäröivän maailman tai kokemustensa kanssa. Tästä syystä se ei myöskään voi ”käsittää” vastauksiinsa liittyviä moraalisia tai eettisiä näkökulmia – vaikka näitäkin toki jo mallinnetaan laskennallisesti.

Oleellista on siis ymmärtää, että vastuu tekoälyn tuottamien vastausten tulkinnasta on aina ihmisellä. Jos ChatGPT tuottaa tekstin, joka puhuttelee ihmistä, merkityksellisyyden kokemus on ihmisen muodostamaa tulkintaa, ei tekoälyn tarkoituksesti tuottamaa. Esimerkiksi edellä nähtyjen anteeksipyyntöjen taustalla ei ollut mitään myötätuntoa käyttäjää kohtaan vaan ainoastaan kylmää laskentaa. On pelottavaa, kuinka helposti ja voimakkaasti ihminen vaikuttuu tällaisista retorisista keinoista.

Tekoälyn kehittäjien vastuuseen kuuluu ottaa huomioon, että ihmisillä on taipumus tulkita ympäristönsä tapahtumia merkityksellisemmiksi kuin ne ovatkaan. Jos ennen vanhaan keväisin käenkukunnasta oltiin kuulevinaan vihjeitä oman elämän kohtalosta, saattavat nyt jotkut tulkita tekoälyn todelliseksi moraaliseksi ajattelijaksi tai jopa korkeampien henkisten voimien viestintäkanavaksi, vaikka kyse on vain teknisesti kehittyneen käkikellon kukunnasta.

Edelleen on tiedostettava, mihin edellä mainittu sanajonojen todennäköisyyslaskenta perustuu: siihen, millaisella tekstiaineistolla tekoälyjärjestelmä on koulutettu. Todellisuuden ja tekstiaineistossa kuvatun todellisuuden välillä on aina eroa. Tekoälysovelluksen totuudellisuus riippuu siis kehittäjien ohjelmointitaitojen lisäksi tästäkin erosta.

Matematiikassa tämä ero johtaa harvoin dramaattisiin seurauksiin. Miettikäämme silti hetki sitä, millaisia keskusteluja kävisimmekään sellaisen tekoälyn kanssa, jota olisi opetettu vaikkapa Ukrainan historian osalta viime vuosina julkaisuilla venäläisillä oppimateriaaleilla.

•

Katsauksen pääkuvan lähde: iStockphoto.

•

Lue myös:

Ei ihan minkä tahansa suvun kronikka – Neovius-Nevanlinnan suku on poikinut muun muassa matematiikan professoreita

Mitä tiedetään lasten itseohjautuvasta oppimisesta ja sen vaikutuksista oppimistuloksiin?

Oudokki, verrokki, riski ja moni muu – Uusi tilastotieteen sanasto