I vår satte jeg opp en chatbot for sykkelrittet Styrkeprøven. Chatboten skulle bare hente informasjon fra rittmanualen og nettsidene, og finne svar på det folk spurte om der. Jeg testet og testet, for å se om den fant på egne opplysninger eller resonnerte seg fram til noen gale svar, men jeg synes den bestod testen veldig bra.
Og jeg var kjempefornøyd, dette var jo en superkul ting å lage, jeg følte meg som et lite barn som hadde bygget sin første, store legobil, og gledet meg til å vise den til resten av verden.
Så kom all usikkerheten rundt arrangementet Trondheim-Oslo, og vi kunne derfor ikke legge ut chatboten, den lå bare som en demoversjon på min egen nettside så lenge.
En chatbot, eller andre sånne språkmodellbaserte tjenester som skal bruke bare en bestemt database som utgangspunkt for svarene sine, fungerer slik at man (jeg) legger inn en liten nøkkel. Og for hver gang noen stiller et spørsmål, og får svar, faktureres jeg noen ganske få øre for dette. Akkurat som når du bruker andre spårkmodeller, f.eks. Claude, så bruker chatboten tokens, som du må betale for.
Og nå i helgen, midt i søndagsmiddagen, fikk jeg en SMS fra Anthropic om at kontoen min var i minus. Det synes jo jeg var veldig rart, for jeg hadde tatt nettsiden min ned for å pusse den litt opp, lagt den bak en «under ombygging, kommer snart» vegg, og ingen ekte mennesker kunne derfor finne den chatboten og stille den spørsmål. Hadde den ligget på Styrkeprøvens side, og vært i bruk, hadde jeg nok ikke reagert, men tenkt, så gøy, noen har glede av det jeg har laget!, og fylt opp med ny kvote tokens.
Men jeg visste jo at det ikke var det som hadde skjedd. Jeg forsket litt, og fant en stor feil jeg hadde gjort, sikkerhetsmessig. Det viste seg å være ganske lett for en bot som skanner nettet på jakt etter akkurat slike nøkler å få tilgang til denne, og generere over en million tokens på den dyreste modellen til Anthropic, og det var akkurat det som hadde skjedd.
Og jeg ble så glad da jeg fant ut av det! Jeg hadde laget en avansert teknisk greie, jeg hadde gjort en stor feil, funnet ut av det, og rettet det opp igjen, og det var bare meg selv det gikk ut over. Jeg følte meg så flink! Jeg følte meg som det barnet med legobilen igjen, ikke bare hadde jeg bygget en avansert legobil, men den sluttet og virke, og jeg fant ut hvorfor!
Nå har jeg jobbet på heltid med å lage nettsider for kunder i rundt tre måneder, og himmel og hav, så mye jeg har lært. Læringskurven har vært bratt, men jeg har hatt energi nok til å klatre og klatre, mange, mange timer hver dag, og nå begynner terrenget å åpne seg litt mer, jeg får mer oversikt, og føler jeg har bedre kontroll, og tøyser ikke med sikkerheten.
Og så lærer jeg noe nytt hver dag, og dette var en av de gode lærdommene.
Trenger du en chatbot (som IKKE lekker tokens som en sil), si fra, for nå vet jeg hvordan man gjør det!