Ein stor språkmodell (frå engelsk large language model, LLM) er ein type maskinlæringsmodell utvikla for oppgåver innan naturleg språkprosessering, og er kjenneteikna av evna si til å generera tekst. Dette er ein datalingvistisk sannsynsmodell som lærer statistiske samanhengar mellom ord og setningar frå eit stort utval av tekstdokument gjennom ein ressurskrevjande treningsprosess.

Store språkmodellar oppnår desse ferdigheitene gjennom bruk av enorme mengder data, og i treningsprosessen blir store mengder parametrar lært. Dette krev ekstremt mykje datakraft. Store språkmodellar er i vid forstand kunstige nevrale nettverk og blir (a priori) anten trent gjennom sjølvtilsyn eller halv-overvaka læringsmetodar. Frå og med 2024 vert som oftast transformator brukt som nettverksarkitektur.

Store språkmodellar fungerer som sjølvjusterande språkmodellar som «kan utføre ulike oppgåver i naturleg språk, til dømes oppsummere, omsetje, føresjå og skape tekstar, ved å ta ein inngangstekst og gjentekne gonger føresjå det neste tokenet eller ordet». Fram til 2020 var den einaste måten å tilpasse ein modell til spesifikke oppgåver gjennom finjustering. Større modellar, som den populære GPT-3, vart likevel designa slik at dei kan oppnå liknande resultat ved hjelp av såkalla Prompt Engineering. I tillegg til evna til å lære seg kunnskap om syntaks, semantikk og «ontologi» i menneskelege tekstkorpus, vert det antatt at store språkmodellar òg kan fange opp skeivskapar og mangel på grannsemd i tekstkorpusa.

LLM-ar vert til dømes nytta i Open Assistant, ChatGPT, Ernie Bot og Grok. Nokre store språkmodellar er GPT-modellserien frå OpenAI (som GPT-3.5 og GPT-4, brukt i ChatGPT og Microsoft Copilot), Google sine PaLM, Gemini og Gemma 2, LLaMA-familien frå Meta av open source-modellar, Anthropics Claude og Grok-1 frå X.AI. Det finst òg kraftige LLM-ar frå kinesiske selskap, som dei frå Alibaba, Deepseek, 01 AI og Zhipu AI.

Historie

På konferansen «Conference on Neural Information Processing Systems» (NeurIPS) i 2017 presenterte Google-forskarar under leiing av Ashish Vaswani Transformer-arkitekturen i artikkelen Attention Is All You Need. Målet med dette publikasjonen var å forbetre Seq2seq-teknologien frå 2014, og det bygde hovudsakleg på den såkalla oppmerksame mekanismen («attention mechanism») utvikla av Bahdanau et al. i 2014. I det påfølgjande året, 2018, vart språkmodellen BERT introdusert og raskt «allestadsnærverande». Sjølv om den opphavlege Transformer-modellen både hadde encoder- og decoder-blokker, er BERT ein rein encoder-modell.

Sjølv om GPT-1 vart introdusert i 2018 som ein rein decoder-modell, fekk GPT-2 i 2019 mykje merksemd, då OpenAI først vurderte modellen som for kraftig til å offentleggjerast av frykt for vondarta bruk. GPT-3 i 2020 tok endå eit steg framover og er frå 2024 berre tilgjengeleg gjennom ein API, utan moglegheit for å laste ned modellen for lokal bruk. Det nettlesarbaserte ChatGPT frå 2022 «endra verda fullstendig». I 2023 vart GPT-4 skrytt for auka grannsemd og som ein «heilag gral» for multimodale dugleikar. OpenAI gav ikkje ut høgnivåarkitekturen eller talet på parametrar i GPT-4.

Samtidig har konkurrerande språkmodellar i stor grad kome på nivå med GPT-serien, iallfall når det gjeld talet på parametrar. Blant dei merkbare unntaka i talet på parametrar er Googles T5-11B frå 2019 og PaLM-E frå 2022. Den 26. januar 2024 overgjekk Googles Gemini Pro GPT-4 når det gjaldt Elo-rangering.

Sidan 2022 har open source-modellar vorte stadig meir populære, først og fremst BLOOM og LLaMA, sjølv om begge har visse avgrensingar i bruksområdet. I januar 2024 var Mixtral 8x7b frå Mistral AI ifølge LMSYS Chatbot Arena Leaderboard den mest kraftfulle opne LLM-en, meir kraftfull enn GPT-3.5, men ikkje like kraftfull som GPT-4.

Maskinvare

I tillegg til grafikkprosessorar har det i fleire år vore chiparkitekturar som er optimaliserte for trening og inferens av store nevrale nettverk. Til dømes vart den første versjonen av Google sin Tensor Processing Unit (TPU) lansert i 2016. Sidan 2020-talet har det kome ei rekkje produsentar med spesial-maskinvare for handtering av LLM-ar. Til dømes har Cerebras lansert CS-1, CS-2 og CS-3, AMD har Instinct-serien, Intel har Gaudi-plattforma, og Nvidia har Hopper og den påfølgjande Blackwell, som anten er lanserte eller annonserte.

Multimodal læring

Multimodal læring brukar data med ulike struktur i kunstig intelligens:

Tekst er ei av dei mest brukte modalitetane i maskinlæring. Tekstdata inneheld strukturerte informasjonar, og med bruk av naturleg språkbehandling kan ein lett trekkje kunnskap frå dei. Teknikkar som vert nytta til dette inkluderer tokenisering, lemmatisering, syntaksanalyse, gjenkjenning av namngjevne einingar og tekstanalyse. Bilete er ei viktig kjelde til visuell informasjon. Gjennom Convolutional Neural Networks har store framsteg blitt oppnådde i forståinga av bilete. Teknikkar som vert nytta her inkluderer til dømes objektdeteksjon, ansiktsgjenkjenning og segmentering av bilete. Lydmodalitet inkluderer informasjon frå lydopptak, lydfiler eller direkte strøyming av lyd. Videoar er ei kraftig kjelde til multimodale data, fordi dei kombinerer visuelle og auditive informasjonar. Gjennom teknikkar innan Computer Vision og lydhandsaming kan ein trekkje kunnskap frå ei videosekvens. Dette gjer det mogeleg å identifisere rørsler, analysere menneskelege aktivitetar eller til og med gjenkjenne gestar.

Bootstrapping Language-Image Pretraining

Dei fleste moderne visjon-språk-modellane krev høg reknekraft under trening, fordi treninga vert utført med store modellar og datasett, til dømes Contrastive Language-Image Pre-training (CLIP). Forskninga skjer i skjæringspunktet mellom bilete og språk. Det er derfor venta at visjon-språk-modellar kan dra nytte av lett tilgjengelege unimodale modellar frå biletegjenkjenning og naturleg språkgjenkjenning.

Førehandsopplærte visjonsmodellar gjev høgkvalitets visuelle representasjonar. Førehandsopplærte språkmodellar, spesielt store språkmodellar, tilbyr kraftige evner innan språkproduksjon og Zero-Shot-overføring. For å redusere kostnadar og unngå problemet med katastrofal gløyming, vert unimodale førehandsopplærte modellar fryste under førehandsopplæringa. Fordi store språkmodellar ikkje har sett bilete under den unimodale førehandsopplæringa, vert det å fryse modellane ein særskilt utfordrande prosess for visuell-språk-tilpassing.

Kollaps

For LLM-ar og grunnmodellar av annan type (VAE, GMM) kan det gjennom kontinuerleg trening under bruk oppstå ein vedvarande, og til og med ubrukande, reduksjon i kvaliteten på resultat. Dette vert kalla modellkollaps (model collapse). Dette gjeld særleg for seinare modellversjonar som vert trena med ein aukande del kunstig genererte data, altså data som stammar frå andre LLM-ar. Ein føresortering av data, som vanlegvis vert henta gjennom webskraping, ser så langt ut til å vere for ressurskrevjande.

Kjelder

Denne artikkelen bygger på innleiinga av «Large Language Model» frå den 7. april 2025.

Bakgrunnsstoff

Kategori:Store språkmodellar Kategori:Kunstig intelligens Kategori:Maskinlæring