Ein transformator i djuplæringsarkitektur er ein modell innan kunstig intelligens, utvikla av forskarar hos Google i 2017. Arkitekturen er basert på ein såkalla multi-head attention-mekanisme, der modellen lærer å vektleggje ulike delar av inndataen avhengig av konteksten. Transformatorar har sidan vorte grunnlaget for moderne språkmodellar og andre system innan maskinlæring.
Grunntrekk
Transformatormodellen blei introdusert i forskingsartikkelen Attention Is All You Need publisert under konferansen Neural Information Processing Systems (NeurIPS) i 2017. I modellen blir tekst først omforma til såkalla token – numeriske representasjonar – som deretter blir gjort om til vektorar via ei embedding-tabell. Kvart lag i modellen analyserer konteksten rundt kvar token gjennom ein parallell multi-head attention-mekanisme. Dette gjer at viktige token får sterkare vekting, medan mindre relevante token vert tona ned.
Til skilnad frå tidlegare modellar som rekurrente nevrale nettverk (RNN), til dømes long short-term memory (LSTM), har transformatorar «ikkje rekurrent struktur». Tradisjonelle RNN-modellar handsamar inndata steg for steg og tek omsyn til tidlegare steg i rekkja. Dette kan vere nyttig for sekvensielle data, men det fører ofte til lengre treningstid og krevjande skalering.
Transformatorar handsamar derimot heile datastrukturen parallelt. Dei nyttar ein merksemdsmekanisme som gjer at modellen kan vurdere alle element i sekvensen samstundes. Dette aukar effektiviteten og gjer modellen betre eigna til å lære frå store datamengder.
Opphavleg var transformatorar ein reaksjon på avgrensingane i tidlegare sekvensielle modellar. Medan RNN og LSTM måtte lære ein sekvens gjennom tid, kan transformatorar lære relasjonar mellom element uavhengig av posisjon. Seinare har ein utvikla ulike variantar, som til dømes lineære transformatorar og sparse attention-modellar, for å gjere prosesseringa endå raskare og meir ressursvenleg.
Bruksområde
Transformatorar blei først utvikla for maskinomsetjing, men har sidan fått ei lang rekkje bruksområde. Dei vert nytta i naturleg språk-prosessering (NLP), bilethandsaming (t.d. Vision Transformers), forsterkande læring, lydprosessering, multimodal læring, robotikk, strategiske spel, som sjakk.
Modellen ligg også til grunn for fleire store ferdigtrente system, til dømes: BERT (Bidirectional Encoder Representations from Transformers), og GPT (Generative Pre-trained Transformer, norsk: generativ førehandstrent transformator).
Kjelder
Denne artikkelen bygger på innleiinga av «Transformer (deep learning architecture)» frå den 11. april 2025.
Bakgrunnsstoff DeepAI – «Recurrent Neural Network», henta 11. april 2025.
Kategori:Maskinlæring Kategori:Kunstig intelligens Kategori:Språkprosessering