De opkomst van large language models

In de afgelopen jaren is de technologische wereld getuige geweest van een enorme vooruitgang in kunstmatige intelligentie, met name op het gebied van natuurlijke taalverwerking (NLP). Een van de meest baanbrekende ontwikkelingen in dit domein is de opkomst van Large Language Models (LLM’s). Deze krachtige AI-modellen zijn in staat om menselijke taal te begrijpen, genereren en vertalen op een niveau dat nog maar enkele jaren geleden ondenkbaar was. Maar wat zijn LLM’s precies, en hoe veranderen ze de manier waarop we omgaan met technologie?

Schematische weergave van transformer-architectuur in taalmodellen

Wat zijn large language models?

Large Language Models zijn een type kunstmatige intelligentie dat is getraind op enorme hoeveelheden tekstgegevens. Ze maken gebruik van geavanceerde technieken zoals deep learning en transformer-architecturen (zoals GPT, BERT en T5) om patronen in taal te herkennen. Deze modellen hebben miljarden parameters, wat hen in staat stelt om context en nuance in tekst beter te begrijpen en zo mensachtige antwoorden te genereren.

GPT-3, ontwikkeld door OpenAI, is een van de bekendste voorbeelden van een LLM. Met maar liefst 175 miljard parameters is het in staat om tekst te genereren, taken zoals vertaling en samenvatting uit te voeren, en zelfs programmeercode te schrijven. Het grote voordeel van LLM’s is hun veelzijdigheid: ze kunnen worden ingezet voor uiteenlopende taken zonder dat ze specifiek getraind hoeven te worden voor elke taak.

Hoe veranderen LLM’s de wereld van AI?

De kracht van LLM’s ligt in hun transformer-architectuur, die is ontworpen om patronen in sequenties te begrijpen. In het geval van taalmodellen betekent dit dat ze de context van woorden in zinnen kunnen herkennen. Dit gebeurt door gebruik te maken van zelfattentie-mechanismen, waardoor het model niet alleen naar individuele woorden kijkt, maar ook naar de relatie tussen woorden en hun positie in de zin. Hierdoor zijn LLM’s in staat om zeer complexe en coherente tekst te genereren die vaak moeilijk te onderscheiden is van menselijke creaties.

Een belangrijk onderdeel van het trainingsproces van LLM’s is de toegang tot enorme datasets. Deze modellen worden gevoed met tekst afkomstig van diverse bronnen, zoals boeken, artikelen en websites. Door deze enorme hoeveelheden gegevens te verwerken, leren ze de statistische patronen van taal, wat resulteert in hun vermogen om voorspellende tekst te genereren op basis van de input die ze krijgen.

Meest bekende LLM’s

LLM’s zijn grofweg in twee groepen te verdelen: publieke modellen die je als dienst afneemt via een API of chatomgeving, en lokale (open-weight) modellen die je zelf kunt downloaden en op eigen hardware of in je eigen cloud draait.

Publieke LLM’s

Gehost door de aanbieder. Snel te starten, altijd up-to-date en geschikt voor de meeste toepassingen, maar je data verlaat je eigen omgeving.

Logo van OpenAIOpenAI (GPT)GPT-4o en o-serie, de basis van ChatGPT en Azure OpenAI.
Logo van AnthropicAnthropic (Claude)Sterk in lange context, redeneren en veilige antwoorden.
Logo van Google GeminiGoogle (Gemini)Multimodaal model en opvolger van PaLM.
Logo van Google PaLMGoogle (PaLM)Het eerdere taalmodel achter Bard.

Lokale LLM’s

Open-weight modellen die je zelf host. Volledige controle over data en kosten, ideaal voor privacygevoelige scenario’s of offline gebruik.

Logo van Meta LLaMAMeta (LLaMA)De bekendste open modelfamilie, in vele groottes.
Logo van Mistral AIMistralCompacte, efficiënte Europese modellen.
Logo van DeepSeekDeepSeekOpen modellen met sterke redeneer- en codeprestaties.
Logo van Alibaba QwenQwenVeelzijdige meertalige modellen van Alibaba.
Logo van OllamaOllamaDraai bovenstaande modellen met één commando op je eigen machine.
Logo van Hugging FaceHugging FaceHub met duizenden open modellen om te downloaden.