Contextvenster (context window)
Het contextvenster is de hoeveelheid tekst die een taalmodel in één keer kan meenemen: de vraag, de meegegeven documenten en het gesprek tot dan toe samen.
Laatst bijgewerkt:
Waarom het een grens is
Alles wat een model moet meewegen, moet in dat venster passen. Is het bedrijfsmateriaal groter dan het venster, dan moet er gekozen worden wat er wel en niet in gaat.
Die keuze is precies waar het misgaat bij losse tools: te weinig meegeven en het model gokt, te veel meegeven en het verliest de kern tussen de ruis.
Waarom groter niet vanzelf beter is
Contextvensters worden groter, maar dat lost het probleem niet op. Een model dat honderden pagina's krijgt aangereikt zonder ordening, geeft slechtere antwoorden dan een model dat de juiste drie alinea's krijgt.
Dat is het argument achter Minimum Viable Context: niet zo veel mogelijk meegeven, maar het juiste.
Veelgestelde vragen
Wat gebeurt er als het contextvenster vol is?
Dan valt er informatie af. Afhankelijk van het systeem is dat het begin van het gesprek of een deel van de meegegeven documenten. Het model zegt daar meestal niets over, dus je merkt het aan het antwoord in plaats van aan een foutmelding.
Hangt hiermee samen
Minimum Viable Context (MVC™)
Minimum Viable Context (MVC™) is het framework van nativ voor de kleinste hoeveelheid gestructureerde bedrijfscontext waarmee AI nuttig werk kan leveren: de twintig procent die ongeveer tachtig procent van de AI-taken dekt.
RAG (retrieval-augmented generation)
RAG, voluit retrieval-augmented generation, is een techniek waarbij een AI-systeem eerst relevante stukken uit een kennisbron ophaalt en die aan het taalmodel meegeeft, zodat het antwoord op die bron gebaseerd is in plaats van op wat het model uit zichzelf denkt te weten.
Context engineering
Context engineering is het vak van het ordenen en beschikbaar stellen van de juiste bedrijfscontext, zodat een AI-systeem werk kan leveren dat klopt voor dat specifieke bedrijf.
Wil je zien wat hiervan bij jou zou werken? De AI-scan laat zien welk werk in jouw bedrijf zich leent voor AI, op volgorde.