Nederlandse vertaalkwaliteit praktisch meten

Wanneer een organisatie besluit om taalmodellen in te zetten voor het vertalen van documentatie, klantcommunicatie of technische handleidingen, draait de uiteindelijke modelkeuze om één concrete beslissing: welk model levert de hoogste betrouwbaarheid en stijlvastheid tegen acceptabele kosten en doorvoersnelheid? Generieke scores op publieke leaderboards geven hier vrijwel geen antwoord op. Een model dat uitstekend presteert op abstracte Engelse redeneertests kan structureel falen bij subtiele Nederlandse grammatica, stijlovergangen of vaktermen.

Dit artikel biedt een reproduceerbare methodiek om machinevertalingen naar het Nederlands systematisch te toetsen en te kwantificeren. Waar theoretische kaders zich vaak beperken tot globale correlaties, richt dit raamwerk zich op het inrichten van een eigen testset, het combineren van lexicale en neurale evaluatiemetrieken en het inzetten van gestructureerde LLM-as-a-judge beoordelaars. Dit artikel onderscheidt zich nadrukkelijk van algemene taalevaluaties door uitsluitend te focussen op de getrouwheid van bron-naar-doelvertalingen en specifieke Nederlandse taalfouten.

Waarom algemene benchmarks falen bij vertaaltaken

Veel benchmarks voor taalmodellen meten algemene kennis via meerkeuzevragen of evalueren instructievolgzaamheid in zuiver Engelstalige contexten. Zelfs meertalige benchmarks gebruiken vaak machinaal vertaalde testsets waarin typische Nederlandse vertaalfouten niet worden bestraft. Wie betrouwbare uitspraken wil doen over vertaalkwaliteit, moet het meetprobleem isoleren. Lees voor een overzicht van algemene taalvaardigheidstests het artikel over Nederlandse taalvaardigheid van AI-modellen testen, waarin de bredere taalbeheersing los van brondocumenten wordt behandeld.

Vertaalkwaliteit kent drie fundamentele dimensies die niet met één algemene score gevangen kunnen worden: semantische getrouwheid (adequacy), natuurlijk taalgebruik in de doeltaal (fluency) en het consistent handhaven van stijlafspraken en terminologie. Een vertaling kan grammaticaal foutloos Nederlands zijn, maar cruciale details uit de brontekst weglaten of verdraaien. Omgekeerd kan een letterlijke vertaling de betekenis behouden, maar onnatuurlijk aandoen door letterlijk overgenomen Engelse zinsconstructies.

Typische Nederlandse vertaalvalkuilen

Het meten van Nederlandse vertaalkwaliteit vereist inzicht in de specifieke manieren waarop taalmodellen ontsporen in het Nederlands. Een effectieve benchmark bevat gerichte testgevallen die deze zwakke plekken actief uitlokken:

• Samenstellingen en de Engelse ziekte: Het Nederlands voegt samenstellingen aaneen (bijvoorbeeld klantenservicemedewerker of kwaliteitscontrolesysteem). Modellen met een sterke Engelse trainingsbias splitsen deze woorden vaak ten onrechte met spaties (klanten service medewerker).
• Aanspreekvormen en registerconsistentie: Het wisselen tussen u, jij en je binnen eenzelfde alinea of document. Zonder expliciete instructie neigen modellen ertoe om informeel en formeel taalgebruik door elkaar te gebruiken.
• Tangconstructies en woordvolgorde: In bijzinnen plaatst het Nederlands de persoonsvorm en voltooide deelwoorden achteraan. Modellen nemen geregeld de Engelse SVO-volgorde (Subject-Verb-Object) over in complexe zinnen.
• Valse vrienden en leenvertalingen: Woorden die qua vorm op het Engels lijken maar een andere betekenis hebben (zoals eventually vertalen als eventueel in plaats van uiteindelijk).
• Vakjargon en domeinterminologie: Het ten onrechte letterlijk vertalen van gevestigde Engelse vaktermen waarvoor binnen de sector geen vertaling gebruikelijk is, of juist het onvertaald laten van gangbare Nederlandse begrippen.

Een eigen Nederlandse testset construeren

Een betrouwbare meting begint bij een afgewogen toetsverzameling van minimaal 100 tot 250 bronfragmenten. Deze fragmenten moeten representatief zijn voor de teksten die in de praktijk worden verwerkt. Een gebalanceerde testset bestaat uit drie lagen:

Bij het opstellen van de referentievertalingen (de gouden standaard) is het aan te raden om minimaal twee onafhankelijke menselijke vertalingen per brontekst te verzorgen. Hierdoor ontstaat ruimte voor synoniemen en alternatieve zinsbouwen, wat vooral voor klassieke overlapmetrieken van belang is. Raadpleeg voor meer details over geavanceerde semantische metrieken de gids over vertaalkwaliteit evalueren met COMET en BLEURT, waarin de wiskundige achtergrond van neurale evaluatiemodellen dieper wordt uitgewerkt.

Geautomatiseerde metrieken combineren

Geen enkele geautomatiseerde metriek is in isolatie voldoende om vertaalkwaliteit volledig te beoordelen. In de praktijk combineert een robuust meetprotocol drie complementaire meetniveaus: lexicale overlap, neurale semantiek en stijlafstemming.

Klassieke metrieken zoals BLEU en chrF++ meten n-gram overlap en karakterovereenkomsten. Hoewel BLEU gevoelig is voor legitieme synoniemen, biedt chrF++ een zeer stabiele indicatie voor het Nederlands omdat het rekening houdt met morfologie en samengestelde woorden. Neurale evaluatiemodellen (zoals COMET) vergelijken de embedding van de brontekst, de gegenereerde vertaling en de referentievertaling. Hiermee wordt gemeten of de intentie en semantiek behouden zijn gebleven, zelfs als de gekozen bewoordingen afwijken.

# Voorbeeld: Evaluatiescript voor meertalige berekening met SacreBLEU en chrF
import sacrebleu

def evalueer_vertaalpaar(hypothese, referenties):
    """
    Berekent BLEU en chrF++ scores voor een lijst vertalingen.
    hypothese: list van gegenereerde zinnen
    referenties: list van lijsten met referentiezinnen
    """
    bleu = sacrebleu.corpus_bleu(hypothese, referenties)
    chrf = sacrebleu.corpus_chrf(hypothese, referenties, word_order=2)
    
    return {
        "bleu": round(bleu.score, 2),
        "chrf2": round(chrf.score, 2)
    }

# Fictieve data ter illustratie
bronnen = ["The user interface must remain responsive during data export."]
gegenereerd = ["De gebruikersinterface moet responsief blijven tijdens het exporteren van gegevens."]
referentie = [["De interface moet snel blijven reageren tijdens het exporteren van data."]]

resultaten = evalueer_vertaalpaar(gegenereerd, referentie)
print(f"Resultaat: chrF++ = {resultaten['chrf2']}, BLEU = {resultaten['bleu']}")

LLM-as-a-Judge met de MQM-foutentaxonomie

Naast automatische getalmatige scores biedt een LLM-as-a-judge raamwerk kwalitatieve diepgang. In plaats van een model te vragen om een algemeen rapportcijfer tussen 1 en 10, levert het toepassen van de gestandaardiseerde Multidimensional Quality Metrics (MQM) taxonomie aanzienlijk betrouwbaardere en reproduceerbare resultaten op.

Onder het MQM-kader categoriseert het beoordelende model geconstateerde fouten in drie ernstgraden:

• Kritieke fout (Critical - 10 strafpunten): De betekenis is volledig verdraaid, er is gevaarlijke desinformatie geïntroduceerd, of de vertaling adviseert het tegenovergestelde van de brontekst.
• Majoor fout (Major - 5 strafpunten): Ernstige betekenisverschuiving, weglating van een essentieel zinsdeel of ernstige stijlinconsistentie die het begrip belemmert.
• Minor fout (Minor - 1 strafpunt): Lichte spelfout, onhandige zinsbouw, onjuiste spatie in een samenstelling of een inconsequente interpunctie die de betekenis niet aantast.

{
  "beoordeling": {
    "fouten": [
      {
        "type": "terminologie",
        "ernst": "minor",
        "fragment": "klanten service medewerker",
        "correctie": "klantenservicemedewerker",
        "reden": "Onjuiste spatie in Nederlandse samenstelling."
      },
      {
        "type": "register",
        "ernst": "major",
        "fragment": "U kunt jouw accountinstellingen wijzigen",
        "correctie": "U kunt uw accountinstellingen wijzigen",
        "reden": "Inconsistent wisselen tussen formele en informele aanspreekvorm."
      }
    ],
    "totale_strafpunten": 6,
    "berekende_kwaliteitsscore": 94.0
  }
}

Door gestructureerde JSON-uitvoer af te dwingen van het jurymodel, worden fouten kwantificeerbaar en direct herleidbaar naar specifieke zinsdelen. Om te waarborgen dat de meetopzet stabiel blijft bij wisselende prompts, is het verstandig om systematische tests uit te voeren zoals beschreven in de handleiding over A/B-testen van prompts, waarmee je promptvarianten gecontroleerd tegen elkaar afzet.

Reproduceerbare meetopzet en statistische validatie

Een meting is pas waardevol als deze onder identieke condities herhaald kan worden. Om ruis en willekeur te elimineren, moeten alle parameters van de API-aanroep strikt worden vastgelegd:

• Decodering parameters: Zet de temperatuur (temperature) op 0.0 of een zeer lage waarde (zoals 0.1) met een vaste zaadwaarde (seed) om niet-deterministische output te minimaliseren.
• Systeemprompt fixeren: Leg instructies over stijlgidsen, doellezers en terminologielijsten letterlijk vast in de configuratie.
• Herhalingen per segment: Voer elk segment minimaal 3 tot 5 keer uit om variantie en token-drift in kaart te brengen.
• Betrouwbaarheidsintervallen: Bereken het 95%-betrouwbaarheidsinterval over de gemiddelde scores om te controleren of prestatieverschillen tussen modellen statistisch significant zijn.

Vertaalkwaliteit in complexe agent-omgevingen

In moderne architecturen staat een vertaalstap zelden op zichzelf. Vaak vormt vertaling een tussenstap binnen een RAG-systeem (Retrieval-Augmented Generation) of een autonome agent die buitenlandse bronnen moet verwerken om een Nederlandstalig rapport te genereren. Fouten in de vertaalfase propageren direct naar latere logische stappen.

Wanneer een vertaalmodel bijvoorbeeld een instructie in een brondocument verkeerd interpreteert, kan een autonome agent een verkeerde tool aanroepen of verkeerde parameters doorsturen. Om te begrijpen hoe dit soort samengestelde ketens systematisch worden doorgelicht, lees je het dossier over hoe je een AI-agent evalueert van taaksucces tot trajectanalyse, waar foutpropagatie in meertalige workflows nader wordt geanalyseerd.

Doorvoer, latency en API-beheer

Kwaliteit kan niet los worden gezien van operationele parameters. Een model dat 2% beter scoort op MQM-kwaliteit maar viermaal zoveel latentietijd vraagt of zesmaal duurder is per miljoen tokens, is voor realtime toepassingen vaak ongeschikt. Het gelijktijdig monitoren van time-to-first-token (TTFT) en tokens per seconde is daarom essentieel.

Voor grootschalige vertaalpijplijnen kan het routeren van verzoeken tussen verschillende modellen op basis van tekstcomplexiteit aanzienlijke voordelen opleveren. Om te zien hoe je modelverzoeken dynamisch verdeelt en over meerdere leveranciers balanceert, raadpleeg je het overzicht over de kracht van een LLM API-aggregator, waarin failover-mechanismen en latency-optimalisatie centraal staan.

Kosten van een representatieve meetrun

Het structureel testen van vertaalkwaliteit brengt kosten met zich mee, zowel voor het genereren van de vertalingen als voor de automatische beoordeling via een jurymodel. Het vooraf begroten van deze tokenkosten voorkomt onnodige uitgaven tijdens langdurige benchmarktrajecten.

Voor een standaard benchmarkset van 200 zinnen (gemiddeld 30 woorden per brontekst) met 3 herhalingen per model en beoordeling door een geavanceerd jurymodel, ziet het tokenverbruik er als volgt uit:

Voor meer informatie over het budgetteren en beheersen van dit soort evaluatieprojecten verwijzen we naar het artikel over de kosten van evalueren beheersen bij LLM-toepassingen, waarin besparingsstrategieën zoals steekproefverkleining worden toegelicht.

Van meetresultaten naar een objectieve besliskaart

Wanneer de data uit chrF++, COMET en de MQM-analyse verzameld zijn, worden deze samengebracht in een beslismatrix. Hierin weegt men de afzonderlijke onderdelen op basis van het specifieke gebruiksdoel. Voor een juridisch document weegt de afwezigheid van kritieke MQM-fouten zwaarder dan vlotheid, terwijl bij marketingteksten natuurlijke zinsbouw en registerconsistentie de doorslag geven.

Door de vertaalevaluatie op te nemen in een geautomatiseerde CI/CD-pijplijn kan bij elke wijziging in systeemprompts of modelversies direct worden getoetst of er sprake is van kwaliteitsregressie. Zo ontstaat een datagedreven selectieproces dat niet leunt op aannames of Engelstalige leaderboards, maar op meetbare prestaties in het Nederlands.