Latency, doorvoer en tokens/seconde

Inleiding

Het meten van de snelheid van Large Language Models (LLM's) verschilt fundamenteel van traditionele webapplicaties. Waar een webserver in milliseconden een volledig HTTP-antwoord retourneert, genereren LLM's tekst token voor token in een iteratief proces. Dit vraagt om gespecialiseerde metrieken en een zorgvuldige meetopzet om appels met peren te vergelijken.

De Kernmetrieken

Om de prestaties van een LLM-endpoint accuraat in kaart te brengen, wordt gekeken naar drie fundamentele pijlers:

Wat beïnvloedt de snelheid?

Verschillende factoren op hardware-, model- en netwerkniveau oefenen direct invloed uit op de gemeten prestaties:

• Hardware en Kwantisering: VRAM-bandbreedte (bijv. HBM3e vs. GDDR6) is vaak de voornaamste bottleneck. Kwantisering (zoals INT4 of FP8) verlaagt het geheugenbeslag en verhoogt de tokens/seconde, mits de hardware er voor geoptimaliseerd is.
• Prompt Lengte (Context Window): De prefill-fase (het verwerken van de inputprompt) schaalt anders dan de generatiefase. Langere ingangen verhogen de TTFT aanzienlijk.
• Concurrency en Batching: Dynamische batching op de inferentie-engine (zoals vLLM of TGI) maximaliseert de GPU-benutting onder zware belasting, wat invloed heeft op individuele latency.
• Netwerklatency: Fysieke afstand tot het datacenter en de implementatie van server-sent events (SSE) of WebSockets beïnvloeden de waargenomen responstijd.

Voorbeeld-meetopzet

Voor een eerlijke en reproduceerbare benchmark is het noodzakelijk om externe variabelen te controleren. Hieronder staat een conceptueel script om gestandaardiseerde metingen uit te voeren via een API.

import time
import requests

def benchmark_endpoint(api_url, payload, api_key, iterations=5):
headers = {"Authorization": f"Bearer {api_key}", "Content-Type": "application/json"}
results = []

for i in range(iterations):
start_time = time.perf_counter()
first_token_time = None
total_tokens = 0

response = requests.post(api_url, json=payload, headers=headers, stream=True)

for line in response.iter_lines():
if line:
if first_token_time is None:
first_token_time = time.perf_counter()
# Tel tokens op basis van chunk structuur (provider-specifiek)
total_tokens += 1

end_time = time.perf_counter()

ttft = first_token_time - start_time
total_duration = end_time - start_time
generation_time = total_duration - ttft
tokens_per_sec = total_tokens / generation_time if generation_time > 0 else 0

results.append({
"run": i + 1,
"ttft_sec": ttft,
"tokens_per_sec": tokens_per_sec
})

return results

Vergelijkende Tabel

In onderstaande tabel worden metingen gestructureerd vastgelegd. Let op: de getoonde waarden zijn placeholders en dienen te worden ingevuld aan de hand van werkelijke, gekalibreerde testruns.