Performance di modelli di grandi dimensioni (LLM) in olandese

Ci sono abbastanza elenchi di come si comportano i modelli linguistici in inglese, ma relativamente poco di come fanno negli olandesi. Euroeval (Girub) Tuttavia, testare le prestazioni dei modelli linguistici su molte lingue europee (occidentali), tra cui olandese. Sopra il confronto.

Cosa mi colpisce:

• Il gigantesco Call-3.1-405b Esegue il meglio. Probabilmente grazie alle sue dimensioni gigantesche, c’è anche abbastanza spazio per codificare i concetti specifici olandesi nel modello, come puoi vedere al massimo Riconoscimento di entità nominata-punto.
• GPT-5 (con le fasi di pensiero) si comporta in secondo luogo, con punteggi elevati per la conoscenza e il ragionamento generale. I punteggi di Gemini 2.5 Pro comparabili.
• Mistral-Small-3.1-24b-instruct-2503 (annuncio) Punteggi come 4 °, che è molto impressionante sono dimensioni relativamente ridotte di soli 24 miliardi di parametri. Potresti eseguire questo modello su un potente computer o laptop. Nel frattempo, una nuova versione è uscita: Mistral-Small-3.2-24b-instruct-2506 (Ma l’IS non ancora testato).
• Altri modelli aperti come Llama 3.3 e Qwen3 non ottengono un punteggio male, ma non buono come l’IT.
• I modelli più piccoli di Openai (GPT -4.1 Nano e -5 Nano) chiaramente non hanno più la capacità di funzionare correttamente in olandese. Probabilmente sono completamente ottimizzati per l’inglese e il modello ha anche difficoltà a archiviare informazioni su altre lingue.

Speriamo che tutti coloro che voglia usare modelli linguistici in olandese ne trarranno beneficio. Più avanti https://euroeval.com/leaderboards/monolingual/dutch/