Uzun bağlam
ReWo ContextCurve Türkçe v1
Aynı beş soru altı bağlam uzunluğunda tekrarlanır; soru, cevap ve kanıt sabit kalır, yalnız bağlam uzar.
Sonuç tablosu
düşük doğrulukyüksek doğrulukkısmi ölçüm—gönderilemedi
PUAN önce görünür; bağlam kovaları için tabloyu yana kaydırın.
| # | Model | PUAN | 16K | 32K | 64K | 128K | 256K | 512K |
|---|---|---|---|---|---|---|---|---|
| 1 | GPT-5.6 Sol | 97,1 | %100 | %100 | %100 | %100 | %100 | %80 |
| 2 | Gemini 3.1 Pro | 83,0 | %80 | %80 | %80 | %80 | %80 | %80 |
| 3 | DeepSeek V4 Flash 0731 | 82,8 | %80 | %100 | %100 | %80 | %60 | %80 |
| 4 | Grok 4.5 | 82,7 | %100 | %100 | %100 | %100 | %100 | sınır |
| 5 | GPT-5.6 Terra | 77,3 | %80 | %60 | %100 | %80 | %60 | %60 |
| 6 | GPT-5.6 Luna | 77,0 | %80 | %60 | %100 | %60 | %80 | %60 |
| 7 | Kimi K3 | 75,9 | %100 | %100 | %80 | %80 | %80 | ret |
| 8 | DeepSeek V4 Pro | 74,1 | %80 | %80 | %80 | %80 | %80 | %40 |
| 9 | GLM 5.2 | 71,6 | %100 | %60 | %80 | %60 | %60 | %100 |
| 10 | Qwen3.6 27B | 67,3 | %100 | %80 | %80 | %100 | %100 | sınır |
| 11 | Qwen3.8 Max | 66,0 | %60 | %80 | %60 | %40 | %80 | %60 |
| 12 | Claude Opus 5 | 50,7 | %40 | %40 | %40 | %40 | %0 | %40 |
| 13 | Gemini 3.6 Flash | 48,8 | %20 | %40 | %40 | %40 | %40 | %0 |
| 14 | Claude Sonnet 5 | 35,6 | %60 | %40 | %0 | %20 | %40 | %40 |
| 15 | Gemma 4 31B | 17,6 | %20 | %0 | %0 | %0 | %0 | sınır |
MiniMax M3 sıralama dışı — yanıt biçimi 22/30 hücrede uygun değil. Ham puanı 22,3.
Görev türü
- Bilgi birleştirme
aggregation - %63 n=90
- Çok adımlı çıkarım
multi_hop - %73 n=184
- Tek adımlı bulma
single_hop - %76 n=90
- Zamansal gönderim
temporal_coreference - %31 n=90
Kapasite bulguları
- 15 hücre Modelin kanonik bağlam penceresi bu kovaya yetmiyor.
- 3 hücre İstek, modelin kendi tokenizasyonunda pencereyi aşıyor.
- 8 hücre Sağlayıcı, ilan edilen pencereye rağmen isteği reddetti.
Sayımlar hücre düzeyindedir; — yalnız bir kovadaki beş hücrenin hiçbiri gönderilmediğinde görünür.
Yöntem ve sınırlar
- Kova başına 5 soru: tek yanlış cevap doğruluğu %20 oynatır.
- Judge deepseek/deepseek-v4-pro; tutarlılık %88,1; henüz insan kalibrasyonu yok, sıralamaya girmez.
- Yanıt biçimi dışındaki sorunlar tanısal olarak izlenir ve sıralamayı belirlemez. Yanıt biçimi ihlali puana girer: ayrıştırılamayan cevap doğru sayılmaz, oranı yarıyı aşan model sıralama dışı kalır.
- suite qa-v1/execution-v3 · merkle ca0d86b4a1c0… · $178,7