AlgorithmWars · Sürü zekâsı ve otonom ajanlar
ANT COLONY INTELLIGENCE — Autonomous Foraging Benchmark
1.000 otonom karınca · 4 model · 4 seed
128×80 hücrelik ortamda 1.000 karınca; merkezi görev dağıtımı veya global rota bilgisi olmadan yiyecek keşfi, HOME/FOOD feromonlarıyla iletişim ve yuvaya taşıma. Görev 75 simülasyon saniyesi, 4.500 fizik tick’i ve beş otomatik fazdan oluşuyor: keşif, yolların güçlenmesi, geçidin kapanması, yeni kaynak ve feromonları silen yağmur sonrası toparlanma.
- Harness
- Pi Harness
- Effort
- high
- İş akışı
- Önce analiz ve geliştirme planı, ardından ikinci prompt ile uygulama.
Model sonuçları
Videodaki sıraylaMuse Spark Open
High effort
20/100
Mühendislik puanı
- Fonksiyonel ortalama
- 0/100
- Tam puanlı koşu
- 0/4
- Maliyet (USD)
- $0,206
Kimi K3.1 Pro
High effort
71/100
Mühendislik puanı
- Fonksiyonel ortalama
- 92,5/100
- Tam puanlı koşu
- 2/4
- Maliyet (USD)
- Bildirilmedi
MiniMax M3.1 Flash
High effort
77/100
Mühendislik puanı
- Fonksiyonel ortalama
- 100/100
- Tam puanlı koşu
- 4/4
- Maliyet (USD)
- $0,100
DeepSeek V4.1 Flash 1017
High effort
85/100
Mühendislik puanı
- Fonksiyonel ortalama
- 100/100
- Tam puanlı koşu
- 4/4
- Maliyet (USD)
- $0,172
Mühendislik puanı ile çoklu seed fonksiyonel ortalaması ayrı ölçütlerdir.
Mühendislik endeksi; fonksiyonel sonuçları, teslimat verimini, seed’ler arası kararlılığı ve statik kod kalitesini birleştirir. Fonksiyonel puan ayrı bir ölçümdür: 10 kontrol ve 100 puan; yasadışı hareket, envanter tutarsızlığı veya kritik durum bütünlüğü ihlali resmî puanı sıfırlar. Sonuçlar bu dört kod çıktısına aittir.
Değerlendirme sonucu
ReWo-Bench değerlendirmesinde DeepSeek V4.1 Flash 1017, 85/100 mühendislik puanı ve en yüksek teslimat verimiyle öne çıkıyor. DeepSeek ile MiniMax dört seed’de de tam fonksiyonel puan aldı. MiniMax maliyeti bilinen çözümler arasında en ekonomik; Kimi keşifte güçlü fakat seed’ler arasında daha değişken. Muse çalışan bir simülasyon üretse de dört koşuda teslimat gerçekleştiremedi.
Fonksiyonel sonuçlar ve teslimatlar
Teslimat sayıları belirtilen tek seed koşusuna aittir; çoklu seed ortalaması değildir. Bu vakadaki sonuçlar genel bir model sıralaması oluşturmaz.
| Model | Çoklu seed koşuları | Tek seed teslimatları | ||||
|---|---|---|---|---|---|---|
| Fonksiyonel ortalama /100 | Tam puanlı koşu | Seed | Toplam teslimat | Food A | Food B | |
| Muse Spark Open | 0 | 0/4 | 1337 | 0 | Bildirilmedi | Bildirilmedi |
| Kimi K3.1 Pro | 92,5 | 2/4 | 1337 | 659 | 517 | 142 |
| MiniMax M3.1 Flash | 100 | 4/4 | 1337 | 1.071 | 574 | 497 |
| DeepSeek V4.1 Flash 1017 | 100 | 4/4 | 1337 | 3.056 | 2.130 | 926 |
Model bazında teknik değerlendirme
Muse Spark Open
Güçlü yanlar
- Kod çalıştı ve envanter bütünlüğünü korudu.
Sınırlamalar ve bulgular
- Dört seed’in hiçbirinde yiyeceği yuvaya teslim edemedi; fonksiyonel ortalaması 0/100.
- Seed 1337’de Food A’dan ilk alım ancak 40,32. saniyede gerçekleşti. Taşınan yiyecekler yuvaya ulaşmadı.
Kimi K3.1 Pro
Güçlü yanlar
- P1’de 218 Food A teslimatıyla başlangıç keşfinde öne çıktı.
- Seed 1337’de 517 Food A ve 142 Food B olmak üzere 659 teslimat gerçekleştirdi.
Sınırlamalar ve bulgular
- Geçit kapanması ve yeni kaynağa adaptasyonda seed’ler arasında kararlılık kaybı görüldü: seed 2026’da 80/100, seed 7331’de 90/100.
- Statik incelemede fiilen devre dışı kalan bir geri izleme dalı bulundu.
MiniMax M3.1 Flash
Güçlü yanlar
- 0,100 USD ile maliyeti bilinen çıktılar arasında en ekonomik çözüm; dört seed’in tamamında fonksiyonel puan 100/100.
- Geçit kapandıktan sonra P3’te 120 nitelikli teslimat yaptı. Yeni yiyecek kaynağına 5,13 saniyede adapte oldu.
Sınırlamalar ve bulgular
- Ajan kontrolünde global kaynak bilgilerine başvurması, yerel bilgiyle hareket etme şartına sıkı uyum açısından bir bulgu. İncelenen fonksiyonel puanlar bunu ayrıca cezalandırmadı.
- Seed 1337’de 1.071 teslimatla DeepSeek’in toplam veriminin gerisinde kaldı.
DeepSeek V4.1 Flash 1017
Güçlü yanlar
- Dört seed’in tamamında 100/100 fonksiyonel puan; dört koşuda ortalama 3.080,5 teslimat.
- Seed 1337’de 3.056 teslimatla en yüksek verim. Bu koşuda MiniMax’in yaklaşık 2,85, Kimi’nin 4,64 katı teslimat yaptı.
- Yeni kaynağa 5,13 saniyede adaptasyon; yağmur sonrası alınan yiyeceklerden 525 nitelikli teslimatla güçlü toparlanma.
Sınırlamalar ve bulgular
- P2 medyan değerlendirmesinde örnek kümesi seçimi hatası bulundu. Bu bulgu incelenen bağımsız fonksiyonel puanları değiştirmedi; kod doğruluğu değerlendirmesinde korundu.
Teknik bulgular
- Değerlendirme; statik sandbox incelemesi, Chromium koşuları ve bağımsız kontrolleri kapsıyor. Her çıktı dört seed ile 75 simülasyon saniyesi çalıştırıldı; teslimat kayıtları, envanter bütünlüğü, BFS mesafeleri ve eşikler incelendi.
- Teslimat tablosu seed 1337’ye aittir; fonksiyonel ortalamalar dört seed’i kapsar. Video 73,749 saniyelik bir karşılaştırma kaydıdır; panellerin simülasyon saatleri eşzamanlı değildir.
- Tam fonksiyonel puan, statik incelemede bütün şartname koşullarının sağlandığı anlamına gelmez. MiniMax’in global kaynak bilgisi kullanımı ve DeepSeek’in P2 örnek seçimi bulguları bu nedenle puanların yanında görünür tutulur.