Coding ve simülasyon
PORT CRANE CHESS BENCHMARK v1.0
Tek prompt. Dört simülasyon çıktısı.
- 4 model
- 75 sn sekans
- Görev seed'i: 1337
- Tek HTML dosyası
Mühendislik değerlendirmesiChatGPT Astra Pro
Pi · 1 başlangıç prompt'u · +0 ek kullanıcı mesajı
Model sonuçları
Videodaki sıraylaVideoda: Sol üst
Grok 4.7
Very High
77/100
ChatGPT Astra Pro mühendislik puanı
- Tamamlanan iş
- 18/32
- Pi maliyeti
- $3,21
- Pi görev süresi
- 51 dk
Videoda: Sağ üst
Gemini 4 Argon
High
81/100
ChatGPT Astra Pro mühendislik puanı
- Tamamlanan iş
- 32/32
- Pi maliyeti
- $1,12
- Pi görev süresi
- 35 dk
Videoda: Sol alt
Muse Wonder
Max
70/100
ChatGPT Astra Pro mühendislik puanı
- Tamamlanan iş
- 26/32
- Pi maliyeti
- $4,65
- Pi görev süresi
- 14 dk
Videoda: Sağ altEn yüksek puan
GPT-6.1 Sol
Max
94/100
ChatGPT Astra Pro mühendislik puanı
- Tamamlanan iş
- 18/32
- Pi maliyeti
- $3,96
- Pi görev süresi
- 47 dk
Pi maliyeti ve görev süresi mühendislik puanına dahil değildir.
Karşılaştırmanın ayrıntıları
Modellere verilen prompt
# PORT CRANE CHESS BENCHMARK v1.0 — SINGLE-FILE, SELF-GRADING
Build **ONE standalone HTML file** showing an autonomous container-port simulation. It must run a complete **75-second sequence** without user input, then display an honest **100-point scorecard**. **Deliver only the HTML file.**
## 1. Hard constraints
- Vanilla JavaScript + **Canvas 2D** only. All CSS/JS inline; no libraries, assets, CDNs or network. Open offline with no console errors.
- Fixed logical world **1400 × 850**; responsive display must not change physics. Fixed physics step **1/60 s**; rendering separate. Phases advance by simulation time, not frame count.
- Seeded PRNG (`SEED = 1337`) for all generated jobs and disturbances. **No `Math.random()`**. Restart must reproduce the same results.
- Automatically run five **15-second phases** (75 seconds total). At the end, freeze the simulation and show the scorecard. No manual interaction required.
- **No keyframed cargo moves, teleports, pre-scripted successes or fake metrics.** Every delivery must follow valid crane motion and pickup/drop rules.
## 2. Port and crane mechanics
- Render a readable **2.5D-style container terminal**: ship and 12 numbered bays (`y ≈ 630`), quay rail, yard slots (`y ≈ 240`), colored shipping containers, shadows and 3 gantry cranes.
- Cranes **C1, C2, C3** share one rail (`x = 120..1280`), initially at `x = 300, 700, 1100`. **They cannot overtake** and must maintain **≥ 145 world units** of separation at every physics step.
- Each crane has continuous **gantry X**, **trolley Y**, **hoist height** and **hook/payload** state. Use actual movement (suggested maximum speeds: gantry 180, trolley 250, hoist 180 world units/s).
- Explicit task states: `QUEUED → TO_SOURCE → LOWER → ATTACH → LIFT → TRANSFER → LOWER → RELEASE → DONE`. A container follows the hook only while attached. Pickup/drop require position tolerance and a valid free destination; cargo must clear obstacles while traveling.
- Create deterministic jobs with unique container IDs and valid ship-to-yard destinations. Keep destinations near their pickup bay (within one bay) so jobs remain physically reachable despite non-crossing cranes.
- Implement a **real dispatcher** (estimated travel time + workload + reachable position) and conflict avoidance (slow/stop before violating rail separation). Queued jobs may be reassigned when a crane is unavailable.
- Model suspended-load sway with a **damped pendulum approximation** driven by trolley acceleration and wind. Wind changes actual sway, and the controller must slow trolley motion when needed. A simple stable approximation is fine; a decorative sway animation is not.
## 3. Fully automated choreography — 5 × 15 s
| Time | Phase | Required event |
|---|---|---|
| **0–15 s** | **P1 — BASELINE** | Release 6 normal jobs; demonstrate picking, lifting, transfer and stacking. |
| **15–30 s** | **P2 — QUAY BOTTLENECK** | Release 6 jobs concentrated near adjacent crane work zones; dispatch without rail crossing or deadlock. |
| **30–45 s** | **P3 — CROSSWIND** | Release 6 jobs; introduce alternating lateral wind gusts. Show and regulate real payload sway. |
| **45–60 s** | **P4 — CRANE FAILURE** | Release 6 jobs. Disable **C2 at t=47 s**, restore at **t=55 s**. It must stop safely; reassign waiting jobs accessible to C1/C3 (include priority jobs near `x≈500` and `x≈900`). |
| **60–75 s** | **P5 — ORDER SURGE** | Release 8 more jobs. All cranes resume operation; clear as much backlog as possible. |
**Total: 32 jobs released; 75 seconds of simulated time.** Events must be triggered by simulation time, not wall-clock time. A brief READY title is optional, but the complete recorded sequence must stay within **90 seconds**.
## 4. Live rendering and HUD
- Strong visual clarity: independently moving cranes, visibly suspended containers, colored yard stacks, crane safety zones, moving wind arrows and a visible SWAY indicator.
- Always show: **phase name (P1–P5), 75-second timeline, completed/32, active jobs, per-crane state, minimum rail clearance, wind strength, max sway and FPS**.
- Clearly highlight job reassignments and C2's failure/recovery. Final screen: an easily readable 5-row scorecard.
## 5. Objective self-grading (100 points)
Award the listed sub-points **only when the measured condition is true**. Deliveries count **only after a valid pickup, physical transfer and correct drop**.
| Phase | Points | Measured tests |
|---|---:|---|
| **P1** | **20** | ≥3 valid deliveries by t=15 (**10**); zero invalid pickup/drop operations (**10**). |
| **P2** | **20** | ≥3 deliveries during P2 (**10**); crane order preserved and minimum rail separation ≥145 throughout P2 (**10**). |
| **P3** | **20** | ≥2 deliveries during P3 (**10**); max absolute payload sway ≤0.35 rad, with no dropped cargo (**10**). |
| **P4** | **20** | ≥1 genuinely reassigned priority job delivered during P4 (**10**); failed C2 does not move while disabled, no dropped payload (**10**). |
| **P5** | **20** | ≥16 total deliveries by t=75 (**10**); ≥4 deliveries during P5 (**5**); zero duplicates/lost containers, invalid drops or non-finite states (**5**). |
- Report **actual** completion counts, throughput, per-crane utilization, max sway, minimum rail gap, reassignment count, invalid operations, lost/duplicated containers, average FPS and a deterministic final-state hash.
- Log one compact final JSON object with `console.log(JSON.stringify(scorecard))`, containing `{benchmark, seed, phases:[{name, earned, max, metrics}], totals, score, finalStateHash}`. Expose the same object as `window.BENCHMARK_RESULT` for external verification.
- Do **not** silently clamp or delete invalid jobs, falsify metrics, or award points for merely animating a phase. A failure must be visible as **FAIL** with its measured value.
## 6. Controls and code quality
Auto-start. `Space` = pause/resume; `R` = restart with seed 1337. Organize code into small sections for **PRNG, state, scheduling, crane motion, sway, collision checks, phase director, rendering and grading**. Favor a complete, robust implementation over unnecessary visual complexity.
**Output only the complete HTML source. No explanation, no placeholders, no omitted phases.**
Mühendislik puanlama rubriği
ChatGPT Astra Pro’nun dört kod çıktısını değerlendirdiği mühendislik rubriği. Maliyet ve görev süresi puana katılmadı.
| Alan | Ağırlık | Grok 4.7 | Gemini 4 Argon | Muse Wonder | GPT-6.1 Sol |
|---|---|---|---|---|---|
| Prompt uyumu, zamanlama ve determinizm | 15 | 12 | 13 | 13 | 15 |
| Fizik, yük hareketi ve görev durum makinesi | 25 | 23 | 21 | 17 | 24 |
| İş dağıtımı, ray koordinasyonu ve arıza yönetimi | 20 | 12 | 14 | 14 | 18 |
| Metrik doğruluğu ve envanter bütünlüğü | 20 | 14 | 16 | 11 | 19 |
| Görsel açıklık ve kullanılabilirlik | 10 | 8 | 9 | 8 | 9 |
| Kod organizasyonu ve test edilebilirlik | 10 | 8 | 8 | 7 | 9 |
| Toplam | 100 | 77 | 81 | 70 | 94 |
Model bazında teknik değerlendirme
Grok 4.7
Güçlü yanlar
- İki eksenli sarkaçta ivme, sönüm ve rüzgâr durum güncellemesine katılıyor. Kontrolcü salınım ve rüzgâra göre ivme bütçesini azaltıyor.
- Alım ve bırakmada kanca hizası, istif tepesi, hız, hedef desteği ve taşıma mesafesi kontrolleri var.
Sınırlamalar ve bulgular
- Arıza 47. saniyede gerçekleşirken iş kabulünü 33. ve 36. saniyelerde sınırlayan kurallar, operasyonu önceden bilinen olaya hazırlıyor. Sabit vinç bölgeleri alternatif atamaları daraltıyor.
- Kontrollü 15 FPS zaman akışı 100 saniye sürdü. Kare başına 0,05 saniye sınırı, 75 saniyelik simülasyonun zaman akışını uzatıyor; bu donanım performans testi değil.
Gemini 4 Argon
Güçlü yanlar
- Bütün fazlardaki işleri bitirdi: 6 → 6 → 6 → 6 → 8, toplam 32/32. P4 içinde iki yeniden atanmış öncelikli işi teslim etti.
- Vinç durumları, kuyruklar, salınım, ray açıklığı ve yeniden atama bildirimleri masaüstünde izlenebilir.
Sınırlamalar ve bulgular
- Dispatcher sabit bölgelere dayanıyor. İki öncelikli iş başlangıçta C2 erişim aralığı dışında olmasına rağmen özel başlangıç tercihiyle C2’ye veriliyor.
- C2 hareket sayacının kendi denetim yolu bağımsız kanıt üretmiyor. Dış gözlemde arızalı C2 hareket etmedi.
- R ile yeniden başlatma eski window.BENCHMARK_RESULT nesnesini temizlemiyor; harici değerlendirici önceki sonucu okuyabilir.
Muse Wonder
Güçlü yanlar
- Kompakt uygulama 26/32 işi tamamladı. Rüzgârlı iki eksenli salınım, kuyruk, arıza ve yeniden atama akışı mevcut.
- Normal koşuda JavaScript hatası yok; ray aralığı ve deterministik sonuç korundu.
Sınırlamalar ve bulgular
- JOB-28 iki bay uzaklıktaki hedefe üretildi; prompt en fazla bir bay istiyor. İş kuyrukta kaldığı için bu geçersiz iş üretimidir, yanlış tamamlanan teslimat değil.
- Alım/bırakma toleransları geniş; teslimatta konteyner hedefe doğrudan konumlandırılıyor. ±0,8 rad kırpma sınırı bu koşuda tetiklenmedi, ancak sağlamlık riski taşıyor.
- Toplam reassignments sayacı işi farklı vinç gerçekten almadan artıyor. Bir iş daha sonra yine C2 tarafından teslim edildi; bu metriğin anlamı diğer uygulamalarla aynı değil.
GPT-6.1 Sol
Güçlü yanlar
- Geçerli alım geçmişi, sahiplik, kanca hizası, transfer, güvenli yükseklik, fiziksel mesafe ve hedef rezervasyonu denetleniyor. Bırakılan konteyner hedef merkeze sıçratılmıyor.
- Dispatcher seyahat/kuyruk maliyetlerini ve komşu vinç çalışma aralıklarını değerlendiriyor; yol verme hedefleri ve neden/zaman/vinç bilgisiyle yeniden atama geçmişi tutuyor.
- Her adımda envanter, sahiplik, çift sayım, kayıp ve beklenmedik ayrılma kontrolleri var. Mobil düzen fizik dünyasını değiştirmeden yeniden yerleşiyor.
Sınırlamalar ve bulgular
- 18/32 işi bitirdi; P1’de 3 ve P5’te 4 teslimatla bazı eşikleri tam sınırdan geçti. Daha sıkı kontrolün teslimat farkına etkisi ortak manifest olmadan ayrılamaz.
Faz sonuçları ve ek kontroller
Ölçümler videodan otomatik çıkarılmadı. Kontrollü FPS testi donanım veya kod üretim süresi ölçümü değildir.
| Faz | Grok 4.7 | Gemini 4 Argon | Muse Wonder | GPT-6.1 Sol |
|---|---|---|---|---|
| P1 · Başlangıç | 3 | 6 | 6 | 3 |
| P2 · Ray darboğazı | 6 | 6 | 5 | 4 |
| P3 · Yan rüzgâr | 3 | 6 | 5 | 3 |
| P4 · Vinç arızası | 2 | 6 | 4 | 4 |
| P5 · İş yoğunluğu | 4 | 8 | 6 | 4 |
| Toplam | 18/32 | 32/32 | 26/32 | 18/32 |
| Ölçüm | Birim | Grok 4.7 | Gemini 4 Argon | Muse Wonder | GPT-6.1 Sol |
|---|---|---|---|---|---|
| P4’te teslim edilen yeniden atanmış öncelikli iş | sayı | 2 | 2 | 1 | 1 |
| Gözlenen minimum ray aralığı | dünya birimi | 180,073 | 152,000 | 145,000135 | 178,933 |
| P3 maksimum yüklü salınım | rad | 0,321454 | 0,246182 | 0,233224 | 0,283802 |
| Normal koşuda JavaScript hatası | sayı | 0 | 0 | 0 | 0 |
| Kontrollü 15 FPS zaman akışında sekans süresi | sn | 100 | 75 | 75 | 75 |
| R ile eski BENCHMARK_RESULT temizleniyor | — | Evet | Hayır | Evet | Evet |