Koinons — Tencent Hy4 preview bukan hanya menarik karena membawa 770 miliar parameter dan context window hingga 1 juta token. Pertanyaan yang lebih penting adalah: seberapa kuat model tersebut jika dibandingkan dengan model AI frontier lainnya?
Tencent mempublikasikan tabel benchmark yang membandingkan Hy4 preview dengan sejumlah model lain, termasuk GPT-5.6 Sol, Claude Opus 5, DeepSeek V4 Pro, Qwen 3.8 Max, GLM 5.3, dan Kimi K3.
Hasilnya cukup menarik. Hy4 memang belum menjadi model terbaik di semua kategori, tetapi performanya sudah berada di level yang kompetitif, terutama pada pekerjaan coding, agentic tasks, dan penggunaan tools.
Hy4 Tidak Menang di Semua Benchmark
Salah satu kesalahan yang mudah terjadi ketika melihat model dengan parameter sebesar 770B adalah menganggapnya otomatis lebih pintar daripada model lain.
Benchmark Tencent justru menunjukkan gambaran yang lebih kompleks.
Pada SWE-bench Multilingual, Hy4 mencatat skor 82,9%. Angka tersebut lebih tinggi daripada DeepSeek V4 Pro 0813 yang berada di 77,3%, GLM 5.3 di 81,3%, Kimi K3 di 80,8%, dan GPT-5.6 Sol di 74,1%.
Namun Claude Opus 5 masih berada di atasnya dengan hasil 89,5% atau 85,8%, tergantung konfigurasi yang dicantumkan Tencent.
Pada SWE-bench Pro, Hy4 mendapatkan 65,7%. Hasil tersebut sedikit lebih tinggi daripada DeepSeek V4 Pro 0813 sebesar 60,3%, GLM 5.3 sebesar 64,6%, dan Kimi K3 sebesar 63,3%.
Tetapi lagi-lagi Claude Opus 5 berada cukup jauh di depan dengan 79,2% atau 79,9%.
Dengan kata lain, Hy4 sudah kompetitif di software engineering, tetapi belum bisa disebut sebagai pemimpin mutlak.
Di Agentic Coding, Jaraknya Makin Tipis
Performa Hy4 menjadi lebih menarik ketika benchmark mulai menguji kemampuan model untuk melakukan pekerjaan secara lebih mandiri.
Pada DeepSWE, Hy4 memperoleh 64,3%.
Sebagai pembanding, DeepSeek V4 Pro berada di 62,7% atau 58,8%, Qwen 3.8 Max di 56,6% atau 55,6%, sementara GLM 5.3 berada di 66,9% atau 68,1%.
Kimi K3 mencatat 67,5% atau 74,0%, sedangkan GPT-5.6 Sol berada di 72,7% atau 68,9%.
Claude Opus 5 berada di 68,8% atau 74,7%.
Artinya, Hy4 belum mengalahkan model-model terbaik pada benchmark tersebut.
Namun perbedaannya sudah tidak lagi berada pada skala yang sangat jauh.
Yang lebih menarik, jika dibandingkan dengan generasi sebelumnya, peningkatannya sangat besar. Hy3 hanya mendapatkan 28%, sedangkan Hy4 melonjak menjadi 64,3%.
Terminal-Bench Menunjukkan Kekuatan Hy4
Pada Terminal-Bench 2.1, benchmark yang menguji kemampuan model menyelesaikan tugas melalui terminal, Hy4 mencatat 85,4%.
Angka ini cukup dekat dengan model-model frontier lain.
GPT-5.6 Sol tercatat di 88,8% atau 88,3%, GLM 5.3 di 88,2% atau 88,3%, Kimi K3 di 88,3% atau 85,7%, sementara Claude Opus 5 berada di 86,7% atau 85,4%.
DeepSeek V4 Pro juga mencatat 87,9% atau 80,3%.
Dengan hasil tersebut, Hy4 berada di kelompok yang sama dengan sejumlah model frontier pada tugas terminal.
Ini penting karena benchmark seperti ini lebih dekat dengan penggunaan coding agent dibandingkan sekadar mengukur kemampuan model menjawab pertanyaan.
Tetapi Untuk Matematika, GPT dan Claude Masih Jauh
Perbedaan yang lebih besar terlihat pada MathArena Apex 2025.
Hy4 memperoleh skor 74,2%.
DeepSeek V4 Pro berada di 66,3%, Qwen 3.8 Max di 72,8%, dan Kimi K3 di 68,4%.
Namun GPT-5.6 Sol mencatat 90%, sementara Claude Opus 5 berada di 91,4%.
Jarak ini menunjukkan bahwa kekuatan Hy4 tidak merata di semua jenis penalaran.
Model Tencent tersebut terlihat sangat kompetitif pada pekerjaan agentic dan software engineering, tetapi pada benchmark matematika yang lebih berat, model frontier tertentu masih memiliki keunggulan yang cukup besar.
GPQA Diamond: Hy4 Sudah Masuk Kelas Atas
Pada GPQA Diamond, benchmark yang dirancang untuk menguji kemampuan menjawab pertanyaan tingkat lanjut di bidang sains, Hy4 mencatat 92,3%.
DeepSeek V4 Pro berada di 92,8% atau 91,7%, Qwen 3.8 Max di 92,6% atau 92,2%, dan GLM 5.3 di 91,7% atau 91,4%.
Kimi K3 berada di 93,5% atau 92,8%.
GPT-5.6 Sol mencatat 94,1% atau 94,7%, sedangkan Claude Opus 5 berada di 93,7% atau 93,3%.
Jadi Hy4 memang belum berada di posisi teratas, tetapi selisihnya dengan beberapa model frontier relatif tipis.
Ini salah satu hasil yang paling menunjukkan bahwa Tencent tidak sekadar membuat model besar secara ukuran, tetapi berhasil membawa kemampuan reasoning Hy4 ke level yang kompetitif.
Pada Pekerjaan Dunia Nyata, Hasilnya Lebih Menarik
Salah satu benchmark yang menarik adalah GDPval-AA V2, yang menggunakan sistem penilaian Elo untuk pekerjaan yang lebih dekat dengan tugas profesional.
Hy4 mencatat 1.678 Elo.
Angka tersebut berada di bawah Qwen 3.8 Max yang mencatat 1.717, GLM 5.3 sebesar 1.763, GPT-5.6 Sol sebesar 1.711, dan Claude Opus 5 sebesar 1.831.
Namun Hy4 hampir sama dengan Kimi K3 yang berada di 1.675.
Dibandingkan Hy3, peningkatannya bahkan sangat besar.
Hy3 hanya mencatat 1.213 Elo, sementara Hy4 melonjak menjadi 1.678.
Ini menunjukkan bahwa peningkatan generasi Hy4 bukan sekadar menambah jumlah parameter.
Hy4 Juga Punya Keunggulan di Tool Use
Pada MCP-Atlas, yang menguji kemampuan model berinteraksi dengan berbagai tools melalui Model Context Protocol, Hy4 mencatat 83,7%.
Kimi K3 berada sedikit di atasnya dengan 84,2% atau 82,8%, sementara Claude Opus 5 mencatat 85,7%.
GPT-5.6 Sol berada di 82,5%.
Hasil tersebut kembali menunjukkan pola yang sama.
Hy4 bukan model yang selalu mendapatkan skor tertinggi, tetapi performanya cukup konsisten untuk masuk ke kelompok model frontier.
Kalau Semua Angka Disusun Berdampingan
Berikut beberapa benchmark utama yang dipublikasikan Tencent:
| Benchmark | Hy4 | GPT-5.6 Sol | Claude Opus 5 |
|---|---|---|---|
| SWE-bench Multilingual | 82,9% | 74,1% | 89,5/85,8% |
| SWE-bench Pro | 65,7% | 64,6/60,5% | 79,2/79,9% |
| DeepSWE | 64,3% | 72,7/68,9% | 68,8/74,7% |
| Terminal-Bench 2.1 | 85,4% | 88,8/88,3% | 86,7/85,4% |
| MCP-Atlas | 83,7% | 82,5% | 85,7% |
| GPQA Diamond | 92,3% | 94,1/94,7% | 93,7/93,3% |
| MathArena Apex 2025 | 74,2% | 90% | 91,4% |
| GDPval-AA V2 | 1.678 Elo | 1.711 Elo | 1.831 Elo |
Data di atas berasal dari tabel benchmark yang dipublikasikan pada model card Hy4 preview. Tencent menyatakan model-model pembanding dievaluasi pada reasoning setting tertinggi yang tersedia dan angka kompetitor diukur oleh Tencent sendiri. Karena itu, tabel ini sebaiknya dibaca sebagai perbandingan yang dipublikasikan Tencent, bukan sebagai leaderboard independen dengan metodologi yang sepenuhnya seragam.
Jadi, Apakah Hy4 Sudah Mengalahkan GPT dan Claude?
Belum.
Namun mengatakan Hy4 masih jauh di belakang juga tidak tepat.
Hasil benchmark menunjukkan Hy4 sudah dapat bersaing dengan model frontier pada sejumlah pekerjaan, khususnya software engineering, terminal tasks, agentic workflows, dan tool use.
Pada SWE-bench Multilingual, misalnya, Hy4 bahkan mencatat skor lebih tinggi daripada GPT-5.6 Sol dalam tabel Tencent.
Tetapi pada benchmark seperti MathArena Apex, GPT-5.6 Sol dan Claude Opus 5 masih memiliki keunggulan yang sangat besar. Pada GPQA Diamond pun Hy4 masih berada sedikit di bawah model-model teratas.
Jadi posisi Hy4 lebih tepat digambarkan sebagai model open-weight yang sudah masuk percakapan frontier, bukan sebagai model yang secara keseluruhan telah mengalahkan seluruh frontier model.
Yang Justru Menarik Adalah Harganya
Ada satu alasan lain mengapa benchmark Hy4 patut diperhatikan.
Tencent membuka bobot Hy4 preview di bawah Apache 2.0, dengan total 770 miliar parameter dan 49 miliar parameter aktif. Model tersebut juga mendukung context window hingga 1 juta token.
Artinya, developer tidak harus menggunakan Hy4 sebagai layanan API tertutup.
Model dapat dijalankan sendiri menggunakan stack seperti vLLM atau SGLang, meskipun kebutuhan hardware untuk model sebesar ini tentu bukan sesuatu yang ringan.
Di sinilah posisi Hy4 menjadi menarik.
Bukan karena Tencent berhasil membuat model yang mengalahkan semua model Amerika Serikat.
Melainkan karena sebuah model open-weight dari Tencent sekarang mampu mendapatkan skor yang cukup dekat dengan model frontier proprietary pada sejumlah pekerjaan penting.
Hy4 Menunjukkan Open Model Makin Dekat dengan Frontier
Hy4 preview memperlihatkan bahwa persaingan model AI semakin sulit dipisahkan antara open-weight dan proprietary.
Pada beberapa benchmark, model tertutup seperti GPT-5.6 Sol dan Claude Opus 5 masih unggul jelas.
Namun pada software engineering dan agentic workloads tertentu, Hy4 sudah berada di jarak yang relatif dekat dan bahkan dapat mengungguli beberapa model dalam benchmark tertentu.
Tencent sendiri menyebut Hy4 sebagai model generasi awal dan masih mencatat beberapa keterbatasan, termasuk kecenderungan menghabiskan waktu terlalu lama untuk reasoning serta terlalu sering melakukan verifikasi terhadap pekerjaannya sendiri.
Dengan kata lain, 770 miliar parameter bukan cerita utamanya.
Cerita sebenarnya adalah bahwa Hy4 menunjukkan bagaimana model open-weight kini semakin mampu mendekati frontier pada pekerjaan yang benar-benar digunakan developer: menulis kode, menjalankan tools, memahami repository, dan menyelesaikan tugas panjang.
Dan jika peningkatan Hy3 ke Hy4 saja sudah sebesar itu, pertanyaan berikutnya bukan lagi apakah model open-weight bisa mengejar frontier.
Pertanyaannya adalah seberapa cepat jaraknya akan semakin mengecil.
