Xiaomi Pecahkan Rekor AI: 1.000 Token/detik dengan MiMo-V2.5-Pro!

Selama ini, Xiaomi dikenal sebagai raksasa smartphone dan produsen skuter listrik. Tapi hari ini, perusahaan asal Tiongkok itu mengguncang dunia kecerdasan buatan (AI) dengan pencapaian yang nyaris mustahil: inferensi model AI berparameter 1 triliun dengan kecepatan lebih dari 1.000 token per detik dan semua itu dijalankan hanya dengan server komoditas 8-GPU standar, tanpa chip khusus atau infrastruktur eksotis.

Bekerja sama dengan mitra inferensi TileRT, Xiaomi meluncurkan MiMo-V2.5-Pro, versi terbaru dari keluarga model besar MiMo (Mi Mixture-of-experts). Dalam demo internal, model ini mencapai puncak 1.200 token per detik, menjadikannya model pertama di dunia yang menembus ambang 1.000 token/detik pada skala triliunan parameter tanpa bergantung pada perangkat keras proprietary seperti Google TPU atau NVIDIA Blackwell khusus.

Pencapaian ini bukan sekadar angka impresif ia membuka pintu bagi aplikasi AI real-time yang sebelumnya dianggap tidak layak secara teknis atau ekonomis.

Artikel ini mengupas tuntas bagaimana Xiaomi melakukannya, mengapa kecepatan ini revolusioner, siapa yang bisa mencobanya, dan apa implikasinya bagi masa depan AI global.

Mengapa 1.000 Token per Detik Itu Revolusioner?

Untuk memahami signifikansi angka ini, bandingkan dengan model AI terkemuka saat ini:

• Claude Opus 4.6: ~71 token/detik
• Claude Haiku: ~98 token/detik
• Gemini Flash: ~192 token/detik

Sementara itu, MiMo-V2.5-Pro dalam mode UltraSpeed berjalan di atas 1.000 token/detik artinya 5 hingga 14 kali lebih cepat dari pesaing terdekat.

Kecepatan ini bukan hanya soal “respons lebih cepat”. Ia mengubah kelayakan teknis dari seluruh kelas aplikasi AI:

• Deteksi penipuan real-time dalam transaksi keuangan
• Sinyal perdagangan otomatis berbasis analisis pasar mikrodetik
• Rantai penalaran paralel untuk simulasi kompleks
• Loop multi-agent AI yang berinteraksi dalam waktu nyata

Semua kasus ini memiliki batas latensi keras biasanya di bawah 100 milidetik. Dengan kecepatan 70 token/detik, sistem tidak mampu menyelesaikan tugas dalam jendela waktu tersebut. Tapi dengan 1.000+ token/detik, batas itu akhirnya bisa dilewati.

Rahasia di Balik Kecepatan: Tiga Lapisan Inovasi Teknis

Xiaomi dan TileRT tidak mencapai angka ini dengan satu trik ajaib, melainkan tiga lapisan optimasi yang saling melengkapi:

1. FP4 Quantization pada Expert Layers

• Model MiMo-V2.5-Pro menggunakan arsitektur Mixture of Experts (MoE).
• Xiaomi menerapkan kuantisasi FP4 (4-bit floating point) hanya pada expert layers, bukan seluruh model.
• Teknik ini dipadukan dengan Quantization-Aware Training (QAT), sehingga kemampuan model tetap terjaga meski presisi dikurangi.

Hasil: ukuran model turun drastis, beban memori berkurang, tanpa kehilangan akurasi signifikan.

2. DFlash Speculative Decoding

• DFlash adalah teknik speculative decoding yang memprediksi blok token utuh dalam satu forward pass.
• Dalam tugas pemrograman, sistem mencapai rata-rata panjang penerimaan 6,30 token per prediksi jauh di atas metode konvensional.

Ini mengurangi jumlah iterasi inferensi, mempercepat output secara eksponensial.

3. TileRT Persistent-Core GPU Runtime

• TileRT mengembangkan runtime GPU khusus yang menggunakan inti persisten (persistent cores) dan pipa heterogen.
• Arsitektur ini menghilangkan overhead switching operator, memastikan GPU bekerja pada kapasitas penuh sepanjang waktu.
• Tidak ada idle cycle setiap siklus komputasi dimanfaatkan.

Yang mengejutkan: semua ini berjalan di server 8-GPU standar (kemungkinan besar NVIDIA A100/H100), tanpa ASIC, FPGA, atau chip khusus AI. Artinya, infrastruktur yang sudah dimiliki banyak perusahaan cukup untuk menjalankannya.

UltraSpeed API: 10x Lebih Cepat, Tapi 3x Lebih Mahal

Xiaomi menawarkan akses ke kecepatan ini melalui UltraSpeed API, dengan ketentuan:

• Harga: 3 kali lipat dari tarif standar MiMo-V2.5-Pro
• Kecepatan: ~10 kali lipat output per detik

Efisiensi biaya: Meski lebih mahal per permintaan, biaya per token justru lebih rendah karena throughput jauh lebih tinggi.

Bagi perusahaan yang mengandalkan volume inferensi tinggi, ini bisa berarti penghematan operasional signifikan terutama jika latensi adalah penghalang utama.

Uji Coba Terbatas: 9–23 Juni 2026

Xiaomi membuka uji coba terbatas mulai 9 hingga 23 Juni 2026, dengan syarat ketat:

• Akses berbasis aplikasi (bukan terbuka untuk umum)
• Prioritas untuk perusahaan dan pengembang profesional
• Fitur gratis: 2 minggu akses Chat dengan batasan:
  
  • Maksimal 10 antrian per akun/hari
  • Sesi maksimal 30 menit
  • Sesi otomatis berakhir setelah 5 menit idle
• Tidak mendukung TokenPlan hanya akses API trial

Tujuan uji coba ini jelas: mengumpulkan umpan balik dari pengguna enterprise sebelum peluncuran komersial penuh.

Transparansi: Checkpoint Open-Source Dirilis

Untuk membangun kepercayaan, Xiaomi merilis:

• MiMo-V2.5-Pro-FP4-DFlash checkpoint di Hugging Face
• Modul TileRT tertentu di GitHub

Langkah ini memungkinkan komunitas AI memverifikasi klaim kecepatan secara independen sesuatu yang jarang dilakukan oleh perusahaan besar dalam tahap awal.

Jika hasil replikasi pihak ketiga mengonfirmasi angka 1.000+ token/detik, maka Xiaomi tidak hanya menciptakan rekor tapi juga menetapkan standar baru untuk efisiensi inferensi AI.

Implikasi Strategis: Xiaomi Bukan Lagi Hanya Produsen Gadget

Dengan MiMo-V2.5-Pro, Xiaomi menegaskan dirinya sebagai pemain serius di ranah AI infrastruktur. Ini sejalan dengan strategi jangka panjang mereka:

• Meluncurkan Mi Chat, asisten AI sendiri
• Memperkenalkan TokenPlan pricing mulai 39 yuan
• Mengintegrasikan AI ke seluruh ekosistem: smartphone, IoT, mobil listrik, dan cloud

Jika Xiaomi bisa mempertahankan keunggulan ini, mereka berpotensi menjadi penyedia AI alternatif yang menyaingi OpenAI, Anthropic, dan Google terutama di pasar Asia dan negara berkembang yang mengandalkan infrastruktur GPU standar.

Kesimpulan: Era Baru Inferensi AI Telah Dimulai

Xiaomi tidak hanya memecahkan rekor mereka mendemokratisasikan inferensi AI ultra-cepat. Dengan membuktikan bahwa kecepatan 1.000+ token/detik bisa dicapai tanpa chip khusus, mereka membuka jalan bagi ribuan perusahaan untuk mengadopsi model triliunan parameter tanpa investasi modal besar.

Dalam dunia AI, latensi adalah musuh utama inovasi. Dan hari ini, Xiaomi mengambil langkah raksasa untuk mengalahkannya.

Yang tersisa sekarang hanyalah satu pertanyaan:

Apakah dunia siap untuk AI yang berpikir secepat manusia atau bahkan lebih cepat?