Sistem Cerebras, pembuat chip terbesar di dunia (terbuka di tab baru)telah mengungkap arsitektur baru yang mampu mendukung model AI yang melebihi otak manusia.
Model AI terbesar saat ini (seperti Switch Transformer dari Google) dibangun di sekitar 1 triliun parameter, yang menurut Cerebras dapat dibandingkan secara longgar dengan sinapsis di otak, yang jumlahnya 100 triliun.
Dengan memanfaatkan kombinasi teknologi (dan dengan bantuan Wafer-Scale Engine 2 (WSE-2), chip terbesar di dunia), Cerebras kini telah menciptakan sistem tunggal (terbuka di tab baru) mampu mendukung model AI dengan lebih dari 120 triliun parameter.
Kecerdasan buatan skala otak
Saat ini, model AI terbesar ditenagai oleh kumpulan GPU, yang meskipun cukup cocok untuk beban kerja AI, dirancang terutama untuk kebutuhan video game. Cerebras telah memilih pendekatan yang berbeda, mengembangkan chip individu besar yang dirancang khusus untuk AI.
Satu chip WSE-2 seukuran wafer, lebar 21cm, dan dikemas dengan 2,6 triliun transistor dan 850.000 core yang dioptimalkan AI. Sebagai perbandingan, GPU terbesar berukuran di bawah 3cm dan hanya memiliki 54 miliar transistor dan inti 123x lebih sedikit.
Dengan menggabungkan banyak sistem CS-2 (mesin yang ditenagai oleh WSE-2) menggunakan teknologi interkoneksi terbaru perusahaan, Cerebras dapat mendukung jaringan AI yang lebih besar, berkali-kali lipat skala otak.
“Hari ini, Cerebras memajukan industri dengan meningkatkan ukuran jaringan terbesar sebanyak 100 kali lipat,” kata Andrew Feldman, CEO Cerebras. “Industri bergerak melewati 1 triliun model parameter, dan kami memperluas batas itu dengan dua urutan besarnya, memungkinkan jaringan saraf berskala otak dengan 120 triliun parameter.”
Rick Stevens, Associate Director di Argonne National Laboratory, memperluas hubungan antara kinerja dan volume parameter, dan peluang yang dapat dibuka oleh sistem Cerebras yang baru.
“Beberapa tahun terakhir telah menunjukkan kepada kita bahwa, untuk model pemrosesan bahasa alami (NLP), skala wawasan langsung dengan parameter – semakin banyak parameter, semakin baik hasilnya,” katanya.
“Penemuan Cerebras, yang akan memberikan peningkatan kapasitas parameter 100x, mungkin memiliki potensi untuk mengubah industri. Untuk pertama kalinya, kami akan dapat menjelajahi model seukuran otak, membuka jalan penelitian dan wawasan baru yang luas.”
Teknologi baru
Meskipun WSE-2 memainkan peran mendasar, sistem klaster CS-2 yang baru tidak akan mungkin terjadi tanpa segelintir teknologi tambahan baru: Weight Streaming, Memory X, SwarmX, dan Selectable Sparsity.
Weight Streaming digambarkan sebagai arsitektur eksekusi perangkat lunak dan secara efektif meningkatkan kekuatan pemrosesan potensial chip WSE-2 dengan memisahkan memori dan komputasi. Ini menawarkan kemampuan untuk menyimpan parameter off-chip, membebaskan kapasitas WSE-2 tanpa menimbulkan masalah latensi dan bandwidth yang biasanya menimpa sistem cluster.
Parameter ini disimpan dalam kabinet MemoryX eksternal, yang memperluas memori SRAM on-chip 40GB dengan memori tambahan hingga 2,4PB yang – berkat struktur interkoneksi SwarmX yang baru – berperilaku seolah-olah berada di dalam chip.
Menurut Cerebras, SwarmX memungkinkan kelompok CS-2 mencapai penskalaan kinerja yang hampir linier (yaitu kelompok yang terdiri dari 10 mesin akan memberikan kinerja 10x lebih besar daripada satu CS-2) dan dapat digunakan untuk menghubungkan hingga 192 sistem, memungkinkan kelompok sebanyak 163 juta inti yang dioptimalkan AI.
Bagian terakhir dari teka-teki ini adalah Selectable Sparsity, jenis algoritme baru yang dikatakan membantu CS-2 menghasilkan jawaban lebih cepat dengan memangkas jumlah pekerjaan komputasi yang diperlukan untuk mencapai solusi.
“Kombinasi teknologi ini akan memungkinkan pengguna untuk membuka kunci jaringan saraf skala otak dan mendistribusikan pekerjaan melalui kelompok besar inti yang dioptimalkan AI dengan kemudahan menekan tombol. Dengan ini, Cerebras menetapkan tolok ukur baru dalam ukuran model, menghitung cluster horsepower, dan kesederhanaan pemrograman,” kata Cerebras.
Sementara kumpulan organisasi yang saat ini mampu menggunakan sistem AI skala otak terbatas, Cerebras telah meletakkan dasar untuk lompatan monumental dalam cakupan dan potensi model AI yang dapat membuka peluang di luar bidang imajinasi saat ini.
