Update Teknologi: OpenAI dan Broadcom mengumumkan chip yang dirancang untuk inferensi LLM dalam skal

Dari sisi perkembangan digital, openAI, perusahaan di balik ChatGPT dan Codex serta model yang digunakan alat-alat tersebut, dan Broadcom, pemasok silikon terkemuka, telah mengumumkan sebuah chip baru, yang disebut Jalapeño, yang dirancang khusus untuk inferensi model bahasa besar di pusat data. Selain itu, perusahaan bermaksud untuk menerapkan chip tersebut di pusat data besar dan mengklaim bahwa ini hanyalah generasi pertama dalam proyek jangka panjang yang akan melihat chip disempurnakan seiring berjalannya waktu. Lebih lanjut, broadcom mengatakan bahwa asic (sirkuit terpadu khusus aplikasi) ini dirancang dari awal untuk inferensi llm, berdasarkan “detail” wawasan” dari percakapan perusahaan dengan para peneliti di openai, dan bahwa pengembangan chip tersebut didasarkan pada peta jalan openai sendiri untuk model dan produk masa depan. Selain itu, desain dan produksi chip memakan waktu sembilan bulan. Janjinya adalah bahwa chip ini lebih dikhususkan untuk kebutuhan llm saat ini dibandingkan dengan sistem inferensi yang saat ini dijalankan di pusat data yang ada. OpenAI mengklaim bahwa “pengujian awal menunjukkan bahwa Jalapeño akan memberikan kinerja per watt jauh lebih baik daripada yang canggih saat ini,” tetapi mencatat bahwa pengukuran kinerja tidak dilakukan, dan bahwa “laporan teknis terperinci akan disajikan dalam beberapa bulan mendatang. Perusahaan, yang terkenal dengan layanan ChatGPT dan Codex dan memanfaatkan, berharap pada akhirnya memiliki keseluruhan model dan produknya, mengurangi ketergantungan pada perusahaan luar seperti Nvidia dan seolah-olah memberikan kinerja atau efisiensi yang lebih baik berkat integrasi vertikal. Secara umum, openai dan pesaingnya tertarik pada silikon khusus karena ini adalah cara lain untuk berpotensi memeras lebih banyak kapasitas di tengah krisis komputasi global, karena perusahaan pesaing berebut kapasitas pusat data yang terbatas meskipun broadcom sudah menjadi pembuat chip yang sukses bagi pelanggan yang membangun infrastruktur komputasi, baru-baru ini broadcom telah melihat pergerakan besar karena telah membangun bisnis baru seputar penyediaan chip khusus untuk hyperscaler dan tim yang membangun model terdepan selama booming ai saat ini

Perlu dicatat bahwa inovasi ini sejalan dengan transformasi digital yang sedang berlangsung di berbagai sektor.