Adopsi CUDA: dari eksperimen GPU awal hingga terobosan AlexNet

Para peneliti AI mulai menyadari keunggulan kinerja CUDA yang besar untuk jaringan neural antara tahun 2006 dan 2009, dengan terobosan arus utama yang definitif terjadi pada 2012. Sebelum pergeseran ini, jaringan neural secara luas dipandang terlalu lambat dan terlalu mahal secara komputasi untuk praktis.

Tonggak Penting dalam Adopsi CUDA

• 2006 (Rilis CUDA): NVIDIA meluncurkan CUDA, memungkinkan peneliti memprogram GPU menggunakan C/C++ standar alih-alih shader grafis yang rumit (seperti OpenGL).

• 2007–2008 (Eksperimen Jaringan Neural Awal): Para pengguna awal mulai memindahkan algoritma jaringan neural ke CUDA. Pada 2008, peneliti Rajat Raina dan tim Andrew Ng di Stanford menunjukkan bahwa GPU yang menjalankan CUDA dapat melatih deep belief network hingga 70 kali lebih cepat daripada CPU multi-core.

• 2009–2010 (Benchmark Pemecah Rekor): Laboratorium Jürgen Schmidhuber (termasuk Dan Cireșan) menggunakan GPU berakselerasi CUDA untuk melatih jaringan neural dalam yang memecahkan rekor pengenalan tulisan tangan (MNIST), membuktikan bahwa jaringan yang lebih dalam dapat dilatih tanpa superkomputer khusus.

• 2012 (Titik Balik AlexNet): Momen penentu terjadi di kompetisi ImageNet. Alex Krizhevsky, Ilya Sutskever, dan Geoffrey Hinton menggunakan kernel CUDA kustom pada dua GPU NVIDIA GTX 580 untuk melatih AlexNet, memangkas tingkat kesalahan klasifikasi gambar hampir setengahnya dibandingkan metode tradisional. Kemenangan ini memicu revolusi deep learning modern.

• 2014 (cuDNN Diluncurkan): Menyusul ledakan AlexNet, NVIDIA merilis cuDNN (pustaka CUDA Deep Neural Network), memberi setiap peneliti AI blok pembangun GPU yang optimal dan siap pakai untuk kerangka kerja seperti Caffe, Theano, TensorFlow, dan PyTorch.

Mengapa Ini Mengubah Segalanya

Sebelum CUDA, melatih jaringan neural berukuran sedang di CPU memakan waktu berminggu-minggu atau berbulan-bulan, membuat penelitian coba-coba hampir mustahil. CUDA memangkas waktu pelatihan itu menjadi hitungan hari atau jam, memungkinkan peneliti memperbesar dataset, menumpuk lebih banyak lapisan, dan menemukan arsitektur modern seperti Transformer dan large language model.