Tensor Core, Triton, jaringan residual, dan vision transformer
Antara 2015 hingga kini, deep learning berkembang dari kode GPU C++ yang disetel manual dan jaringan konvolusional menjadi mesin matriks berakselerasi perangkat keras dan arsitektur Transformer. Tiga tonggak ini menentukan bagaimana model AI modern direkayasa dan diskalakan.
1. Evolusi CUDA Modern: Tensor Core dan OpenAI Triton
Pada 2012, Alex Krizhevsky menulis CUDA C++ tingkat rendah (cuda-convnet) untuk menghitung operasi floating-point satu per satu di core CUDA standar. Kini, deep learning bergantung pada perangkat keras matriks khusus dan compiler tingkat tinggi.
- Dari CUDA Core ke Tensor Core. CUDA core tradisional melakukan satu perkalian dan penjumlahan skalar per siklus clock. Mulai dari arsitektur Volta (2017), NVIDIA memperkenalkan Tensor Core, yang mengalikan seluruh matriks kecil (seperti blok 4×4 atau 16×16) dalam satu siklus clock. Tensor Core modern memakai format presisi campuran seperti FP16, BF16, dan FP8, yang memberi percepatan berorde besaran untuk perkalian matriks.
- cuDNN dan Pemilihan Kernel Otomatis. Alih-alih peneliti menulis konvolusi C++ khusus, pustaka cuDNN milik NVIDIA kini berisi ratusan kernel assembly yang sudah dikompilasi. Saat runtime, framework seperti PyTorch menguji berbagai algoritma untuk bentuk tensor Anda yang persis dan otomatis memilih rutin Tensor Core tercepat.
- OpenAI Triton (Pemrograman GPU Berbasis Python). Menulis CUDA C++ mentah mengharuskan pengelolaan manual indeks thread, bank conflict pada shared memory, dan sinkronisasi warp. Dirilis oleh OpenAI, Triton memungkinkan peneliti menulis kernel GPU berkinerja tinggi langsung di Python. Anda mendefinisikan operasi di tingkat blok (tile data), dan compiler Triton secara otomatis menangani memory coalescing, shared memory tiling, dan penjadwalan Tensor Core, sering kali menyamai atau mengungguli CUDA C++ yang disetel manual.
2. Skip Connection ResNet dan Aliran Backpropagation
Sebelum ResNet (2015), menumpuk lebih dari ~20 lapisan konvolusional membuat galat pelatihan melonjak. Saat gradien merambat mundur melalui puluhan langkah perkalian, nilainya menyusut mendekati nol (vanishing gradient) atau menjadi tidak stabil.
- Mempelajari Residual, Bukan Keluaran Mentah. Pada blok jaringan standar, lapisan-lapisan bertumpuk mencoba mempelajari pemetaan langsung H(x) dari masukan x. ResNet memperkenalkan skip connection (pintasan identitas) yang menambahkan masukan asli x langsung ke keluaran blok:
y=F(x)+x
Di sini, F(x) mewakili lapisan konvolusional yang bertumpuk. Alih-alih membangun ulang seluruh representasi dari nol, lapisan hanya perlu mempelajari residual (penyesuaian kecil F(x) = y - x). Jika suatu lapisan tidak diperlukan, jaringan dapat dengan mudah mendorong F(x) ke arah nol, menyisakan jalur identitas yang bersih.
- Jalur Gradien Tanpa Hambatan. Selama backpropagation, aturan rantai menghitung gradien loss (L) terhadap masukan x:
(∂ L)/(∂ x)=(∂ L)/(∂ y)((∂ F(x))/(∂ x)+1)
Karena adanya suku + 1 yang dibuat oleh pintasan identitas, gradien hulu ((∂ L)/(∂ y)) mengalir langsung mundur ke lapisan-lapisan awal tanpa dikecilkan oleh matriks bobot kecil dalam (∂ F(x))/(∂ x). Ini memungkinkan gradien merambat dengan bersih melalui 100+ bahkan 1.000+ lapisan.
3. Peralihan dari CNN ke Vision Transformer (ViT)
Selama hampir satu dekade setelah AlexNet, Convolutional Neural Network (CNN) mendominasi computer vision dengan menggeser filter lokal kecil di atas gambar. Pada 2020, Google memperkenalkan Vision Transformer (ViT), yang mengadaptasi arsitektur Transformer dari pemrosesan bahasa alami ke gambar.
| Fitur | Convolutional Neural Network (CNN) | Vision Transformer (ViT) |
|---|---|---|
| Pemrosesan Input | Memproses seluruh grid gambar 2D menggunakan filter geser (mis. 3×3). | Membagi gambar menjadi patch berukuran tetap (mis. 16×16 piksel) dan meratakannya menjadi urutan token. |
| Receptive Field | Lokal dulu. Lapisan awal hanya melihat piksel tetangga; konteks global terbentuk perlahan di lapisan yang dalam. | Global sejak awal. Self-attention menghubungkan setiap patch gambar dengan setiap patch lainnya sejak Lapisan 1. |
| Inductive Bias | Tinggi. Asumsi bawaan tentang invariansi translasi dan kelokalan spasial 2D membantu CNN belajar dengan baik pada dataset yang lebih kecil. | Rendah. Tidak memiliki aturan spasial 2D bawaan (mengandalkan positional embedding), sehingga membutuhkan dataset sangat besar untuk mempelajari struktur visual. |
| Penskalaan Perangkat Keras | Mengandalkan kernel konvolusi khusus dan pola akses memori yang kompleks. | Hampir sepenuhnya mengandalkan perkalian matriks padat (GEMM), yang memenuhi kapasitas Tensor Core GPU modern dengan efisiensi maksimum. |
- Mengapa ViT Mengambil Alih AI Modern. Meskipun CNN tetap efisien untuk perangkat seluler dan edge yang ringan, Vision Transformer berskala jauh lebih baik ketika dilatih dengan ratusan juta gambar. Selain itu, karena ViT merepresentasikan gambar sebagai urutan token, format yang persis sama dengan yang dipakai untuk teks dan audio, ViT memungkinkan model AI multimodal modern (seperti GPT-4o dan Gemini) memproses penglihatan dan bahasa dalam satu arsitektur terpadu.