Lebih kecil tidak otomatis lebih pendek
Kosakata khusus bahasa Indonesia berukuran 3.500 token menghasilkan segmen rata-rata 3,67 karakter pada korpus Wikipedia Indonesia. GPT-2, dengan 50.257 token, berada pada 2,72 karakter.
Efisiensi Rényi pada korpus yang sama tercatat 0,74 untuk TOBA, 0,64 untuk plain BPE, 0,50 untuk GPT-2, dan 0,49 untuk BERT.
Angka ini menunjukkan perilaku tokenizer pada korpus Indonesia. Ia belum membuktikan bahwa model otomatis lebih akurat, lebih cepat pada setiap perangkat, atau unggul untuk bahasa lain dan kode.
Dua tahap, dua jenis keputusan
TOBA mengawali proses dengan batas suku kata ortografis bahasa Indonesia. BPE—penggabungan pasangan unit yang sering muncul—kemudian membentuk potongan lebih besar. Istilah asing atau bentuk yang tidak dikenali tetap dapat turun ke karakter Unicode sebagai mekanisme cadangan.
Makna gramatikal dibentuk dengan menempelkan afiks pada kata dasar, seperti tanggung menjadi mempertanggungjawabkan. Batas internal kata menjadi informasi yang layak dipertahankan saat tokenisasi.
- Masukanmembaca
- Aturan suku katamem · ba · ca
- Penggabungan BPEmemba · ca
Dua lapis bukti perlu dibaca terpisah
Metrik intrinsik mengukur hasil pemotongan teks. Evaluasi ekstrinsik menilai respons chatbot 1,5 miliar parameter. Keduanya berkaitan, tetapi yang satu tidak menjamin yang lain.
Metrik tokenisasi bahasa Indonesia
Nilai dan catatan berasal dari evaluasi yang dilaporkan dalam paper.
Geser tabel untuk melihat semua metrik.
| Tokenizer | Ukuran vocab | Panjang token | Efisiensi Rényi | Catatan |
|---|---|---|---|---|
| TOBA (Suku Kata + BPE) | 3.500 | 3,67 | 0,74 | Menggabungkan aturan suku kata GASING dan BPE; nilai tertinggi pada dua metrik intrinsik ini. |
| Plain BPE | 3.500 | 3,55 | 0,64 | Tokenizer BPE murni tanpa memanfaatkan segmentasi suku kata. |
| Pre-Trained BERT (WordPiece) | 30.522 | 3,48 | 0,49 | Model multibahasa. Efisiensi Rényi paling rendah. |
| Pre-Trained GPT-2 (BPE) | 50.257 | 2,72 | 0,50 | Vocab sangat besar tapi rata-rata panjang token sangat pendek. |
Efisiensi tokenizer bukan kualitas model
Segmentasi suku kata memberi BPE titik awal yang sesuai dengan pola ortografis Indonesia. Pada data ini, pilihan tersebut berkaitan dengan token yang lebih panjang dan distribusi penggunaan token yang lebih merata meski kosakatanya kecil.
Evaluasi chatbot menambahkan sinyal berbeda: TOBA-LM 1,5B memperoleh nilai tinggi untuk kewajaran bahasa kasual, tetapi tertinggal pada kelengkapan informasi. Hasil ini lebih tepat dibaca sebagai spesialisasi gaya dan lokalitas, bukan kemenangan umum atas model yang jauh lebih besar.
Desain tokenizer tampak efisien untuk bahasa Indonesia. Pengaruh kausalnya terhadap kualitas model masih perlu dipisahkan dari data latih, arsitektur, parameter, prompt, dan evaluator.
Yang belum dijawab data ini
- Performa pada bahasa Inggris, bahasa daerah lain, dan kode belum dapat disimpulkan dari metrik Wikipedia Indonesia.
- Penghematan komputasi perlu diuji sebagai waktu latensi, memori, dan energi pada perangkat yang sama.
- Skor chatbot bergantung pada set prompt dan evaluator; adjudikasi manusia masih diperlukan.
- Perbandingan model dengan skala parameter berbeda tidak mengisolasi efek tokenizer.
Sumber dan asal bukti
- Hokky Situngkir, Andhika Bernard Lumbantobing, dan Yohanes Surya. Syllabic Agglutinative Tokenizations for Indonesian LLM: A Study from “Gasing Literacy Learning System”.
- Model dan tokenizer tersedia di Hugging Face ai-toba.