Bagaimana Kami Membuat Subtitle Sakurazaka46
Sebagai penggemar Sakurazaka46, kami ingin membantu para Buddies Indonesia menikmati setiap momen — mulai dari dialog cepat di variety show, celetukan spontan para member, drama emosional di balik layar, hingga penampilan panggung live.
Menerjemahkan video berdurasi panjang secara manual dari nol membutuhkan waktu berhari-hari per episode. Karena itulah lahir proyek SubtitledByAI: sebuah pipeline otomatisasi kecerdasan buatan untuk mentranskripsi audio percakapan bahasa Jepang dan menerjemahkannya secara kontekstual ke Bahasa Indonesia dengan standar timing presisi fansub.
Riwayat & Evolusi Pipeline
Versi pertama dieksekusi seutuhnya pada komputer lokal (Python script). Transkripsi audio Jepang menggunakan Whisper API dari OpenAI, lalu hasil teks transkrip diterjemahkan ke Bahasa Indonesia dengan model GPT-4o. Cukup untuk pembuktian konsep awal, namun rentan pada dialog cepat dan keterbatasan hardware lokal.
Arsitektur pipeline dipindahkan ke Google Colab. Perubahan ini memungkinkan proses pembuatan subtitle dijalankan secara fleksibel melalui perangkat mobile tanpa perlu menyalakan komputer rumah. Akurasi hasil tetap setara dengan v1.0.
Masih berada di lingkungan Colab, namun transkripsi beralih dari Whisper API berbayar ke model open-source kotoba-whisper-v2.0 yang di-host langsung pada GPU Colab (bebas biaya komputasi). Kualitas pengenalan istilah Jepang meningkat signifikan sementara pengeluaran API terpangkas drastis hanya untuk tahap terjemahan GPT-4o.
Generasi ini merupakan perombakan arsitektur menyeluruh. Kami meniadakan Whisper standar dan beralih ke Gemini 2.5 Pro via Google AI Studio Files API dengan input audio langsung.
Tidak seperti Whisper yang hanya memproses gelombang suara menjadi teks literal, Gemini mampu mendengar secara kontekstual. Model dapat mengenali pergantian antar-pembicara (speaker diarization), memahami intonasi bercanda atau sarkasme khas variety show, mendeteksi sound effect latar (BGM / tebeng SFX), dan membedakan kata-kata homofon bahasa Jepang yang serupa dari nada suaranya.
Tahapan Alur Kerja SubtitledByAI v3.0
Ingestion Media & Ekstraksi Audio
Pengunduhan otomatis melalui yt-dlp dari tautan YouTube atau input berkas lokal video RAW episode.
Normalisasi & Silencedetect Chunking
FFmpeg mendeteksi hening suara alami untuk memecah audio menjadi chunk-chunk logis tanpa memotong kalimat di tengah pembicaraan.
Transkripsi Multimodal (Gemini 2.5 Pro)
Chunk audio diproses melalui Files API. Gemini menghasilkan transkripsi Jepang akurat beserta timestamp per baris ucapan dan indikasi pembicara.
Merge Deterministik & Deduplikasi
Seluruh chunk digabungkan kembali dengan algoritma fuzzy matching untuk mengeliminasi tumpang-tindih kalimat pada batas segmen.
Translasi Batch JSON & Penyesuaian Budaya Idol
Teks diterjemahkan dalam batch ≤100 ujaran menggunakan Claude 3.5 Sonnet / Gemini Flash dengan kamus khusus istilah Sakurazaka46 dan checkpoint berkala.
Post-Processing Durasi & Kontrol CPS
Koreksi otomatis batas durasi tayang subtitle (0.7 detik s/d 7.5 detik), perapatan jeda mikro, serta deteksi Characters Per Second (CPS > 25) untuk audit manual.
Ekspor Rilis Subtitle (.ass & .srt)
Kompilasi berkas styling khas HikaLeon (.ass dengan font & outline) dan .srt standar, disertai arsip JSON transkrip mentah.
Benchmark Kualitas & Akurasi
Evaluasi Komparasi: Pada model generasi Whisper tradisional (v1–v2.5), ketika beberapa member Sakurazaka46 berbicara bersamaan atau tertawa, teks transkripsi sering kehilangan timing dan memicu desinkronisasi.
Pada v3.0, kemampuan multimodal Gemini menerima spektrum audio biner secara penuh, memungkinkan pemahaman intonasi dengan batas deviasi timing rata-rata di bawah 0.5 detik.
Estimasi Biaya API per Episode (~30 Menit)
Gemini memiliki batasan free tier harian yang hanya mencukupi ~1 episode per hari. Untuk merilis beragam show (Sokomagattara, Chokosaku, Sakura Meets, Documentary) secara serentak tanpa antrean panjang, token API berbayar harus digunakan. Dukungan dari para penikmat fansub melalui Trakteer sepenuhnya disalurkan untuk pembiayaan token ini.
Keterbukaan & Kode Sumber
Kami percaya pada transparansi proses pembuatan subtitle. Kamu dapat meninjau kode script maupun notebook yang kami gunakan secara terbuka melalui tautan berikut:
WhisperAI-subs Repo
Kode sumber implementasi pipeline awal berbasis Python & Whisper API.
Google Colab Notebook
Notebook Google Colab siap pakai dengan akselerasi GPU.
Ingin mengetahui sistem rilis dan donasi?
Kunjungi halaman Tentang untuk melihat sistem tier supporter Trakteer.