Bangun pipeline untuk mendeteksi data drift, memicu retraining secara terukur, dan membuktikan model baru layak dideploy.
Skill yang dibangun
Mengukur data drift pada fitur tabular dengan baseline, metrik yang sesuai, dan interpretasi yang membedakan perubahan statistik dari bukti penurunan kualitas prediksi.
Merancang aturan intervensi berbasis threshold, kombinasi sinyal, dan ketersediaan label sambil menilai risiko false positive, false negative, serta retraining yang tidak perlu.
Mengotomatisasi alur retraining yang reproducible dengan versioning data dan model, validasi kandidat, quality gate, serta strategi rollback ketika kandidat gagal memenuhi kriteria.
Menyediakan bukti teknis untuk deployment model melalui laporan evaluasi, metadata eksperimen, log keputusan, pengujian pipeline, dan pemeriksaan failure mode seperti data kosong, schema berubah, atau proses berjalan bersamaan.
Data scientist, machine learning engineer, dan programmer yang telah menguasai Python, pengolahan data tabular dengan pandas, konsep supervised learning, evaluasi model, Git, serta dasar penggunaan API atau container. Kursus ini ditujukan bagi peserta yang sudah dapat melatih model, tetapi membutuhkan kompetensi praktis untuk menjaga kualitas model setelah deployment: mendeteksi data drift, menetapkan aturan intervensi, mengotomatisasi retraining secara aman, dan menyediakan bukti teknis bahwa perubahan model telah diuji sebelum digunakan.
Project outcomes
Peserta akan membangun mini-sistem monitoring dan retraining untuk model klasifikasi berbasis data tabular. Sistem ini menerima batch data baru, memeriksa schema dan kualitas data, membandingkan distribusinya dengan baseline, menghasilkan laporan drift, lalu memutuskan apakah retraining perlu dijalankan. Kandidat model dilatih menggunakan data berversi, diuji pada skenario evaluasi yang konsisten, dan hanya dipromosikan jika melewati quality gate. Pipeline juga menghasilkan artefak yang dapat ditinjau, termasuk metrik, konfigurasi threshold, versi dataset, versi model, dan alasan keputusan.
Model machine learning dapat terus menghasilkan prediksi meskipun karakteristik data produksi telah berubah. Perubahan ini dapat menurunkan kualitas prediksi secara perlahan, sulit terlihat dari error aplikasi, dan berisiko memicu retraining yang tidak perlu atau justru terlambat. Kursus ini membangun model mental tentang hubungan antara data drift, perubahan performa, aturan intervensi, dan risiko operasional.
Peserta akan merancang sistem monitoring untuk fitur dan target, memilih metrik serta baseline yang sesuai, lalu menguji bagaimana threshold drift memengaruhi keputusan engineering. Pembahasan mencakup keterbatasan ketika label aktual belum tersedia, perbedaan antara sinyal statistik dan bukti penurunan performa, serta trade-off antara sensitivitas deteksi, biaya komputasi, dan jumlah false alarm.
Proyek kursus menggunakan pipeline Python yang mencatat versi data dan model, mengevaluasi kandidat retraining melalui validasi yang dapat diulang, serta menerapkan quality gate sebelum model baru dipromosikan. Setiap keputusan menghasilkan artefak teknis seperti laporan drift, metrik evaluasi, metadata eksperimen, dan log keputusan sehingga perubahan model dapat diaudit dan ditelusuri.
Bangun pipeline Python untuk menemukan aspek produk dan mengukur sentimen dari ulasan berbahasa Indonesia.
Bangun pipeline ekstraksi entitas dan relasi dari teks Bahasa Indonesia, lalu evaluasi hasilnya sebagai knowledge graph yang terukur.
Bangun alur Python untuk mengekstrak tabel dari PDF operasional, memvalidasi hasilnya, lalu menyimpannya sebagai CSV siap analisis.
Bangun pipeline synthetic data tabular yang dapat diuji dari sisi privasi, kualitas statistik, dan dampaknya terhadap performa model.