Rancang contextual bandit untuk personalisasi, ukur risiko, dan evaluasi kebijakan baru dari data historis secara counterfactual.
Skill yang dibangun
Memformulasikan masalah personalisasi sebagai contextual bandit dengan konteks, himpunan aksi, reward, policy, dan logging policy yang eksplisit.
Mengimplementasikan strategi eksplorasi dan kebijakan berbasis model sambil mengukur dampaknya terhadap reward, coverage aksi, dan risiko operasional.
Menghitung serta menginterpretasikan inverse propensity scoring dan doubly robust estimation, termasuk memeriksa overlap, clipping, bias, dan varians.
Menguji policy service melalui simulasi dan data historis, lalu menetapkan guardrail, skema logging, serta kriteria keputusan sebelum eksperimen online.
Data scientist, machine learning engineer, peneliti terapan, dan programmer yang telah menguasai Python, NumPy atau pandas, konsep supervised learning, probabilitas dasar, aljabar linear, evaluasi model, serta pengembangan API sederhana. Peserta membutuhkan kemampuan untuk merancang sistem pengambilan keputusan adaptif dan menilai dampaknya dari data historis, bukan sekadar melatih model prediksi statis.
Project outcomes
Peserta membangun prototipe layanan personalisasi yang memilih rekomendasi berdasarkan konteks pengguna, mencatat aksi, reward, dan propensity score, lalu menyediakan evaluasi offline untuk membandingkan kebijakan kandidat dengan kebijakan historis. Proyek dilengkapi simulasi untuk menguji eksplorasi, pemeriksaan overlap dan distribusi, clipping propensity, serta guardrail yang mencegah keputusan berisiko ketika keyakinan model rendah atau data berada di luar cakupan pelatihan.
Sistem personalisasi tidak hanya memprediksi respons pengguna; sistem juga memilih tindakan yang memengaruhi data berikutnya. Keputusan yang tampak meningkatkan klik dapat mempersempit eksplorasi, memperkuat bias historis, atau menimbulkan risiko ketika kebijakan baru diterapkan. Kursus ini membangun model mental tersebut melalui contextual bandit, mulai dari konteks, aksi, reward, policy, hingga mekanisme eksplorasi yang dapat diaudit.
Kita mengimplementasikan pipeline berbasis Python untuk membentuk data log, melatih kebijakan, mengelola propensity score, dan mengukur performa menggunakan evaluasi counterfactual seperti inverse propensity scoring dan doubly robust estimation. Setiap metode dibahas bersama asumsi, sumber bias, varians estimator, serta kondisi ketika hasil offline tidak cukup kuat untuk mendukung deployment.
Proyek akhir menggabungkan policy service sederhana dengan guardrail keselamatan, logging yang memadai, pemeriksaan distribusi, dan prosedur validasi. Peserta juga berlatih membaca kegagalan—misalnya dukungan aksi yang tidak memadai, propensity yang ekstrem, data leakage, dan perubahan distribusi konteks—sehingga hasil evaluasi dapat ditelusuri dan keputusan engineering memiliki dasar yang terukur.
Bangun pipeline Python untuk menemukan aspek produk dan mengukur sentimen dari ulasan berbahasa Indonesia.
Bangun pipeline ekstraksi entitas dan relasi dari teks Bahasa Indonesia, lalu evaluasi hasilnya sebagai knowledge graph yang terukur.
Bangun alur Python untuk mengekstrak tabel dari PDF operasional, memvalidasi hasilnya, lalu menyimpannya sebagai CSV siap analisis.
Bangun pipeline synthetic data tabular yang dapat diuji dari sisi privasi, kualitas statistik, dan dampaknya terhadap performa model.