Bangun sistem deteksi anomali sensor real-time dengan Python, Kafka, River, dan dashboard Streamlit yang siap dipahami di dunia kerja.
Skill yang dibangun
Menjelaskan alur data real-time dari producer Kafka ke consumer Python dan dashboard Streamlit.
Membuat producer Kafka yang mengirim event data sensor dalam format JSON yang konsisten.
Menggunakan River untuk membangun dan memperbarui model anomaly detection secara online tanpa menunggu seluruh dataset terkumpul.
Membangun dashboard Streamlit yang menampilkan data sensor, anomaly score, status anomali, dan metrik monitoring secara real-time.
Python developer, data analyst, junior data scientist, engineer IoT, dan peserta yang sudah memahami dasar Python, pandas, konsep machine learning, serta pengolahan data tabular dan ingin membangun sistem analitik real-time yang aplikatif.
Project outcomes
Kamu akan membangun aplikasi monitoring sensor IoT end-to-end. Aplikasi ini mensimulasikan data seperti suhu, kelembapan, dan getaran; mengirimkannya ke Kafka; memproses setiap event dengan model River; lalu menampilkan hasil deteksi anomali di dashboard Streamlit. Kamu juga akan menambahkan simulasi spike dan pola data tidak normal supaya sistem bisa diuji seperti skenario yang sering muncul di lingkungan produksi.
Data sensor IoT datang terus-menerus. Kalau kamu hanya menganalisisnya setelah data terkumpul, anomali penting bisa telat terdeteksi. Di kursus ini, kamu akan membangun pipeline streaming yang membaca data sensor dari Kafka, memprosesnya secara online dengan River, lalu menampilkan hasil deteksinya lewat dashboard Streamlit.
Kita mulai dari fondasi yang perlu kamu pegang: format event sensor, alur producer-consumer Kafka, konsep online machine learning, dan cara kerja anomaly score. Setelah itu, kamu akan mengetik kode secara bertahap lewat guided practice. Setiap bagian dibedah dari alur data sampai eksekusi fungsi, jadi kamu nggak cuma copy-paste dan berharap programnya jalan.
Di bagian akhir, kamu akan menyusun aplikasi end-to-end yang bisa menerima data sensor, memberi label anomali secara real-time, dan menampilkan metrik serta visualisasi di dashboard. Ada juga independent practice, debugging kasus umum, dan pembahasan pitfall seperti format pesan Kafka yang tidak konsisten, model yang belum di-update, serta state streaming yang hilang.
Bangun pipeline Python untuk menemukan aspek produk dan mengukur sentimen dari ulasan berbahasa Indonesia.
Bangun pipeline ekstraksi entitas dan relasi dari teks Bahasa Indonesia, lalu evaluasi hasilnya sebagai knowledge graph yang terukur.
Bangun alur Python untuk mengekstrak tabel dari PDF operasional, memvalidasi hasilnya, lalu menyimpannya sebagai CSV siap analisis.
Bangun pipeline synthetic data tabular yang dapat diuji dari sisi privasi, kualitas statistik, dan dampaknya terhadap performa model.