JadiHebat
Cloud Computing

Membangun Data Lakehouse Cloud Hemat Biaya dengan Amazon S3, Apache Iceberg, dbt, dan Trino

Bangun data lakehouse scalable dan hemat biaya dengan Amazon S3, Apache Iceberg, dbt, dan Trino untuk analitik SQL modern.

Diperbarui 27 Agu 2026id6 bagian · 24 pelajaran4 jam 30 menit
Belum ada ulasan
Level Intermediate
Kategori Cloud Computing
Perkiraan Durasi 4 jam 30 menit

Skill yang dibangun

Apa yang akan Anda pelajari

Merancang arsitektur data lakehouse hemat biaya dengan Amazon S3, Apache Iceberg, dbt, dan Trino

Membuat serta mengelola tabel Apache Iceberg, termasuk partitioning dan schema evolution

Menjalankan query analitik SQL di atas data Amazon S3 menggunakan Trino

Membangun pipeline transformasi data yang terstruktur dan dapat diuji menggunakan dbt

Siapa Target Audiens Kursus Ini

Developer backend, cloud engineer junior, data engineer pemula, dan praktisi DevOps yang sudah memahami dasar Linux, Git, SQL, serta konsep cloud seperti object storage dan IAM, lalu ingin membangun platform analitik data yang dapat berkembang tanpa biaya infrastruktur database tradisional yang besar.

Project outcomes

Apa yang Akan Anda Buat

Kamu akan membangun mini data lakehouse untuk data transaksi penjualan. Data mentah disimpan di Amazon S3, dikelola sebagai tabel Apache Iceberg, di-query menggunakan Trino, lalu ditransformasi dengan dbt menjadi model analitik seperti ringkasan penjualan harian, performa produk, dan metrik revenue. Di akhir, kamu punya project portofolio yang menunjukkan kemampuan merancang storage, query engine, dan transformation workflow dengan fokus pada biaya serta skalabilitas.

Konten Kursus

Fondasi Arsitektur Data Lakehouse Hemat Biaya

4 pelajaran | 125 menit
Memahami Lake, Warehouse, dan Lakehouse
25 menit
Mengenal Peran S3, Apache Iceberg, dbt, dan Trino
30 menit
Menyiapkan AWS, IAM, dan Struktur Bucket
35 menit
Menyiapkan Tooling Lokal dan Data Contoh
35 menit

Amazon S3 sebagai Storage Layer

4 pelajaran | 140 menit
Mendesain Struktur Prefix dan Partition Data
30 menit
Mengunggah Data ke S3 dengan AWS CLI dan Python
40 menit
Memilih Format Parquet dan Strategi File Sizing
35 menit
Lifecycle, Versioning, dan Cost Control di S3
35 menit

Apache Iceberg untuk Tabel Analitik yang Andal

4 pelajaran | 160 menit
Konsep Tabel, Snapshot, dan Metadata Iceberg
35 menit
Membuat Tabel Iceberg dengan SQL
40 menit
Insert, Update, Delete, dan Schema Evolution
45 menit
Time Travel, Compaction, dan Maintenance Table
40 menit

Trino sebagai Query Engine Cloud-Native

4 pelajaran | 170 menit
Menjalankan Trino dengan Docker
40 menit
Mengonfigurasi Catalog Iceberg dan S3
45 menit
Query Analitik dan Filter Pushdown
45 menit
Optimasi Performa dan Biaya Query
40 menit

Transformasi Data dan Quality Check dengan dbt

4 pelajaran | 165 menit
Struktur Project dbt dan Model SQL
40 menit
Sources, Ref, dan Layered Data Model
40 menit
Generic Test, Freshness, dan Data Quality
40 menit
Dokumentasi, Incremental Model, dan CI Sederhana
45 menit

Proyek Akhir: Membangun Platform Analitik Penjualan Cloud Hemat Biaya

4 pelajaran | 300 menit
Perancangan Arsitektur dan Setup Proyek
60 menit
Implementasi Ingestion dan Tabel Iceberg
75 menit
Integrasi dbt, Trino, dan Quality Checks
90 menit
Pengujian, Optimasi Biaya, dan Presentasi Hasil
75 menit

Deskripsi Kursus

Kamu akan membangun platform data lakehouse yang menyimpan data di Amazon S3, tetapi tetap bisa di-query dengan SQL seperti memakai database. Pendekatan ini cocok buat tim yang butuh analitik scalable tanpa harus langsung membayar database tradisional yang mahal. Kita mulai dari fondasi object storage, struktur data lake, dan peran tiap komponen supaya arsitekturnya kebayang jelas.

Setelah fondasinya kuat, kamu akan mengelola tabel menggunakan Apache Iceberg, menjalankan query dengan Trino, lalu membuat transformasi data yang rapi dan bisa diulang memakai dbt. Setiap bagian dibangun bertahap lewat contoh runnable, konfigurasi nyata, dan alur kerja yang mendekati kebutuhan project di kantor.

Kursus ini juga membahas trade-off biaya, performa, keamanan IAM, partitioning, schema evolution, serta kesalahan yang sering bikin query lambat atau biaya cloud membengkak. Jadi bukan cuma bisa mengikuti tutorial, kamu juga punya dasar untuk mengambil keputusan teknis saat membangun platform analitik sendiri.

Rating & Ulasan

0 ratings

Kursus Terkait