00:00Kalau kita ngomongin soal proyek data, ada satu langkah pertama yang krusial banget dan nggak boleh dilewatin,
00:05terutama sebelum kita bikin model canggih atau prediksi-prediksi besar.
00:08Namanya, Analisis Data Eksplorasi, atau biasa disingkat EDA.
00:11Gampangnya, anggap aja kita ini lagi jadi detektif, tapi TKP-nya adalah data.
00:16Oke, kita mulai investigasi kita dengan sebuah kutipan dari bapaknya Idia sendiri, John Tukey.
00:21Dia melihat seorang analis data itu bukan cuma sebagai ahli statistik, tapi lebih kayak detektif.
00:26Tugas kita, kata dia, bukanlah buat langsung menghakimi atau mengambil kesimpulan.
00:30Tugas kita adalah mengumpulkan semua petunjuk yang ada terlebih dahulu.
00:34Dan, sama kayak tempat kejadian perkara di dunia nyata, data mentah yang kita terima itu, wah, seringnya berantakan banget.
00:40Bisa jadi datanya nggak lengkap, ada yang bolong-bolong, penuh kesalahan, atau melah mengandung pola-pola yang kelihatannya benar, padahal
00:46menyesatkan.
00:47Kalau kita langsung analisis data kayak gini, ya sama aja kayak detektif yang langsung narik kesimpungan tanpa periksa bukti sama
00:52sekali.
00:52Ini nih, prinsip paling dasar di dunia data. Garbage in, garbage out.
00:56Artinya apa? Kalau data yang kita olah itu kualitasnya buruk, ya hasil analisisnya juga pasti bakal buruk.
01:01Nggak peduli secanggih apapun model yang kita pakai.
01:03Jadi, poin utamanya adalah kualitas output kita itu 100% bergantung pada kualitas input kita.
01:08Terus, gimana caranya kita mastiin input kita itu berkualitas? Nah, disinilah peran kita sebagai detektif data dimulai.
01:15Kita harus pakai pola pikir atau mindset yang kita sebut analisis data eksplorasi.
01:20Jadi, EDA itu bukan sekedar serangkaian aturan yang kaku lho. Ini lebih soal rasa penasaran.
01:25Anggap aja ini sebuah filosofi investigasi yang sifatnya terbuka, di mana kita membiarkan data itu sendiri yang ngomong ke kita,
01:31yang menuntun kita untuk menemukan pertanyaan-pertanyaan yang mungkin nggak pernah kita pikirin sebelumnya.
01:35Perbedaan ini penting banget buat kita pahami.
01:38Kalau di EDA, kita tuh nanya ke data, eh data, cerita dong, ada apa aja sih yang menarik di sini?
01:44Ini beda banget sama analisis konfirmatori, di mana kita datang udah bawa hipotesis, terus nanya,
01:49bener nggak sih tebakan saya ini?
01:51Jadi, intinya, EDA itu soal menemukan pertanyaan baru, bukan cuma menjawab pertanyaan yang udah ada.
01:56Jadi, layaknya detektif profesional, inti dari proses EDA ini adalah soal mengajukan pertanyaan-pertanyaan yang bener-bener mendasar tentang data
02:03kita.
02:03Anggap saja data itu adalah petunjuk-petunjuk kita di TKP.
02:07Nah, investigasinya sendiri itu berpusat pada dua konsep utama.
02:11Bayangin aja kita sebagai detektif punya dua kacamata khusus buat memeriksa setiap bukti.
02:15Kacamata pertama namanya variasi, dan yang kedua namanya kovariasi.
02:20Pertanyaan pertama yang kita ajukan adalah soal variasi.
02:23Apa itu variasi?
02:24Sederhananya, ini adalah kecenderungan nilai-nilai dari satu variable untuk berubah-ubah.
02:28Dengan kata lain, kita pengen tahu seberapa beragam sih isi dari satu petunjuk ini.
02:33Terus, gimana cara kita menyelidikinya?
02:35Ya, pakai alat visual.
02:37Salah satu yang paling populer itu boxplot.
02:40Lewat grafik ini, kita bisa langsung lihat ceritanya.
02:42Di mana pusat datanya, seberapa menyebar nilainya, dan ini yang paling seru.
02:46Menemukan nilai-nilai aneh yang biasa kita sebut outlier.
02:49Nah, para outlier ini adalah tersangka potensial yang butuh penyelidikan lebih dalam.
02:53Oke, setelah kita paham tiap petunjuk secara terpisah, sekarang saatnya kita cari hubungan di antara mereka.
03:00Inilah yang disebut kovariasi.
03:02Cara dua atau lebih variable berubah secara bersamaan.
03:05Mirip kayak detektif yang nanya,
03:07ada nggak sih hubungan antara jejak sepatu di luar dengan jendela yang pecah?
03:10Buat yang ini, salah satu senjata andalan kita adalah scatter plot.
03:14Grafik ini jago banget buat memvisualisasikan hubungan antar variable.
03:17Kita jadi bisa lihat, pas satu variable nilainya naik, yang lain ikut naik juga nggak?
03:21Atau malah sebaliknya, pola-pola inilah yang jadi petunjuk emas dalam investigasi kita.
03:25Tentu saja, detektif zaman sekarang nggak kerja sendirian dong.
03:28Kita punya banyak banget asisten canggih yang siap bantu mempercepat pekerjaan investigasi kita.
03:32Di dunia data, asisten kita itu bentuknya library Python.
03:36Contohnya ada Sweetfish, Y-Data Profiling, sama Detail.
03:40Anggap aja mereka ini asisten otomatis kita yang super pinter.
03:43Mereka bisa ngecek ratusan hal dan bikinin kita visualisasi keren cuma dalam hitungan detik.
03:48Dan ini efisien banget loh.
03:50Seringkali cuma butuh satu baris kode doang, kita udah bisa dapat laporan interaktif yang super lengkat tentang seluruh data kita.
03:56Jelas ini hemat waktu banget kan?
03:58Jadi, kita bisa lebih fokus mikirin arti dari petunjuk-petunjuknya.
04:02Bukan pusing sama kerjaan teknis buat nemuin petunjuk itu.
04:05Jadi, kenapa sih semua proses investigasi ini penting banget?
04:08Apa hasil akhirnya?
04:10Nah, sekarang mari kita lihat bagaimana semua potongan puzzle ini menyatu jadi satu.
04:13Satu hal yang penting banget untuk diingat, IDE itu bukan kerjaan sekali jalan terus selesai.
04:18Bukan, ini tuh sebuah siklus yang berputar terus.
04:21Kita ajukan pertanyaan, kita cari jawabannya lewat visualisasi,
04:24dan dari temuan itu, eh malah muncul pertanyaan-pertanyaan baru yang lebih dalam.
04:28Ini adalah proses penemuan yang nggak ada habisnya.
04:31Dan pada akhirnya, IDE yang menyeluruhi itu nggak cuma ngasih kita perasaan soal data.
04:36Hasilnya tuh nyata, bisa dipegang.
04:37Kita bakal punya semacam berkas kasus yang lengkap, isinya ada kamus data, laporan kualitas data,
04:43daftar resiko yang kita tahu, dan keputusan akhir.
04:45Apakah bukti ini udah cukup kuat buat dibawa ke pengadilan alias masuk ke tahap modeling?
04:49Sebagai penutup, saya mau kasih satu pemikiran nih.
04:52Oke, alat-alat otomatis emang makin canggih.
04:54Mereka bisa nemuin pola dalam sekejap mata.
04:56Tapi, mereka cuma bisa nunjukin apanya, bukan kenapanya.
04:59Nah, disitulah peran kita.
05:01Penilaian, intuisi, dan rasa penasaran seorang detektif manusia,
05:04itulah elemen yang nggak akan pernah bisa digantikan oleh mesin manapun
05:06untuk memecahkan misteri yang terkandung di dalam data.
Komentar