Ide dibalik MLE
OLS VS MLE
Sementara OLS (Ordinary Least Square a.k.a MKT) bekerja dengan meminimumkan SSE (Sum Square Error a.k.a JKG), MLE bekerja dengan cara memaksimumkan likelihood. SSE harus diminimumkan agar didapatkan error yang sekecil-kecilnya. Semakin kecil error, maka model yang kita gunakan akan semakin baik.
Namun, mengapa likelihood di MLE harus dimaksimumkan ? mengapa tidak diminimumkan ? apa itu likelihood ?
Metode maximum likelihood merupakan suatu metode untuk menentukan nilai parameter dari suatu model. seperti yang kita tahu, nilai parameter ini tidak ketahui sehingga harus diduga. Nilai parameter tersebut akan dicari sedemikian hingga model yang kita gunakan paling cocok/sesuai untuk mendapatkan (generate) data yang kita punya tersebut.
Baca Juga : Ordinary Least Square
Ilustrasi
Misalkan kita mempunyai suatu data jarak tempuh (miles) 10 mobil .
7.20 10.89 10.49 5.29 3.55 8.49 10.44 11.40 9.86 6.80
jika kita buat visualisasi penyebarannya
Pertama, kita harus pikirkan model distribusi yang tepat untuk menggambarkan data di atas. Bisa saja kita menduga bahwa data tersebut dibangkitkan dari distribusi gamma atau normal. Kita bisa katakan persebaran datanya menyerupai distribusi normal namun menjulur ke kanan. Oke, kita pakai saja distribusi normal untuk menggambarkan data tersebut. Pertanyaannya adalah nilai μ dan σ yang mana yang membuat paling mungkin untuk mendapatkan data tersebut ?
Nilai parameter yang mana yang sesuai dan tepat dalam menggambarkan data tersebut ? Nilai parameter akan menentukan bentuk kurva. Jika kita lihat dari persebaran data di atas, data cenderung mengelompok di sekitar angka 10 sampai 11 (bisa kita duga ini adalah nilai parameter μ). Semakin ke kanan, data semakin banyak (kurva menjulur ke kanan). Jika kita suruh menebak maka kemungkinan nilai μ = 10.5. Sehingga kurva dengan warna hijau yang akan dipilih.
Garis horizontal menunjukkan nilai y (jarak tempuh) sedangkan garis vertikal menunjukkan fungsi kepekatan peluang (f(y)). Nilai f(y) ini juga berperan dalam pembentukan jenis kurva. Jika nilai parameter benar, maka nilai f(y1,y2,..yn) adalah yang paling besar diantara lainnya. Hal ini karena f(y1,y2,..yn) akan secara tepat/sesuai menggambarkan data. Simulasi secara lengkap bisa dilihat di github ini
1. Bangkitkan data asli (misal y).
Tahap pertama adalah membangkitkan data y yang berdistribusi normal dengan μ = 10 dan σ = 1. Data ini akan dijadikan seolah-olah data asli yang akan digunakan contoh untuk menduga parameter μ dan σ.
2. Hitung f(y) berdasarkan parameter yang benar
Anggap kita tidak tahu distribusi dan nilai parameter dari data y.
3. Hitung f(y) berdasarkan parameter yang salah
Hitung nilai f(y) berdasarkan beberapa nilai μ dan σ yang kita tetapkan. Pada tahapan ini kita akan menebak berapa nilai μ dan σ yang sebenarnya.
4. Bandingkan nilai f(y1,y2,..yn|θ)
Selanjutnya kita bandingkan nilai likelihood yang menggunakan μ dan σ pada tahap 1 dan tahap 3.
Dapat kita lihat bahwa jika nilai parameter benar, maka nilai f(y1,y2,..yn|θ) akan lebih besar daripada nilai f(y) lainnya. Sehingga fungsi distribusi normal dengan menggunakan μ = 10 dan σ = 1 adalah paling sesuai untuk mendapatkan data y tersebut.
Kesimpulan
Agar didapatkan model yang paling sesuai dengan data, maka haruslah nilai f(y1,y2,..yn|θ) yang paling maksimum diantara lainnya. Fungsi likelihood diturunkan dari rumus fungsi peluang bersama
Fungsi likelihood inilah yang akan dimaksimumkan agar nilai f(y) maksimum.
Mengapa tidak Dikatakan Maximum Probability Estimation ?
f(y1,y2,..yn|θ) berbicara mengenai fungsi kepekatan peluang berdasarkan nilai θ yang diketahui (goals : menghitung nilai fungsi kepekatan peluang)
L(θ|y1,y2,..yn) berbicara mengenai fungsi parameter berdasarkan data yang diamati (goals : mencari nilai θ)
Yang kita cari adalah nilai θ berdasarkan data yang telah kita amati. Hal inilah yang menjadi alasan mengapa metode ini dinamakan Maximum Likelihood Estimation dan mengapa fungsi likelihood di MLE harus dimaksimumkan.
