Regresi linear

Dalam dunia matematika, tentu sudah tak asing lagi mendengar kata statistik. Pada statistik, regresi linear merupakan suatu pendekatan untuk memantapkan hubungan antara satu atau lebih variabel dependen (regresi linear sederhana) dan juga variabel independen (regresi linear banyak). Salah satu aplikasi dari regresi linear adalah untuk melakukan prediksi berdasarkan data-data yang telah dimiliki sebelumnya. Dengan asumsi hubungan di antara variabel variabel tersebut, dapat didekati oleh suatu persamaan garis lurus, maka model yang mendekati hubungan antar variabel di data tersebut disebut sebagai pemantapan regresi linear.^[1]

Regresi Linear Univariate

Pada regresi linear univariate, variabel bebas yang terlibat hanya satu saja. Oleh karena hanya memiliki satu variabel bebas, maka hanya akan terdapat variabel input X dan output Y. Kedua variabel ini akan dimodelkan sebagai sumbu X dan Y pada diagram kartesius. Pada regresi linear tipe ini, model regresi linear ditentukan sebagai berikut.

$h_{w}(x)=w_{1}x+w_{0}$

dimana $w$ merupakan nilai yang akan dicari sedemikian sehingga nilai $w$ menjadi optimal dan $x$ merupakan variable bebas atau input. Proses pencarian nilai $w$ dapat dilakukan dengan beberapa cara diantaranya dengan menggunakan pendekatan least square, maximum likehood, atau algoritme gradient descent. Pada dasarnya, pencarian nilai $w$ dilakukan hingga nilai error yang dihasilkan merupakan nilai yang paling minimal.^[2] Fungsi error yang digunakan adalah sebagai berikut.

$E(w)={\frac {1}{2N}}\sum _{i=1}^{N}(h_{w}(x^{i})-t^{i})^{2}$

Dimana $N$ merupakan banyaknya data input, $h_{w}(x^{i})$ merupakan model regresi linear, dan $t$ adalah target output yang seharusnya.

Regresi Linear Multivariate

Pada regresi linear multivariate, variable bebas yang terlibat tidak hanya satu saja melainkan beberapa variable bebas. Hal ini dikarenakan input yang digunakan lebih dari satu dimensi. Oleh karena itu, diperlukanlah sebuah model regresi linear yang berbeda dari regresi linear univariate. Model regresi linear multivariate dapat ditentukan sebagai berikut.

$h_{w}(x)=w_{0}+w_{1}x_{1}+w_{2}x_{2}+\dots +w_{m}x_{m}$

$h_{w}(x)=w_{0}+\sum _{i=0}^{m}w_{i}x_{i}$

Dimana $w$ juga merupakan nilai yang akan dicari sedemikian sehingga nilai $w$ menjadi optimal dan $x$ merupakan variable bebas atau input. Proses pencarian nilai $w$ juga masih dapat dilakukan dengan menggunakan cara yang sama dengan regresi linear univariate, yaitu dengan menggunakan pendekatan least square, maximum likehood, atau algoritme gradient descent. Pada dasarnya, pencarian nilai $w$ dilakukan hingga nilai error yang didapatkan dari fungsi error merupakan nilai yang paling minimal.^[2] Fungsi error yang digunakan masih sama dengan regresi linear univariate.

Referensi

^ David A. Freedman (2009). Statistical Models: Theory and Practice. Cambridge University Press. hlm. 26. A simple regression equation has on the right hand side an intercept and an explanatory variable with a slope coefficient. A multiple regression e right hand side, each with its own slope coefficient
^ ^a ^b Stuart Russell and Peter Norvig. 2009. Artificial Intelligence: A Modern Approach (3rd ed.). Prentice Hall Press, Upper Saddle River, NJ, USA

[Freedman09-1] David A. Freedman (2009). Statistical Models: Theory and Practice. Cambridge University Press. hlm. 26. A simple regression equation has on the right hand side an intercept and an explanatory variable with a slope coefficient. A multiple regression e right hand side, each with its own slope coefficient

[russelBook-2] Stuart Russell and Peter Norvig. 2009. Artificial Intelligence: A Modern Approach (3rd ed.). Prentice Hall Press, Upper Saddle River, NJ, USA

[1]

[2]