Regresi linear

Dalam statistika, regresi linear adalah sebuah pendekatan untuk memodelkan hubungan antara variable terikat Y dan satu atau lebih variable bebas yang disebut X . Salah satu kegunaan dari regresi linear adalah untuk melakukan prediksi berdasarkan data-data yang telah dimiliki sebelumnya. Hubungan di antara variable-variabel tersebut disebut sebagai model regresi linear. Berdasarkan penggunaan variable bebas, maka regresi linear dapat dibagi menjadi dua, yaitu regresi linear univariate dan regresi linear multivariate.

Regresi Linear Univariate

Pada regresi linear univariate, variable bebas yang terlibat hanya satu saja. Oleh karena hanya memiliki satu variable bebas, maka hanya akan terdapat variable input X dan output Y. Kedua variable ini akan dimodelkan sebagai sumbu X dan Y pada diagram kartesius. Pada regresi linear tipe ini, model regresi linear ditentukan sebagai berikut.

$h_{w}(x)=w_{1}x+w_{0}$

dimana $w$ merupakan nilai yang akan dicari sedemikian sehingga nilai $w$ menjadi optimal dan $x$ merupakan variable bebas atau input. Proses pencarian nilai $w$ dapat dilakukan dengan beberapa cara diantaranya dengan menggunakan pendekatan least square, maximum likehood, atau algoritme gradient descent. Pada dasarnya, pencarian nilai $w$ dilakukan hingga nilai error yang dihasilkan merupakan nilai yang paling minimal . Fungsi error yang digunakan adalah sebagai berikut.

$E(w)={\frac {1}{2N}}\sum _{i=1}^{N}(h_{w}(x^{i})-t^{i})^{2}$

Dimana $N$ merupakan banyaknya data input, $h_{w}(x^{i})$ merupakan model regresi linear, dan $t$ adalah target output yang seharusnya.

Regresi Linear Multivariate

Pada regresi linear multivariate, variable bebas yang terlibat tidak hanya satu saja melainkan beberapa variable bebas. Hal ini dikarenakan input yang digunakan lebih dari satu dimensi. Oleh karena itu, diperlukanlah sebuah model regresi linear yang berbeda dari regresi linear univariate. Model regresi linear multivariate dapat ditentukan sebagai berikut.

$h_{w}(x)=w_{0}+w_{1}x_{1}+w_{2}x_{2}+\dots +w_{m}x_{m}$

$h_{w}(x)=w_{0}+\sum _{i=0}^{m}w_{i}x_{i}$

Dimana $w$ juga merupakan nilai yang akan dicari sedemikian sehingga nilai $w$ menjadi optimal dan $x$ merupakan variable bebas atau input. Proses pencarian nilai $w$ juga masih dapat dilakukan dengan menggunakan cara yang sama dengan regresi linear univariate, yaitu dengan menggunakan pendekatan least square, maximum likehood, atau algoritme gradient descent. Pada dasarnya, pencarian nilai $w$ dilakukan hingga nilai error yang didapatkan dari fungsi error merupakan nilai yang paling minimal . Fungsi error yang digunakan masih sama dengan regresi linear univariate.

Regresi Linear dengan menggunakan RStudio

#REGRESI LINEAR
#Input
data = read.table("nama file.txt", header = TRUE)
x #variabel bebas
y #vaiabel terikat

#Scatterplot untuk x dan y
plot(x,y)

#Korelasi dan Kovariansi
cor(x,y)
cov(x,y)

#Koefisien Model
model = lm(y ~ x)
summary(model) #Informasi yang didapat adalah koefisien model, p-value, r-squared

#Plot model
abline(model)

#Residual
model.res = resid(model)
plot(x, model.res, ylab="y", xlab="x", main="Plot Residual")

#Kenormalan Residual
model.stdres = rstandard(model)

#Plot Kenormalan Residual
qqnorm(model.stdres, ylab="Standarized Residuals", xlab="Normal Scores", main="Plot Kenormalan Residual")

Pengujian apakah X berpengaruh terhadap Y

${\textstyle H_{0}:\beta _{0}=0\ \ dan\ \ \beta _{1}=0}$

$H_{1}:\beta _{0}\neq 0\ \ dan\ \ \beta _{1}\neq 0$

Jika $F$_Hitung $<F$_Tabel atau p-value $>\alpha$ maka $H_{0}$tidak ditolak

Jika $F$_Hitung $>F$_Tabel atau p-value $<\alpha$ maka $H_{0}$ ditolak