Analisis regresi
Regresi dalam statistika adalah salah satu metode untuk menentukan tingkat pengaruh suatu variabel terhadap variabel yang lain. Variabel yang pertama disebut dengan bermacam-macam istilah: variabel penjelas, variabel eksplanatorik, variabel independen, atau secara bebas, variabel X (karena seringkali digambarkan dalam grafik sebagai absis, atau sumbu X). Variabel yang kedua adalah variabel yang dipengaruhi, variabel dependen, variabel terikat, atau variabel Y. Kedua variabel ini dapat merupakan variabel acak (random), namun variabel yang dipengaruhi harus selalu variabel acak.
Analisis regresi adalah salah satu analisis yang paling populer dan luas pemakaiannya. Hampir semua bidang ilmu yang memerlukan analisis sebab-akibat boleh dipastikan mengenal analisis ini.
Istilah regresi diperkenalkan oleh Francis Galton, yang menemukan bahwa meskipun ada kecenderungan bagi orang tua yang tinggi mempunyai anak yang tinggi dan orang tua yang pendek mempunyai anak yang pendek, tetapi distribusi tinggi populasi tidak berubah secar menyolok dari generasi ke generasi. Penjelasannya adalah bahwa kecenderungan bagi rata-rata tinggi anak dengan orang tua yang mempunyai tinggi tertentu untuk bergerak atau mundur (regress) ke arah tinggi rata-rata seluruh populasi. Hukum regresi semesta (law of universal regression) diperkuat oleh Karl Pearson. Ia menemukan bahwa rata-rata tinggi anak laki-laki kelompok ayah yang tinggi kurang daripada tinggi ayah mereka dan rata-rata tinggi anak laki-laki kelompok ayah yang pendek lebih tinggi dari pada tinggi ayah mereka. Namun demikian, sesuai dengan perkembangan metodologi dan penerapannya, definisi regresi tersebut pada saat ini telah berbeda jauh dari pengertian awal tersebut. Secara definisi, pengertian analisis regresi adalah berkenaan dengan studi ketergantungan dari satu variabel dependent (selanjutnya disebut variabel terikat) pada satu atau lebih variabel independent (selanjutnya disebut variabel bebas) dengan tujuan untuk memperkirakan dan atau meramalkan nilai rata-rata dari variabel terikat apabila variabel bebasnya sudah diketahui Regresi berkaitan dengan ketergantungan statistik (statistical dependent) bukan ketergantungan fungsional secara deterministik. Ketergantungan statistik berkaitan dengan variabel yang random/stokastik (random/ stochastic variables), yaitu variabel yang mempunyai distribusi probabilita (probability distribution). Di pihak lain, ketergantungan fungsional atau deterministik, variabelnya tidak random (non-random) atau stokhastik. Contoh ketergantungan bersifat statistik: Kita tidak akan mungkin meramalkan secara akurat hasil panen meskipun kita sudah mengetahui dan menganalisis sebanyak mungkin variabel yang mempengaruhi hasil panen. Ketidak-akuratan tersebut bisa bersumber dari kesalahan dalam pengukuran variabel-variabel ini, ataupun disebabkan adanya faktor lain yang mempengaruhi hasil panen yang sulit untuk diketahui atau diukur. Contoh ketergantungan bersifat fungsional atau deterministik Hukum gravitasi Newton: F = k(m1m2/r2), yang menyatakan setiap partikel dalam alam semesta menarik setiap partikel lain dengan suatu gaya (F) yang langsung yang sebanding dengan hasil kali masanya (m1m2) dan berbanding terbalik dengan kuadrat jarak (r2) antara partikel-partikel tadi. Artinya, jika diketahui nilai k (konstanta perbandingan), m1, m2 dan r, maka secara akurat (pasti) dapat ditentukan nilai F.