Regresyon Nasıl Hesaplanır?

Bir değişkenin değerini, açıklayıcı değişkenlerle olan ilişkisine dayanarak tahmin etmeye yönelik oluşturulan model istatistiksel bir teknik olarak "Regresyon" diye tanımlanır.  Regresyon kısaca şöyle hesaplanır: Verilerdeki x ve y ortalamaları bulunur → Tüm girdilerin x ve y'nin ortalamalarından sapma miktarları hesaplanır → eğim katsayısı b₁ bulunur → Denklemdeki b₀ katsayısı hesaplanır → y' = b₀ + b₁x regresyon denklemi oluşturulur → her gözlem için artıklar hesaplanır → modelin uygunluğu ve varsayımları değerlendirilir.

ÖRNEK: Bir öğretmenin, öğrencilerin günlük ders çalışma süresi ile sınavdan aldıkları puan arasında bir ilişki olup olmadığını incelemek istediğini düşünelim. Bunun için beş öğrencinin çalışma süresi ve sınav puanı aşağıdaki gibi olsun:

Bu verilere göre amaç, çalışma süresi bilindiğinde sınav puanını tahmin edebilecek bir doğrusal regresyon denklemi elde etmektir. Öncelikle çalışma süresinin ortalaması ve sınav puanının ortalaması hesaplanır. Çalışma süresinin ortalaması 3 saat, sınav puanının ortalaması ise 64'tür. Daha sonra her bir X değerinin kendi ortalamasından, her bir Y değerinin de kendi ortalamasından farkı bulunur. Bu farklar birbirleriyle çarpılır ve elde edilen değerler toplanır. Bizim örneğimizde bu toplam 75'tir. Ardından X değerlerinin ortalamadan farklarının kareleri alınarak toplanır ve sonuç 10 bulunur. Eğim katsayısını elde etmek için 75, 10'a bölünür ve b₁ = 7,5 bulunur.

Daha sonra doğru denklemini tam olarak bulmak için sabit terim hesaplanır. Bunun için Y ortalamasından, eğim katsayısının X ortalamasıyla çarpımı çıkarılır. Böylece b₀ = 64 − (7,5 × 3) = 41,5 elde edilir. Sonuç olarak regresyon denklemi y' = 41,5 + 7,5X şeklinde elde edilir. Bu denklem, çalışma süresine göre tahmini sınav puanını verir. Örneğin bir öğrencinin 6 saat çalıştığı varsayılırsa, x yerine denklemde 6 yazılarak modelin tahmin ettiği sınav puanı 41,5 + (7,5 × 6) = 86,5 olur. Buradaki 7,5 katsayısı, modelde çalışma süresindeki her bir saatlik artışın tahmin edilen sınav puanında 7,5 puanlık artışla ilişkili olduğunu gösterir. y'=41,5+7,5x denklemi, çalışma süresi ile sınav puanı arasındaki ilişkiyi örneklemimiz için yaklaşık olarak ifade eder. 

Örneğin bir öğrencinin 4 saat çalışması durumunda modelin tahmin ettiği puan 41,5 + (7,5 × 4) = 71,5 olurken öğrencinin 2 saat çalışması durumunda modelin tahmin ettiği puan 41,5 + (7,5 × 2) = 56,5 olur. Öğrenci 8 saat çalışmış olursa 41,5 + (7,5 × 8) = 101,5 çıkar ki bu doğal sınav şartlarına aykırı olabilir. Burada 101,5 puan 100 puanlık bir gerçek sınav sonucu olarak yorumlanmaz. Regresyon modelinde sonsuza kadar değer verilebileceği gibi doğal ortamda imkansız olabilecek değerler de bulunabilir. Örneğin öğrenci 100 saat çalışırsa 41,5 + (7,5 × 100) = 791,5 puan elde eder. Bu hesaplamanın bir sınırı yoktur. Bunun nedeni, doğrusal regresyonun verilen verilerdeki ilişkiyi matematiksel olarak bir doğruyla ifade etmesi ve bu doğrunun doğal olarak 100 puanlık sınırı dikkate almamasıdır. Regresyonda özellikle dikkat edilmesi gereken nokta, regresyonun bu ilişkinin nedensel olduğunu kanıtlamadığıdır; yalnızca verilen verilerdeki ilişkiyi matematiksel olarak modeller. Regresyonun asıl amacı, geçmiş verilerdeki ilişkiyi matematiksel olarak ortaya koymak ve yeni gözlemler için makul tahminler yapabilmektir. Bir modelin tahmin yapabilmesi, her koşulda doğru tahmin yapacağı anlamına gelmez. Bu nedenle regresyon uygulamasında modelin hangi aralıkta ve hangi koşullarda kullanılabileceği de değerlendirilir. Regresyon hesaplamada amaç; kesin sonucu bilmek değil, mevcut verilerden yararlanarak modelin uygunluğu, hata düzeyi, varsayımları dikkate alınarak belirsizlik altında daha iyi tahmin yapmaktır.

Kaynakça: 
https://online.stat.psu.edu/stat501/Lesson01
https://www.scribbr.com/frequently-asked-questions/what-a-regression-model/

Regresyon nedir?

Regresyon, bir bağımlı değişken ile bir veya daha fazla bağımsız/açıklayıcı değişken arasındaki ilişkiyi matematiksel olarak modellemek, bu ilişkinin yönünü ve büyüklüğünü incelemek ve uygun koşullarda bağımlı değişken için tahmin yapmak amacıyla kullanılan istatistiksel yöntemler grubudur. Bir değişkenin değerini, açıklayıcı değişkenlerle olan ilişkisine dayanarak tahmin etmeye yönelik oluşturulan model, istatistiksel bir teknik olarak Regresyon diye tanımlanır. Regresyonun birçok türü vardır; en temel türlerden biri, tek bir açıklayıcı değişken ile bir sonuç değişkeni arasındaki ilişkiyi inceleyen basit doğrusal regresyondur. İki veya daha fazla açıklayıcı değişken kullanıldığında ise çoklu doğrusal regresyondan söz edilir. 

Basit doğrusal regresyonda amaç, gözlemlerin oluşturduğu dağılımı en uygun şekilde temsil eden bir doğru denklemi bulmaktır. Bu doğru genellikle y' = b₀ + b₁x biçiminde yazılır. Burada y', x'in belirli bir değeri için tahmin edilen y değeridir; b₀ sabit terimdir ve x sıfırken modelin tahmin ettiği y değerini gösterir; b₁ ise eğim katsayısıdır ve x bir birim arttığında, modelin tahmin ettiği y değerinin ortalama olarak ne kadar değiştiğini ifade eder. Dolayısıyla b₁ (yani doğrunun eğimi) pozitifse doğrusal ilişkinin yönü pozitiftir, negatifse negatiftir. Ancak regresyonda bulunan bir ilişkinin tek başına nedensellik kanıtı olmadığını özellikle belirtmek gerekir. Ayrıca regresyon doğrusu, verilerdeki bütün noktaların üzerinden geçmek zorunda değildir. Yani burada analitik geometrideki klasik doğru denklemi gibi düşünülemez. Her gözlem için gerçek y değeri ile modelin tahmin ettiği y' arasındaki fark artık (residual) olarak adlandırılır ve e = y − y' şeklinde hesaplanır.

Doğrusal regresyonda en yaygın hesaplama yöntemi en küçük kareler yöntemidir. Bu yöntemde amaç, bütün gözlemler için hesaplanan artıkların kareleri toplamını mümkün olduğunca küçük yapan doğruyu bulmaktır. Yani minimize edilen ifade Σ(yᵢ − (b₀ + b₁xᵢ))² biçimindedir. Basit doğrusal regresyonda eğim katsayısı b₁ = Σ[(xᵢ − x̄)(yᵢ − ȳ)] / Σ[(xᵢ − x̄)²] formülüyle, sabit terim ise b₀ = ȳ − b₁x̄ formülüyle hesaplanır. Burada x̄, x değerlerinin; ȳ ise y değerlerinin aritmetik ortalamasıdır. Böylece önce x ve y ortalamaları bulunur, ardından her gözlemin kendi ortalamasından farkları hesaplanır, gerekli çarpımlar ve kareler hesaplanarak toplanır ve eğim elde edilir. Son olarak sabit terim hesaplanır. Elde edilen b₀ ve b₁ değerleri regresyon denklemine yerleştirilerek tahminler yapılır. En küçük kareler doğrusu, (x̄, ȳ) noktasından geçer.

Regresyon analizinin önemli özelliklerinden biri, yalnızca bir denklem üretmekle sınırlı olmamasıdır. Modelin verilere ne ölçüde uygun olduğu, artıkların davranışı ve çeşitli istatistiksel ölçütler de incelenir. Örneğin R², bağımlı değişkendeki örneklem varyasyonunun model tarafından açıklanan kısmını değerlendirmede kullanılan önemli bir ölçüdür; ancak yüksek bir R² tek başına modelin doğru olduğu veya nedensel bir ilişkinin bulunduğu anlamına gelmez. Doğrusal regresyonun istatistiksel çıkarım amacıyla kullanılmasında özellikle doğrusallık, hataların bağımsızlığı, hataların yaklaşık normal dağılım göstermesi ve hata varyanslarının sabit olması gibi varsayımlar değerlendirilir. Bu varsayımların ne ölçüde sağlandığını incelemek için saçılım grafikleri, artık-gözlenen/tahmin edilen değer grafikleri ve normal olasılık grafikleri gibi araçlardan yararlanılır. Dolayısıyla regresyon sonucundaki katsayıları hesaplamak kadar, modelin varsayımlarını ve artıklarını kontrol etmek de doğru bir regresyon analizi için önemlidir.