İki Değişken Arasındaki İlişkiyi Tanımlamak

Saçılma diyagramı, iki değişkenin arasındaki ilişkiyi göstermek amacıyla gözlem değerlerinin yatay (x) ve dikey (y) eksende grafiksel olarak gösterimi amacıyla kullanılır. Eğer iki değişkenden biri bağımlı diğeri bağımsız ise x eksenindeki değişken bağımsız, y eksenindeki değişken ise bağımlı değişken olarak seçilmelidir.

Saçılma diyagramları bize, iki değişkenin aralarında bir ilişkinin varlığını göstermesinin yanında bu ilişkin doğrusal ya da doğrusal olmayan bir ilişki olduğuna da karar vermemizi sağlar.  

Eğer bir değişkenin değeri artarken, diğer değişkenin değeri de artıyorsa, bu ilişki pozitif doğrusal ilişki olarak tanımlanır. Eğer bir değişkenin değeri artarken, diğer değişkenin değeri azalıyorsa, bu ilişki negatif doğrusal ilişki olarak tanımlanır. Buna göre şekilde kaygı düzeyi arttıkça uyku kalitesinin düştüğü gözlenmektedir. Dolayısıyla kaygı ve uyku kalitesi arasında negatif bir ilişki söz konusudur. 

Bağımlı ve bağımsız değişkenler arasında hem şekil a hem de şekil b'de bir ilişki mevcuttur ancak bu ilişkiler doğrusal olmayan bir diğer ifade ile eğrisel bir görünüm sergilemektedir. Bir başka deyişle, bağımsız değişkendeki artış, bağımlı değişkende orantılı bir artışa veya azalmaya neden olmamıştır.

X ve Y eksenleri arasında verinin birbirine yakın ve doğrusal bir yapı sergilemesi ya da başka bir deyişle az saçılması, ilişkinin gücü ile ilgilidir. Eğer her iki değişkenin değerleri sabit bir oranda aynı yönde hareket ediyorsa mükemmel pozitif korelasyon (r=1) elde edilir. Öte yandan her iki değişkenin değerleri zıt yönlerde sabit bir oranda hareket ediyorsa mükemmel negatif bir korelasyon (r=-1) gözlenebilir. 

Pearson Doğrusal Korelasyon katsayısı (r), -1 ile 1 arasında değişim gösterir, r nin +1 olması iki değişken arasında kusursuz pozitif ilişki olduğunu, r nin -1 olması ise iki değişken arasında kusursuz negatif ilişkinin olduğunu gösterir. r değerinin +1 e veya -1' e yakınlığı ilişkinin gücünün ölçüsüdür.

Eğer r, 0 a yakın ise iki değişken arasında doğrusal bir ilişki bulunmamaktadır. Pearson Doğrusal Korelasyon Katsayısı, birimsizdir, dolayısıyla x veya y nin birimi, r nin değerlendirilmesi için bir ölçü değildir.

Yaş (x₁) ve ağırlık (X₂) ile karın çapı (y) arasında doğrusal ve pozitif korelasyondan söz edebiliriz. Ağırlık ile karın çapı arasındaki ilişki verilerin az saçılması dikkate alınarak diğerlerine göre en güçlü ilişkiye işaret etmektedir. Öte yandan boy ile karın çapı arasında ilişkinin yönü hakkında tam bir kanıya varamıyoruz. Bu durumda ilişkinin olmadığı veya O'a yakın olduğunu söyleyebiliriz.

Pozitif bir korelasyon - korelasyon katsayısı 0'dan büyük olduğunda - her iki değişkenin de aynı yönde hareket ettiğini gösterir. Korelasyon katsayısı +1'e ne kadar yakınsa doğrusal ilişki o kadar güçlüdür. Örnek olarak, petrol fiyatları ile uçak bileti fiyatları arasında ya da alınan maaşla iş motivasyonu arasında pozitif ilişkilerden söz edebiliriz.

Korelasyon katsayısının formülü;

şeklindedir. 

Bu örnekteki, x ve y değişkenlerinin ortalaması ve standart sapmaları (x_ort , s_x  ile y_ort, s_y) değerleri hesaplanmış ve  x_ort = 109,05, s _x =40,97 ve y_ort=140,9, sy =55,40 elde edilmiştir. Standart sapmalar aşağıdaki şekilde hesaplanmıştır. 

       ve           

Tabloda her bir sütunda korelasyon katsayısını hesaplamak için ihtiyaç duyulan hesaplamalar yapıldıktan sonra korelasyon katsayısı (r) yukarıdaki formüller hesaplanmıştır. 

r= 0,33/n-1= 0,33/19

r=0,017 bulunmuştur.

Bu katsayı her ne kadar pozitif bir değerse de sayısal olarak sıfıra (0) yakın olması sebebiyle x ile y arasında bir ilişkiden söz etmek doğru olmayacaktır. 

 Korelasyon katsayısının formülü;

Bu örnekteki, x ve y değişkenlerinin ortalaması ve standart sapmaları (x_ort , s_x  ile y_ort, s_y) değerleri hesaplanmış ve  x_ort = 109,05, s _x =40,97 ve y_ort=113, sy =35,11 elde edilmiştir. Standart sapmalar aşağıdaki şekilde hesaplanmıştır. 

       ve           

Tabloda her bir sütunda korelasyon katsayısını hesaplamak için ihtiyaç duyulan hesaplamalar yapıldıktan sonra korelasyon katsayısı (r) yukarıdaki formüller hesaplanmıştır. 

r=(- 14,71/n-1)= - 14,71/19

r=- 0,77 olarak bulunmuştur.

Bu katsayı x ile y arasında negatif ve güçlü bir doğrusal ilişkiye işaret etmektedir. 

Tablodan da görüleceği gibi kritik değer n=25 için 0,396. Hesaplanan (r=0,63) bu kritik sınırın dışında kalması ve 1'e daha yakın olması sebebiyle iki değişken arasında anlamlı pozitif bir korelasyondan söz edebiliriz. 

Tahmin edilen gelir= 1200 TL * (Eğitim Düzeyi) - 2800TL

Buna göre;

Gelir= 1200 (16) -2800 = 16400 TL'dir. 

Şekilden de görüldüğü gibi regresyon doğrusu yukarı doğru eğimlidir ve ortalama olarak gelirin eğitimle birlikte arttığını göstermektedir (pozitif korelasyon). En küçük kareler regresyon doğrusunun eşitliği genel olarak şeklinde ifade edilmektedir.

Bu eşitlikte b₁ = r (sy/sx), regresyon doğrusunun eğimini vermektedir.

Buna göre b₁ =0,35 (16000/4) =1.400 TL.

Gelir-eğitim ilişkisinde eğitimdeki bir standart sapmalık artışla ilişkili olarak, gelirde r*SD'lik bir artış vardır. Yani, fazladan 4 yıllık eğitim ortalama olarak fazladan 0,35 x 16.000TL= 5.600 TL gelir değerindedir. Yani her fazladan yıl 5.600 TL/4 = 1.400 TL eder. Regresyon doğrusunun eğimi yıllık 1.400 TL’dir.

Önce doğrunun eğimini hesaplayalım. En küçük kareler regresyon doğrusunun eşitliği genel olarak şeklinde ifade edilmektedir. Bu eşitlikte b₁ = r (sy/sx), regresyon doğrusunun eğimini vermektedir.

Buna göre eğim,  b₁ =0,35 (16000/4) =1.400 TL olarak bulunur.

En küçük kareler regresyon doğrusunun eşitliğinde  regresyon doğrusunun, y eksenini kestiği noktayı vermektedir.

Buna göre b0 = 19.700 - (1400* 12,5)= 19.700-17.500=2200 TL dir. Bir başka deyişle;

Regresyon doğrusunun kesişme noktası, 0 yıllık eğitime sahip erkeklere karşılık gelen,
x = 0 olduğundaki değeridir. Bu erkeklerin eğitim düzeyi ortalamanın 12,5 yıl altındadır. Hiç eğitim almamış bir kişinin ortalamanın altında bir gelire sahip olduğu tahmin edilmektedir.

12,5 yıl x yıllık 1.400 TL = 17.500 TL.

Dolayısıyla, gelirinin 19.700 TL - 17.500TL = 2.200 TL olduğu tahmin edilmiştir. Bu kesme noktasıdır: x = 0 olduğunda y'nin tahmin edilen değeri. 

Doğrunun eğimi x eksenindeki bir birimlik artışın y ekseninde ne kadarlık bir değişime sebep olduğunu gösterir ve matematiksel olarak aşağıdaki formülle hesaplanır. 

Eğim iki değişkenin aralarındaki korelasyon ve standart sapmalar dikkate alınarak aşağıdaki formülle de hesaplanabilir:

Örneğin öğrencinin kaygı düzeyi ile sınav başarısı arasındaki regresyon doğrusunun eğimi b1=-0,44 olması halinde "öğrencinin kaygısı 1 birim arttığında sınav performansı ortalama 0,44 birim azalır" şeklinde yorumlarız. 

Belirlilik katsayısı birden (1) büyük olamaz çünkü katsayı korelasyonun karesidir ve bu katsayı her zaman 0,0 ile 1.0 arasında bir değer verir. R²  bu değerlerden daha büyük veya daha küçükse, bir şeyler yanlış hesaplanmıştır. 

Belirlilik katsayısı da korelasyon katsayısı gibi iki sayısal değişkenin arasındaki ilişkinin gücünün bir ölçeğidir. Belirlilik katsayısı R² ile gösterilmektedir. Belirlilik katsayısı (R²) 0 ile 1 arasında değişiklik göstermektedir. Eğer R²=0 ise en küçük kareler regresyon doğrusu bağımlı değişkendeki değişimi açıklamakta yetersizdir. Eğer R²=1 ise en küçük kareler regresyonu doğrusu, bağımlı değişkendeki değişimi %100 açıklıyor anlamına gelmektedir. Belirlilik katsayısı (R²), Korelasyon katsayısının (r) karesine eşittir.

Çocuklarda kalp atış hızı ile yaş arasındaki ilişkiyi inceliyorsunuz ve iki değişkenin negatif Pearson korelasyonuna sahip olduğunu görüyorsunuz:

 r= - 0,28

Bu değer, belirlilik katsayısını ( R² ) kullanarak hesaplamak için kullanılabilir :

  R²= r² 

   R²= (-0,28)² 

   R²= 0,08

Çocuklarda kalp atış hızındaki değişimin %8'i onların yaşı ile açıklanmaktadır. %92'lik değişim ise hala farklı değişkenlerden kaynaklanmaktadır. 

Artıklar, doğrusal regresyon eşitliğinin, tahminleri temsil ediciliğinin önemli bir göstergesidir. Bu nedenle doğrusal regresyon eşitliğinden yapılan tahminlerin temsil ediciliğinin belirlenmesi için artıkların değerlendirilmesi gerekir Artıklar, y’nin gözlenen değeri (y) ile tahmin edilen değeri arasındaki farktır.

Wikipedia’nın tanımına göre, diğer gözlemlerden kayda değer derecede uzak olan gözleme, aykırı veya uç değer denir. Aykırı değerler, veri setinin geri kalanından farklı davranır.

Açıklanamayan değişkenlik, artıkların karelerinin toplanması ile elde edilir. Buna göre eğer artıkların karelerinin toplamı küçük değere sahipse, açıklanamayan değişkenliğin küçük olmasına ve R² nin büyük olmasına sebep olur. Gözlem değerlerinin (y), regresyon eşitliği ile elde edilen doğruya ve bu eşitlik ile yapılan tahminlere (^y ) yakın olduğunu işaret eder.

r₁ = 0.60  (motivasyon ve başarı)

r₂ = 0.30  (sosyoekonomik düzey ve başarı)

Korelasyon katsayıları birbirleri ile karşılaştırılırlarken ilk korelasyon katsayısının ikinci durama göre iki kat güçlü olduğu şeklinde bir yorum yapılmaz. Bunun yerine korelasyon katsayılarının kareleri alınarak belirlilik katsayısı hesaplanır ve bu şekilde oransal olarak karşılaştırılabilir. 

     r = 0.60  ise R₁² = 0.36   (motivasyon ve başarı)

     r = 0.30      R_2² = 0.09 (sosyoekonomik düzey ve başarı)

İlk durumda bağımsız değişken olan motivasyon başarıdaki toplam varyasyonun (ya da değişimin)% 36'sını açıklarken, ikinci olguda sosyo ekonomik düzey başarıdaki değişimin % 9'unu açıklamaktadır. 

Doğrusal ilişkinin uygunluğunun kontrolü için artıkların grafiği kullanılmaktadır. Artıkların grafiği, x ekseninde bağımsız değişkenlerin, y ekseninde ise artıkların çizilmesiyle elde edilir. Grafikte, artıklar bir desen göstermiyorsa (Şekil a), önerilen doğrusal modelin uygun olduğu kabul edilir.

Modelin uygunluğunun belirlenmesi için kullanılan diğer bir yöntem artıkların veryansının sabitliğinin değerlendirilmesidir (Şekil b). Uygun modellerde varyansın sabit olması beklenir. Şekil (b)’ de bağımsız değişkenin değeri arttıkça, artık değerlerinin saçıldığı dolayısıyla eşitlikle yapılacak tahminlerdeki belirsizliğinin, bağımsız değişkenin büyük değerleri için daha yüksek olduğuna işaret eder.