Veri analizi ve makine öğrenmesi dünyasında, mesafe ölçüleri veri noktaları arasındaki benzerliği veya farklılığı ölçmek için çok önemli bir rol oynar. Bu ölçüler, kümeleme, sınıflandırma ve boyut azaltma gibi çeşitli algoritma ve tekniklerin temelini oluşturur. Bu kapsamlı rehberde, en yaygın mesafe ölçülerini, özelliklerini ve her birinin ne zaman kullanılması gerektiğini gerçek hayattan örneklerle inceleyeceğiz.
1. Öklid Mesafesi
Öklid mesafesi, en yaygın kullanılan mesafe ölçüsüdür. İki nokta arasındaki düz çizgi mesafesini hesaplar. Bu, günlük hayatta kullandığımız mesafe kavramına en yakın olan ölçüdür.
- Formül: √(Σ(xi - yi)2)
- Özellikler: Sezgisel, orijinal mesafeleri korur
- En iyi kullanım alanı: Veriler sürekli ve normal dağılımlı olduğunda
Gerçek Hayattan Örnek:
Bir emlakçı düşünün. Müşterilerine ev önerirken, evlerin konumunu iki boyutlu bir haritada (enlem ve boylam) gösteriyor. Müşterinin istediği konuma en yakın evleri bulmak için Öklid mesafesini kullanabilir. Örneğin, müşteri (40.7128, -74.0060) koordinatlarında bir ev arıyorsa, diğer evlerin bu noktaya olan Öklid mesafesi hesaplanarak en yakın olanlar sıralanabilir.
2. Manhattan Mesafesi
Manhattan mesafesi, iki nokta arasındaki yatay ve dikey mesafelerin toplamıdır. Adını New York'un Manhattan bölgesindeki sokak düzeninden alır.
- Formül: Σ|xi - yi|
- Özellikler: Öklid mesafesine göre aykırı değerlere daha az duyarlıdır
- En iyi kullanım alanı: Özellikler farklı ölçeklerde olduğunda veya aykırı değerler varsa
Gerçek Hayattan Örnek:
Bir taksi şoförü düşünün. Manhattan'da bir noktadan diğerine gitmek için, sokakların ızgara yapısı nedeniyle doğrudan bir rota izleyemez. Bunun yerine, yatay ve dikey sokakları takip etmek zorundadır. Örneğin, (0,0) noktasından (3,4) noktasına gitmek için toplam 7 birim (3 birim sağa + 4 birim yukarı) hareket etmesi gerekir. Bu, Manhattan mesafesinin gerçek hayattaki bir uygulamasıdır.
3. Minkowski Mesafesi
Minkowski mesafesi, Öklid ve Manhattan mesafelerinin genelleştirilmiş halidir. Bir parametre (p) kullanarak farklı mesafe ölçüleri arasında geçiş yapabilir.
- Formül: (Σ|xi - yi|p)1/p
- Özellikler: Esnek, farklı mesafe ölçülerini birleştirir
- En iyi kullanım alanı: Farklı mesafe ölçülerinin etkisini incelemek istediğinizde
Gerçek Hayattan Örnek:
Bir e-ticaret şirketi, müşterilerine ürün önerilerinde bulunurken Minkowski mesafesini kullanabilir. Örneğin, kitap önerilerinde p=2 (Öklid mesafesi) kullanarak genel benzerliği ölçebilir, giysi önerilerinde ise p=1 (Manhattan mesafesi) kullanarak stil farklılıklarına daha duyarlı olabilir. Bu şekilde, farklı ürün kategorileri için en uygun mesafe ölçüsünü seçebilir.
4. Cosine Mesafesi
Cosine mesafesi, iki vektör arasındaki açının kosinüsünü hesaplar. Bu ölçü, vektörlerin yönünü dikkate alır, büyüklüklerini değil.
- Formül: 1 - (A · B) / (||A|| ||B||)
- Özellikler: Ölçekten bağımsız, yüksek boyutlu verilerde kullanışlı
- En iyi kullanım alanı: Metin verisi veya yüksek boyutlu seyrek verilerle çalışırken
Gerçek Hayattan Örnek:
Bir belge sınıflandırma sistemi düşünün. Her belge, içerdiği kelimelerin frekanslarıyla temsil edilir. İki belgenin benzerliğini ölçmek için cosine mesafesi kullanılabilir. Örneğin, bir haber makalesi ile bir bilimsel makale arasındaki benzerlik, kelime vektörlerinin cosine mesafesi hesaplanarak bulunabilir. Bu, belgelerin uzunluğundan bağımsız olarak, içerik benzerliğini ölçer.
5. Jaccard Mesafesi
Jaccard mesafesi, iki küme arasındaki benzerlik derecesini ölçer. Özellikle ikili (binary) veriler için kullanışlıdır.
- Formül: 1 - |A ∩ B| / |A ∪ B|
- Özellikler: İkili veriler için uygun, 0-0 eşleşmelerini göz ardı eder
- En iyi kullanım alanı: İkili veriler veya küme tabanlı problemlerle çalışırken
Gerçek Hayattan Örnek:
Bir film öneri sistemi düşünün. Her kullanıcı, izlediği filmlerin bir listesine sahip. İki kullanıcının film zevklerinin benzerliğini ölçmek için Jaccard mesafesi kullanılabilir. Örneğin, A kullanıcısı {Titanic, Avatar, Star Wars} filmlerini izlemiş, B kullanıcısı ise {Avatar, Star Wars, Inception} filmlerini izlemiş olsun. Jaccard benzerliği (1 - Jaccard mesafesi) = |{Avatar, Star Wars}| / |{Titanic, Avatar, Star Wars, Inception}| = 2/4 = 0.5 olacaktır. Bu, iki kullanıcının film tercihlerinin orta derecede benzer olduğunu gösterir.
6. Mahalanobis Mesafesi
Mahalanobis mesafesi, veri setindeki korelasyonları dikkate alır ve ölçekten bağımsızdır.
- Formül: √((x-μ)T S-1 (x-μ))
- Özellikler: Kovaryansı hesaba katar, çok değişkenli verilerde aykırı değerleri tespit eder
- En iyi kullanım alanı: Veriler farklı ölçeklerde ve değişkenler arasında korelasyonlar olduğunda
Gerçek Hayattan Örnek:
Bir kredi skorlama sistemi düşünün. Müşterilerin gelir, harcama, borç gibi finansal özellikleri var. Bu özellikler arasında korelasyonlar olabilir (örneğin, yüksek gelir genellikle yüksek harcama ile ilişkilidir). Mahalanobis mesafesi, bu korelasyonları dikkate alarak daha doğru bir risk değerlendirmesi yapmanıza olanak tanır.
Örneğin, iki müşteri düşünelim:
- Müşteri A: Yıllık gelir 100.000 TL, aylık harcama 8.000 TL, toplam borç 50.000 TL
- Müşteri B: Yıllık gelir 50.000 TL, aylık harcama 7.000 TL, toplam borç 40.000 TL
Öklid mesafesi kullanırsak, bu iki müşteri arasında büyük bir fark görebiliriz. Ancak Mahalanobis mesafesi, gelir ile harcama arasındaki pozitif korelasyonu ve gelir ile borç arasındaki ilişkiyi dikkate alır. Bu durumda, Müşteri B'nin gelire oranla daha yüksek harcama ve borç seviyesine sahip olduğunu ve potansiyel olarak daha riskli olabileceğini gösterebilir.
Mahalanobis mesafesi, bu tür çok boyutlu ve korelasyonlu verilerde, "normal" profilden ne kadar uzaklaşıldığını ölçerek, kredi risk skorlamasında daha hassas ve doğru sonuçlar elde etmenizi sağlar. Bu sayede, sadece tek tek değerlere bakmak yerine, müşterinin genel finansal profilini daha iyi anlayabilir ve daha doğru kredi kararları verebilirsiniz.
7. Kullback-Leibler Mesafesi (KL Divergence)
Kullback-Leibler Mesafesi, aslında bir mesafe ölçüsü değil, bir divergence (ıraksama) ölçüsüdür. İki olasılık dağılımı arasındaki farkı ölçer. Genellikle bir dağılımın diğerine ne kadar "uzak" olduğunu belirlemek için kullanılır.
- Formül: DKL(P||Q) = Σ P(x) * log(P(x) / Q(x))
- Özellikler: Asimetrik (P'den Q'ya olan mesafe, Q'dan P'ye olan mesafeden farklı olabilir), negatif olmayan bir değerdir
- En iyi kullanım alanı: İki olasılık dağılımını karşılaştırırken, özellikle makine öğrenmesi ve bilgi teorisi uygulamalarında
Gerçek Hayattan Örnek:
Bir doğal dil işleme uygulaması düşünün. Bu uygulama, farklı yazarların metinlerini analiz ediyor ve bir metnin hangi yazara ait olduğunu tahmin etmeye çalışıyor. Her yazar için, kullandıkları kelimelerin frekans dağılımı bir model olarak oluşturulur. Yeni bir metin geldiğinde, bu metnin kelime dağılımı ile her yazarın modelinin kelime dağılımı arasındaki Kullback-Leibler Mesafesi hesaplanır.
Örneğin, elimizde A ve B yazarlarının modelleri var. Yeni gelen bir X metninin A yazarına mı yoksa B yazarına mı ait olduğunu belirlemek istiyoruz:
- DKL(X||A) = 0.3 (X'in dağılımı ile A'nın dağılımı arasındaki KL mesafesi)
- DKL(X||B) = 0.7 (X'in dağılımı ile B'nin dağılımı arasındaki KL mesafesi)
Bu durumda, X metni A yazarının modeline daha "yakın" olduğu için (daha düşük KL mesafesi), metnin A yazarına ait olma olasılığı daha yüksektir diyebiliriz.
KL Divergence'ın asimetrik doğası nedeniyle, DKL(A||X) ≠ DKL(X||A) olabilir. Bu özellik, özellikle anomali tespiti gibi uygulamalarda faydalı olabilir, çünkü normal ve anormal dağılımlar arasındaki farkı daha belirgin hale getirebilir.