Kümeleme Sınıflandırma Birliktelik Kurallarıyla Veri Madenciliği Yapma

Veri madenciliği (Data Mining), büyük veri kümelerinden kümeleme, sınıflandırma ve birliktelik kuralları gibi yöntemlerle anlamlı örüntüler ve öngörüler çıkarma işidir. Excel'de veri madenciliği yapma sürecinde hazır bir veri madenciliği menüsü yoktur; ancak bu yöntemlerin temel mantığını formüllerle kurup küçük ve orta ölçekli verilerde uygulayabilirsiniz. Bu sayfada üç temel yöntemi ve anomali tespitini çalışan örneklerle anlatıyoruz.

Excel'de veri madenciliği nasıl yapılır​

Excel, K-Means ya da karar ağacı gibi algoritmaları tek tıkla çalıştıran bir menü sunmaz. Bunun yerine yöntemlerin mantığını kendiniz kurarsınız:

• Formüller: Uzaklık, skor, destek ve güven gibi ölçütler EĞER, ÇOKEĞERSAY, ORTALAMA gibi işlevlerle hesaplanır.
• Özet Tablo (PivotTable): Verileri gruplamak, saymak ve hangi ürünlerin birlikte satıldığına ilk bakışı yapmak için kullanılır.
• Veri Analizi Araç Takımı (Analysis ToolPak): Regresyon ve tanımlayıcı istatistik gibi analizleri sunar. Eklentiyi Dosya > Seçenekler > Eklentiler (File > Options > Add-ins) yolundan etkinleştirdikten sonra Veri sekmesinde bulursunuz.

Çok büyük veri kümeleri ya da DBSCAN, rastgele orman ve Isolation Forest gibi gelişmiş algoritmalar için Python veya R gibi araçlar daha uygundur. Excel ise yöntemin mantığını anlamak, hızlı prototip kurmak ve sonuçları raporlamak için çok elverişlidir.

Kümeleme, sınıflandırma ve birliktelik kuralları arasındaki fark​

Üç yöntem farklı sorulara cevap verir:

• Kümeleme: Benzer özelliklere sahip kayıtları, önceden etiket olmadan gruplar. Müşteri segmentasyonunda sık kullanılır. Yaygın algoritmalar K-Means, hiyerarşik kümeleme, DBSCAN, spektral kümeleme ve Gausyen karışım modelidir.
• Sınıflandırma: Daha önce etiketlenmiş verilerden öğrenerek yeni kaydı bir kategoriye atar. Tahmin ve karar destek uygulamalarında kullanılır. Karar ağaçları, rastgele orman, lojistik regresyon, destek vektör makineleri ve Naive Bayes bilinen algoritmalardır.
• Birliktelik kuralları: Sıkça birlikte görülen öğeleri bulur; perakende ve pazarlamada sepet analizi için kullanılır. Apriori, FP-growth ve Eclat öne çıkan algoritmalardır.

Kısaca kümelemede etiket yoktur, sınıflandırmada etiket vardır, birliktelik kurallarında ise amaç öğeler arasındaki ilişkiyi ölçmektir.

Excel'de anomali tespiti nasıl yapılır​

Anomali tespiti, veri kümesindeki sıra dışı değerleri bulmaya odaklanır ve sahtekarlık ya da hata yakalamada kullanılır. Excel'de en kolay yol Z-score yöntemidir: her değerin ortalamadan kaç standart sapma uzakta olduğunu hesaplarsınız. Değer sütunu B2:B100 aralığındaysa şu formülü kullanabilirsiniz:
Sonucun mutlak değeri pratikte genellikle 3'ün üzerindeyse değer aykırı kabul edilir; bu eşik bir pratik kuraldır, verinizin yapısına göre değiştirebilirsiniz. LOF ve Isolation Forest gibi yoğunluk ve ağaç tabanlı yöntemler ise Excel'de formülle kurulamaz, Python veya R gerektirir.

1. Müşterileri iki kümeye ayırma​

Müşterileri yıllık harcama (bin TL) ve yıllık ziyaret sayısına göre iki gruba ayırıyoruz. 10. ve 11. satırda başlangıç merkezleri yer alır. D ve E sütunları her müşterinin iki merkeze olan Öklid uzaklığını, F sütunu ise daha yakın olan kümeyi bulur.
Ayşe Demir için Küme 1 merkezine uzaklık 2,24, Küme 2 merkezine uzaklık 46,04 çıkar ve müşteri Küme 1 grubuna atanır. Mehmet Kaya ise Küme 2 grubuna girer. Merkez değerlerini değiştirdiğinizde atamalar kendiliğinden güncellenir.

2. Basit kurallarla sınıflandırma ve doğruluk ölçme​

Müşterileri aylık sipariş sayısı ve son siparişten bu yana geçen güne göre Aktif ya da Pasif olarak sınıflandırıyoruz. E sütunu karar ağacına benzer bir kuralla tahmin üretir, F sütunu tahminin gerçek durumla uyuşup uyuşmadığını işaretler ve son satır doğruluk oranını hesaplar.
Kural, en az üç aylık sipariş ve en çok 30 gün önceki son sipariş koşulunu arar. Burcu Tan için tahmin Aktif, Hakan Tunç için Pasif çıkar; Hakan'ın gerçek durumu farklı olduğu için kural orada yanılır. Tüm tablodaki doğruluk oranı %87,5 olarak hesaplanır. Eşikleri değiştirip oranın nasıl etkilendiğini deneyebilirsiniz.

3. Sepet analizinde destek, güven ve lift​

Sekiz market sepetinde hangi ürünlerin birlikte alındığına bakıyoruz. Alınan ürün için 1, alınmayan için 0 yazılmıştır. Alt satırlarda Süt ve Ekmek birlikteliğinin desteği, güveni ve lift değeri hesaplanır.
Süt ve Ekmek birlikte sepetlerin %50 kadarında görülür; bu destek değeridir. Süt alan müşterilerin Ekmek de alma oranı, yani güven %80 çıkar. Lift değeri 1,07 olduğundan ve 1'in üzerinde kaldığından iki ürün arasında pozitif bir ilişki vardır. Sekiz sepet çok küçük bir örnek olduğu için gerçek kararlarda çok daha geniş veri kullanmalısınız.

Sık sorulan sorular​

Excel veri madenciliği için yeterli mi?
Küçük ve orta ölçekli veriler ile temel analizler için yeterlidir. Milyonlarca satır ya da karmaşık algoritmalar için Python veya R gibi araçlar gerekir.

K-Means Excel'de birebir çalıştırılabilir mi?
Algoritmanın bir adımını, yani kayıtları en yakın merkeze atamayı formülle kurabilirsiniz. Merkezleri yinelemeli olarak güncellemek için VBA ya da başka bir araç kullanmak gerekir.

Destek, güven ve lift ne anlama gelir?
Destek, birlikteliğin tüm sepetler içindeki payıdır. Güven, ilk öğeyi alanların ikinci öğeyi de alma oranıdır. Lift, güvenin ikinci öğenin genel satın alınma oranıyla karşılaştırılmasıdır; 1'in üzerindeki değer pozitif ilişkiye işaret eder.

Sınıflandırmanın başarısı nasıl ölçülür?
En basit ölçüt doğruluk oranıdır: doğru tahmin sayısının toplam kayıt sayısına bölünmesidir. Gerçek çalışmalarda modeli eğitim ve sınama verisi olarak ayrı kümelerde denemek gerekir.

Kullanırken dikkat edin​

• Değişkenleri aynı ölçeğe getirin: Uzaklığa dayalı kümelemede bir sütunun değerleri çok büyükse sonucu tek başına o sütun belirler. Tutar ile ziyaret sayısı gibi farklı ölçekli sütunları karşılaştırırken değerleri standartlaştırın ya da benzer aralığa çekin.
• Destek düşükse güvene tek başına güvenmeyin: Birliktelik kurallarında güven yüksek görünse bile destek düşükse kural birkaç tesadüfi sepetten doğmuş olabilir. Destek, güven ve lift değerlerini birlikte yorumlayın.
• Doğruluk oranı tek başına yetmez: Kuralı kurduğunuz veriyle sınarsanız doğruluk olduğundan yüksek çıkar. Veriyi eğitim ve sınama olarak ayırıp kuralı yalnızca eğitim kısmında belirleyin, doğruluğu sınama kısmında ölçün.
• İlişki, nedensellik demek değildir: İki ürünün birlikte alınması birinin diğerine neden olduğunu göstermez. Sonuçları iş bilginizle birlikte değerlendirin ve kampanya kararlarını küçük denemelerle doğrulayın.
• İlgili konular:
  • İşlevler: EĞER, VE, ÇOKEĞERSAY, EĞERSAY, BAĞ_DEĞ_SAY, ORTALAMA, STDSAPMA.S, KAREKÖK
  • Excel özellikleri: Özet Tablo, Veri Analizi Araç Takımı, Koşullu Biçimlendirme
  • Konular: Müşteri segmentasyonu, sepet analizi, Z-score ile aykırı değer bulma

Örneklerdeki tabloları indirilebilir Excel dosyasında kendiniz de deneyebilirsiniz.