Dağıtık Platformlarla Büyük Verileri İşleme ve Çözümleme

Dağıtık platformlarla büyük veri işleme ve çözümleme (Big Data Processing and Analytics), terabayt ve petabayt ölçeğindeki veriyi tek bir bilgisayar yerine birbirine bağlı çok sayıda makinede parçalara bölerek işleme ve bu veriden anlamlı sonuçlar çıkarma yaklaşımıdır. Bu işi Hadoop ve Spark gibi platformlar yapar; Excel ise bu platformların ürettiği özet sonuçları Power Query ve formüllerle incelemek, doğrulamak ve raporlamak için kullanılır.

Büyük veri nedir ve hangi özellikleri taşır​

Büyük veri, hacmi, üretilme hızı ve çeşitliliği nedeniyle geleneksel veri tabanı yönetim sistemleriyle ve tek bir bilgisayarla rahatça işlenemeyen veri kümelerini ifade eder. Bu kümeler genellikle terabayt ya da petabayt boyutlarındadır; tablolar, metinler, günlük kayıtları, sensör verileri ve görüntüler gibi farklı biçimleri bir arada barındırabilir.

Büyük veri çoğunlukla şu beş özellikle tanımlanır:

• Hacim: Verinin çok büyük miktarlarda olması.
• Hız: Verinin sürekli ve hızlı biçimde üretilmesi, çoğu zaman anında işlenmesi gerekmesi.
• Çeşitlilik: Yapılandırılmış tabloların yanında metin, görüntü ve kayıt dosyaları gibi yapılandırılmamış verilerin de bulunması.
• Doğruluk: Verinin güvenilir, tutarlı ve eksiksiz olması; hatalı ya da yinelenen kayıtların ayıklanması.
• Değer: Verinin karar vermeye yarayan bir bilgiye dönüştürülebilmesi.

Dağıtık platformlarla büyük veri nasıl işlenir​

Dağıtık bilgi işlemde veri parçalara ayrılır, bu parçalar kümedeki farklı makinelerde (düğümlerde) aynı anda işlenir ve ara sonuçlar sonunda birleştirilir. Böylece işlem süresi, tek bir makinenin kapasitesiyle sınırlı kalmaz; kapasite gerektiğinde düğüm eklenerek artırılabilir. Bu ölçeklenebilirlik, büyük veri çözümlemesinin temel gerekliliğidir.

Yaygın yöntem ve araçlar şunlardır:

• Hadoop: Veriyi dağıtık bir dosya sisteminde (HDFS) saklar ve MapReduce modeliyle parça parça işler.
• Spark: Ara sonuçları genellikle bellekte tuttuğu için yinelemeli işlemlerde ve makine öğreniminde hızlı çalışır.
• Bulut bilişim: Gerekli işlem gücünü ve depolamayı ihtiyaç kadar kiralamayı sağlar.
• Makine öğrenimi ve doğal dil işleme: Büyük veri kümelerinden tahmin, sınıflandırma ve metin çözümlemesi yapar.

Bu yöntemler işletme ve pazarlama, sağlık, finans, ulaşım ve lojistik, eğitim ve araştırma gibi birçok alanda satış tahmininden rota planlamaya kadar karar süreçlerini iyileştirmek için kullanılır.

Excel'de büyük veri çözümlemesi nasıl yapılır​

Excel bir dağıtık işleme platformu değildir; bir çalışma sayfası en fazla 1.048.576 satır ve 16.384 sütun içerebilir. Ancak Hadoop veya Spark gibi bir platformda ya da bir veri ambarında özetlenen sonuçları incelemek için çok uygundur. Pratik yol, ham veriyi platformda gruplayıp toplamak, çıkan özet tabloyu Excel'e almak ve burada formüllerle doğrulayıp raporlamaktır.

Veriyi almak için Veri > Veri Al ve Dönüştür > Veri Al (Data > Get & Transform Data > Get Data) komutlarıyla Power Query'yi kullanabilirsiniz. Satır sayısı sayfa sınırını aşan veriyi sayfaya değil, Veri Modeli (Data Model) içine yükleyip Özet Tablo ile çözümleyebilirsiniz. Parçalı veriyi bölgeye ya da şehre göre toplamak için ÇOKETOPLA işlevi yeterlidir:
Aşağıdaki örneklerde dağıtık işlemenin üç temel fikrini, yani düğümlerde paralel çalışmayı, parçaları gruplayıp birleştirmeyi ve veri doğruluğunu denetlemeyi Excel'de küçük ölçekte görebilirsiniz.

1. Düğümlerde paralel işleme performansı​

Altı düğümlü bir kümede her düğümün işlediği kayıt sayısı ve süresi tabloda yer alıyor. Saniyede işlenen kayıt sayısını, her düğümün toplamdaki payını ve paralel çalışmada toplam kapasiteyi hesaplayacağız.
Düğüm 1 saniyede 20.000 kayıt işlemiştir. Düğümler aynı anda çalıştığı için işin toplam süresi, tüm sürelerin toplamı değil en uzun süredir; bu örnekte 150 saniyedir. Küme genelinde saniyede işlenen kayıt sayısı 93.333 olur. Payların toplamı %100 çıkar; bu da dağılımın eksiksiz olduğunu gösterir.

2. Parçalı veriyi şehre göre birleştirme​

Satış kayıtları farklı kaynaklardan parça parça gelmiştir. MapReduce mantığıyla önce kayıtlar şehre göre gruplanır, sonra toplamlar birleştirilir. Sağdaki özet bölümünde ÇOKETOPLA işlevinin İngilizce karşılığı olan SUMIFS kullanılır.
İstanbul için toplam 420, Ankara için 275, İzmir için 165 ve Bursa için 95 adet bulunur. Gruplanan toplamların birleşimi 955 eder; ham veriden doğrudan alınan kontrol toplamı 955 ile aynı olmalıdır. İki değer farklıysa özet listesinde eksik bir şehir vardır.

3. Veri kalitesini denetleme​

Sensörlerden gelen sıcaklık kayıtlarında eksik ölçümler ve yinelenen kayıt numaraları var. D sütunundaki formül her satırı Geçerli, Eksik ya da Yinelenen olarak etiketler; sağdaki özet bölümü etiketleri sayar.
Formül önce sıcaklık hücresinin boş olup olmadığına, sonra kayıt numarasının listede birden fazla geçip geçmediğine bakar. Geçerli kayıt sayısı 6, eksik kayıt sayısı 2 ve yinelenen kayıt sayısı 2 bulunur; toplam 10 kayıttır. Geçerli kayıtların oranı %60 olarak hesaplanır. Yinelenen kayıtlarda her iki satır da işaretlenir; birini silmeden önce hangisinin doğru olduğunu kontrol edin.

Sık sorulan sorular​

Excel büyük veri aracı olarak kullanılabilir mi? Tek başına değil. Milyonlarca satırın üzerindeki veri için Hadoop ya da Spark gibi platformlar kullanılır; Excel bu platformlardan gelen özet sonuçların incelenmesinde ve raporlanmasında işe yarar.

Excel bir sayfada kaç satırı destekler? En fazla 1.048.576 satır. Daha büyük veri kümeleri için Power Query ve Veri Modeli kullanılır; veri sayfaya yüklenmez, modelde tutulur.

Hadoop ile Spark arasındaki fark nedir? Hadoop, verinin dağıtık saklanmasını ve MapReduce ile işlenmesini sağlar. Spark ise ara sonuçları genellikle bellekte tuttuğu için yinelemeli işlemlerde daha hızlı çalışır. İkisi birlikte de kullanılabilir.

Büyük veride doğruluk neden önemlidir? Eksik, hatalı ya da yinelenen kayıtlar toplamları ve tahminleri bozar. Çözümlemeden önce veri kalitesinin denetlenmesi gerekir.

Kullanırken dikkat edin​

• Sayfa sınırını unutmayın: Bir çalışma sayfası en fazla 1.048.576 satır alır. Bundan büyük bir dosyayı sayfaya yüklemeye çalışırsanız veri kesilir. Bu durumda Power Query ile veriyi Veri Modeli'ne yükleyin ya da özetleme işlemini kaynak platformda yapın.
• Önce özetleyin, sonra Excel'e alın: Ham veriyi Excel'e taşımak yerine Hadoop, Spark ya da veri ambarı tarafında gruplayıp toplamak hem hız hem dosya boyutu açısından daha verimlidir. Excel'de ise özet sonucu formüllerle doğrulayın.
• Toplamları çapraz kontrol edin: Gruplanan özet toplamın, ham verinin doğrudan toplamıyla eşleştiğini kontrol edin. Aradaki fark çoğunlukla özet listesinde unutulmuş bir kategoriden ya da yazım farkından kaynaklanır.
• Başvuruları sabitleyin: Özet formüllerinde veri aralıklarını $C$2:$C$11 gibi mutlak başvurularla yazın. Aksi halde formülü aşağı kopyaladığınızda aralık kayar ve sonuçlar yanlış çıkar.
• Formüllerin yerel adları: Türkçe Excel'de işlev adları Türkçe, bağımsız değişken ayırıcısı çoğunlukla noktalı virgüldür. Aynı formülü İngilizce Excel'de virgülle yazarsınız. Örnek tablolardaki formüller İngilizce biçimdedir.
• İlgili konular:
  • Excel özellikleri: Power Query, Veri Modeli, Özet Tablo
  • İşlevler: TOPLA, ÇOKETOPLA, EĞERSAY, EĞER, MAK, BENZERSİZ

Örneklerdeki tabloları indirilebilir Excel dosyasında kendiniz de deneyebilirsiniz.