Büyük Veri Entegrasyonu (Bütünleştirme)

Herhangi bir Büyük Veri projesindeki en önemli ve ana adım Büyük Verinin entegrasyonudur (bütünleştirme). Bunun yanında dikkat edilmesi gereken birkaç konu daha vardır. Genel anlamda Büyük Veri Entegrasyonu, çeşitli ve farklı kaynaklardan ve yazılım formatlarından elde edilen verilerin birleştirilmesi ve kullanıcılara dönüştürülmüş ve birleştirilmiş görünümün sunulmasıdır.

“Entegrasyonu tamamlanmış” Büyük Veri yönetimi, karar verme mekanizmalarında daha fazla güven sağlar ve yüksek anlama/kavrama etkisi yaratır. Büyük veri setlerinin entegrasyon süreci oldukça karmaşık olabilir ve birçok zorluk çıkabilir. Veri belirsizliği, veri yönetimi, veri kaynakları arasındaki senkronizasyon, veriyi anlayabilme ve kavrama gibi hususlar entegrasyon sürecinde karşılaşılan bazı zorluklardır.

Image by Pete Linforth from Pixabay

Büyük Veri uygulamasının birincil amacı, verileri yeni ve eşsiz şekillerde sunmaktır. Hedeflerden biri yeni anlayışlar ve iş dünyasında yeni avantajlar kazanmaktır. Verileri “organize etmeden” önce, iş ve bilimsel araştırmalar da dahil olmak üzere, kuruluşun gereksinimlerini tanımak, geniş çaplı Büyük Veri projelerinde önemlidir. Büyük Veri Entegrasyonu geleneksel verileri, sosyal medyayı, Nesnelerin İnterneti’nden (loT: Internet of things) elde edilen verileri ve ticari işlem verilerini birleştirir. Uyumlu olmayan ya da dönüştürülmemiş veriler, bu tür projelerde fayda sağlamaz.

Büyük Veri hakkındaki tartışmaların çoğunun, günümüzdeki güçlü analiz araçlarının geliştirilmiş olmasıyla çok yakından ilgisi vardır. Ancak herhangi bir analitik analiz gerçekleştirmeden önce, veri bütünleştirilmesinin (Entegrasyonu) yapılması gerekir. Bu, verilerinizin – geçmiş tarih, operasyonel ve gerçek zamanlı olarak – tüm süreç boyunca güvenlik ve kontrol vaat eden teknolojilerle uyumlu olarak, taşınması, dönüştürülmesi ve kullanıcılara sunulması gerektiği anlamına gelmektedir.

Büyük Veri Entegrasyon Araçları

Veri entegrasyonu için kullanılan “geleneksel” araçlar evrilmeye devam etmektedir. Bu araçlar, Büyük Veri hacminin artmasının yanı sıra, gittikçe artan yapılandırılmamış veri çeşitliliğini işlemek için yetenekleri bakımından yeniden değerlendirilmelidirler. Entegrasyon teknolojileri,Veri Kalitesini ve profil oluşturmayı desteklemek için ortak bir platforma sahip olmalıdır.

Farklı uygulamalardan gelen veri entegrasyonu, bir ortamdan (kaynak) veri alır ve onu başka bir veri ortamına (hedef) gönderir. Geleneksel veri ambarlarında, verileri düzenlemek için ETL (alma, dönüştürme ve yükleme) teknolojileri kullanılır. Bu teknolojiler, Büyük Veri ortamları içerisinde çalışmak için gelişmiştir ve gelişmeye de devam etmektedir.

Büyük Veri ile çalışırken, çeşitli kaynaklar karşısında gerçek zamanlı entegrasyon ile toplu entegrasyon işlemlerini destekleyen araçlar, oldukça faydalı olabilir. Örnek olarak bir ilaç şirketi, Ana Veri Yönetimi sisteminde depolanan verileri ve reçeteli ilaç kullanımının sonuçlarını açıklayan kaynaklardan elde edilen Büyük Verileri birleştirmek isteyebilir.

Bulut kullanılırken, bir-Hizmet-olarak entegrasyon Platformu (iPaaS: integration platform as a service) kullanılarak veriler organize edilebilir. Bu hizmetin kullanımı genellikle kolaydır ve bir-Hizmet-olarak-Yazılım (Saas: Software as a service) gibi Bulut dayanaklı kaynaklardan elde edilen verileri içerebilir.

Kuruluşlar, güvenilir verilerin toplanması, birleştirilmesi, güçlendirilmesi ve teslim edilmesini teşvik etmek için Ana Veri Yönetimi sistemlerini kullanır. Buna ek olarak, Scribe ve Sqoop gibi yeni araçlar da Büyük Veri entegrasyonunu desteklemek için kullanılmaktadır. Aynı zamanda da Büyük Veri araştırmasında ETL (Extract Transform Load) teknolojilerine dair artan bir eğilim söz konusudur.

Büyük Veri Entegrasyonunun Zorlukları

Kalifiye Eleman: Veri bilimcileri ve Büyük Veri analistlerinin sayısı artmaya devam etse bile Büyük Veri araştırması endüstrisindeki tüm pozisyonları doldurmak için hala yeterli değildir. Tipik bir Büyük Veri uzmanı, ilgili araçların kullanımı ve uygulanması konusunda deneyim kazanmıştır. Verilerin en iyi şekilde araştırılması için nasıl organize edileceğine dair iyi bir yaklaşıma sahiptir. Veri bilimciler ve Büyük Veri analistleri bellek içi analitikler, NoSQL Veri Yönetimi çerçeveleri ve Hadoop ekosistemlerinin yanı sıra, geleneksel ilişkisel veritabanı sistemleri hakkında da bilgi sahibi olması gerekmektedir.  

Verileri Getirme: Çok sayıda ve çeşitli kaynaklardan elde edilen verilere erişmek başlı başına bir zorluktur. Verinin doğru bir şekilde elde edilmesi, Büyük Verilerin analiz edilmesi ve işlenmesi için çok önemlidir.

Senkronizasyon: Farklı kaynaklardan elde edilen veriler farklı programlar ve oranlar kullanır ve kaynak sistemden hızlı bir şekilde desenkronize edilebilir. Veri senkronizasyonu, sistemlerde tutarlılık sağlar ve bu tutarlılığı korumak için sürekli olarak güncellemeler yapar. Geleneksel Veri Yönetimi sistemlerinde, veri alma, taşıma ve tüm dönüşüm süreci, desenkronizasyonu teşvik eder.

Veri Yönetim Araçları: Büyük Veri Yönetimi araçları arasındaki uyumsuzluk problemlere neden olabilir. Örneğin bu sistemler NoSQL yaklaşımlar ile uyumlu olmayabilir. NoSQL araçların kapasitesi farklı yaklaşımların uygunluğuna dair bazı karışıklıklara sebep olabilir. Yüksek derecede fonksiyonel bir veri entegrasyon sistemi için en uygun araçların seçilmesi, öngörürlük gerektirmektedir. Veri depolamayı başlatmayı planlayan küçük kuruluşlar, hangi araçları kullanacakları konusunda karar verme ile karşı karşıya kalırlar.

Bir Strateji Seçme: Büyük Veri Entegrasyonu, genellikle bilgi paylaşımı kapsamında basit bir ihtiyaçla başlar. Bunu genellikle analiz amaçlı “veri depolarını” ayırma ilgisi takip eder. Çoğu işletme genellikle kuruluşa ait geröek ve detaylı bir plan olmaksızın bir projeden diğerine atlar. Büyük veri işlemlerinde güvenlik ve uyumluluk ihtiyaçlarını da içeren hedeflere ulaşmak için gerçek bir veri entegrasyonu stratejisinin geliştirilmesi gerekmektedir.

Büyük Resmi Düşünmek

Büyük Veri Entegrasyonunu görmezden gelmek, uzun vadede, verimsizlik ve zaman kaybına sebep olur. Birçok kurumsal lider, gerekli değerlendirmeleri ve testleri yapmadan, tüm veri entegrasyonu çözümlerinin eşit olduğuna inandığı teknolojiyi kabul eder. Aslında, fonksiyonlar ve ele alınan problemler açısından, çeşitli veri entegrasyonu teknolojileri bulunmaktadır. Dikkate alınacak hususlar performansı, Veri Yönetimini ve güvenliği içermelidir.

Büyük Veri Entegrasyonu çözümlerini uygulayan kuruluşlar genel olarak dikkate alınması gereken bu hususları görmezden gelirler, çünkü bu kavramların aslında veri entegrasyonuyla ilgili olduğunu anlamazlar. Bunlar, mantıksal bir mimari ile başlayan ve fiziksel konuşlandırmaya geçen veri entegrasyon sürecinin temel bileşenleri olarak olması gereken kavramlardır. Veriler ilk aşamada entegre olmazlarsa, daha sonra eklenmeleri gerekecektir. Performans, yönetim ve güvenlik entegrasyonu önemli olarak görünürken, birçok kuruluş planlama aşamasında bu süreçleri dikkate almamaktadır.

Veri entegrasyon teknolojisi, bulut ve Büyük Veri gibi altyapı değişiklikleriyle birlikte gelişmeye ve değişmeye devam ediyor. Esnekliğine ve devam eden evrimine rağmen, Büyük Veri Entegrasyon sistemini kurarken planlama aşamasında bu hususları ayrıntılı bir şekilde dikkate almak gerekir.

Büyük Veri Veritabanları

Büyük Veri veritabanının temel öğeleri, geleneksel ilişkisel veritabanlarıyla kıyaslandığı zaman verileri yeni yöntemlerle organize eder. Bu ilk olarak ölçeklenebilirliğin ve de yapılandırılmış ve yapılandırılmamış verilerin kullanımının sonucudur. Büyük Veri analizinin kullanışlı olabilmesi için üst yönetim tarafından anlaşılmalı ve güvenilmelidir. Büyük Veri ekosisteminin temellerini Cassandra, Hadoop, Hbase, MongoDB ve benzer teknolojiler oluşturur. Bu sistemlerin her birinin kendi veri toplama ve yükleme yöntemleri olsa da birkaçı temel olarak Hadoop’u kullanır. En iyi Büyük Veri platformunun seçilmesi, ciddi manada bilgi, öngörü ve deneyim gerektirir.

Cassandra iki Büyük Veri teknolojisi olan Dynamo ve Google’ın açık kaynaklı BigTable’ını birleştirmiştir.

Bu platform, “son derece” ölçeklenebilirdir ve modern işletmelerde Veri Yönetimi zorluklarıyla başa çıkmak için tasarlanmıştır. Cassandra, Hadoop entegrasyonu ve MapReduce desteği ile birlikte gelir. Cassandra’nın eksik yönleri; veri almak için sınırlı seçenekleri içermesi ve arka plan görevlerinin performansı “ara sıra” öngörülemez hale getirmesidir.

Hadoop, üç büyük güçle gelmektedir. Hem yapılandırılmış hem de yapılandırılmamış verilerle çalışır, düşük maliyetlidir (açık kaynaklı) ve hızlıdır. Kaynaklar sosyal medyadan, tıklama verilerinden ya da devlet kurumlarından gelebilir. Bir veri depolama sistemi olarak, Hadoop şaşırtıcı derecede düşük maliyetli bir çözümdür. Ayrı bir depolama olarak, birincil sistemin daha hızlı bir şekilde çalışmasını sağlar. Aynı zamanda da kayıp olan veriler için otomatik yedekleme sağlar. Bununla birlikte, Hadoop herhangi bir güvenlik sağlamaz ve kolayca hacklenebilir. Ayrıca da “küçük” verilerle çalışma konusunda çok iyi değildir.

Hbase tutarlılık, sharding ve yük devretme desteği ve yük paylaşımı da dahil olmak üzere bazı güçlere sahip olan çok popüler bir platformdur. Ayrıca bazı zayıflıklarla da birlikte gelir. Eğer “Hmaster” çökerse, kurtarması “uzun zaman” almaktadır. Aynı zamanda da sorgulama ile ilgili bazı problemlere sahiptir ve tablo içerisinde birden fazla indeksleme sağlayamamaktadır.

MongoDb çok hızlı doküman tipi bir veritabanıdır ve ACID özellikleri sunar. Otomatik olarak çalışan bir yük devretme mekanizmasına sahiptir. LDAP ve AD gibi ortak kimlik doğrulama mekanizmalarını destekler ve çoğaltmayı çok kolay hale getirir. Auto-sharding, yatay ölçeklenebilirliği mümkün hale getirir ve veritabanı sorgulamayı kolaylaştırır. Ne yazık ki, JOIN işlemlerini ve transaction işlemlerini desteklememektedir. Aynı zamanda indeksleme yöntemleri nedeniyle bazı hafıza sınırlamalarına sahiptir.