Bilişimin yeni ufku: Büyük Veriler ( Big Data )

1. Bilişimin yeni ufku: Büyük Veriler (Big Data) Büyük veriler, mevcut bilgi sistemlerinin işleyemeyeceği kadar geniş ve karmaşık veri kümelerine verilen addır. Diğer bir deyişle, bilinen veritabanı yönetim sistemleri ve yazılım araçlarının, verileri toplama, saklama, yönetme ve çözümleme yeteneklerini aşan büyüklükteki verilere büyük veri-big data- denir. Günümüzde bu büyüklük onlarca terabayt’ tan (1 terabayt= 1000 gigabayt, 10 üzeri 12 bayt) petabayt’lara (10 üzeri 15 bayt) uzanır.

2. Büyük veriler, yüksek hacimlerinin yanında, yüksek veri üretim hızı ve yüksek veri değişkenliğe sahip enformasyonlardan oluşur ve ileri düzeyde karara destek, verilerden anlam çıkarma ve süreç optimizasyonu yapabilmemizi sağlar. Ama bunun için de yepyeni bilgi işleme ve analiz yöntemleri gerektirir.

3. Bu kadar çok veri neden ve nasıl toplanıyor? • Firmalar müşterileri, tedarikçileri, işlemleri ve ürünleri ile ilgili trilyonlarca bayt’ lık veri toplamakta • Cep telefonları, araçlar, iş makinaları, akıllı sayaçlar gibi sistemlerde bulunan milyonlarca almaç (sensor), hızla girmekte olduğumuz «eşyaların internet’ i- internet of things-» çağında ürettikleri verileri çeşitli uygulamalara aktarmakta. • Sosyal medya siteleri, tüm dünyada milyarlarca insanın ürettiği her çeşit veriyi depolamakta

4. Sayısal dünyamızdaki tipik bir tüketicinin günlük yaşamında internette yaptığı iletişim, arama, satın alma, paylaşma türü işlemlerin yarattığı ve verilerin de tümü saklanmakta. • Wallmart’ ın 1 saat içerisinde sistemlerine kaydettiği transaction sayısı: 1 milyon • Facebook’ ta yüklenen fotoğraf sayısı: 40 milyar • 2013 yılı sonunda internet üzerinde dolaşacak bilginin toplam boyutu: 667 exabyte

5. 1 trilyon sayfanın endekslendiği Google üzerinde yapılan günlük arama sayısı: 5 milyar • 2005’ te 1.3 milyar RFID etiketi var iken 2010’ da bu sayı: 30 milyar. • 2 milyar internet kullanıcısı, 5 milyar mobil telefon ve buna bağlı sayısız transaction • Twitter’ da günlük işlenen veri hacmi: 7 terabyte, Facebook’ ta ise: 10 terabyte.

6. Günümüzde bizler sahip olduğumuz veriyi ilişkisel veritabanları’ nda (relational databases) yapısal (structured) bir şekilde sınıflandırarak ve aralarında ilişkiler kurarak saklıyoruz. Yöneticiler ise, bu veritabanları üzerinde çalışan raporlama sistemleri sayesinde üretilen raporlar ile kararlar alıyorlar. Yukarıda da belirtildiği üzere, artık günümüzde hem işletmelerimize hem de müşterilerimize ait pek çok veri kaynağı var.

7. Bugüne kadar tüm bu bilgiler bilgi çöplüğü olarak nitelendiriliyordu, çünkü bu verinin mevcut veritabanlarında saklanması ve raporlama sistemlerinde kullanılması imkansızdı. Bugüne kadar veriler, daha önceden belirlenen rakamsal ya da sözel veri tipleri şeklinde, önceden tasarlanan tablolarda saklanmaktaydı.

8. Ama bugün, bir müşterinin facebook üzerindeki izlerini takip etmek istediğimizde işin içine resim, müzik, video gibi bilinen raporlama sistemleri ile ilişkilendiremeyeceğimiz bilgi tipleri dahil olmaktadır. Günümüzde artık, tüm bu bilgilerin kullanılması amaçlanmaktadır. Özetle, amaç bilgi çöplüğünden hazine çıkarmaktır.

9. Büyük Veri Veri Bileşenleri Büyük veri oluşumunda 5 bileşen vardır. İngilizce karşılıklarından ötürü 5V olarak adlandırılan bileşenler; • Variety, • Velocity, • Volume, • Verification, • Value.

10. Variety: Üretilen verinin %80’ i yapısal veri değildir. Her veri kaynağının ürettiği veri farklı teknolojiler içerecektir. Dolayısıyla, «veri tipi» problemleri ile uğraşılması gerekmektedir. Velocity (hız): Hızlı üreyen veri, o veriye muhtaç olan işlem sayısının ve çeşitliliğinin de aynı hızda artması sonucunu doğurmaktadır.

11. Volume (veri büyüklüğü): IDC istatistiklerine göre, 2020’ de ulaşılacak veri miktarı 2009’ un 44 katı olacak. Kurumun veri arşivleme, işleme, bütünleştirme, saklama vb. teknolojilerinin bu büyüklükteki veri hacmiyle nasıl başa çıkacağının kurgulanması gerekmekte. Verification (doğrulama): Verinin akışı sırasında, doğru katmandan, olması gerektiği güvenlik seviyesinde izlenmesi, doğru kişiler tarafından görünebilir veya gizli kalması gerekiyor.

12. Value (değer): En önemli bileşen ise değer yaratmasıdır. Büyük veri’ nin, veri üretim ve işeme katmanlarınızdan sonra kurum içi bir artı değer yaratıyor olması gerek. Karar veriş süreçlerine anlık olarak etki etmesi, doğru kararın verilmesinde hemen el altında olması gerekmekte.

13. Büyük Veri – Veri Ambarları Bilgisayar teknolojilerinin kullanılmaya başladığı yıllardan itibaren üretilen tüm veriler, yapısal biçimde veritabanlarında saklanıyordu. Fakat bu verilerin birikmiş olması ve farklı kaynaklardan toplanan farklı verilerin tamamının göz önünde tutulması ihtiyacı, bizleri veri ambarına yöneltmektedir. Neden «büyük veri» kavramı çıktı? Bunun 2 önemli nedeni vardır:

14. Şimdiye kadar kullanılan tüm data yapısal (structured) ve veri tipleri tüm dünya veritabanı standartlarında kabul edilen veri tiplerinde idi. • Veri ambarı projelerinde anlık bilgiye erişilemez. Kaldı ki bu da, iş dünyasının hızına ayak uydurulmasında karşımıza çıkan büyük bir sorundur.

15. Hemen her alanda bilişim teknolojileri kullanılan yer küremizde sayısal veri üretimi, yapılan işlerin ve tüm etkinliklerin bir yan ürünü haline gelmiş durumda.

16. Örneğin, yüksek çözünürlüklü (HD) bir video’ nun tek bir saniyesi, 1 tam sayfa metnin veri hacminin tam 2000 katı veri üretmektedir. Büyük verilerin kaynaklarına birkaç örnek vermek gerekirse; • CERN’ deki LHC deneyleri atom altı parçacıkları saniyede 600 milyon kez çarpıştırarak, 150 milyon almaç (sensor) aracılığı ile yolda 25 petabayt işlenecek veri (toplam verilerin on binde biri..) üretir. Alınan tüm veriler işlenseydi hacmi yılda 150 milyon petabayt’ ı geçerdi.

17. SDSS (Sloan Digital Sky Survey) gözlemleri 2000 yılından beri 140 terabayt veri toplamıştır. 2016’ da yerini alacak olan LSST (Large Synoptic Survey Telescope) ise aynı miktardaki veriyi 5 günde toplamaya başlayacaktır. • NASA’ nın iklim modelleme merkezi (NCSS) süper bilgisayar kümesinde 32 petabayt bilgi işlenmektedir.

18. Özel sektörde ise ebay’ ın veri ambarları 40 petabayt veri işlemekte, Amazon’ un veritabanları 25 petabayt’ ları bulmakta ve en önemlisi, küresel düzeyde iş dünyasının veri hacmi her 1.2 yılda iki katına çıkmaktadır (Moore Yasası!). Büyük verilerin analizinin birçok kritik alanda bilişimin karar desteğini bir üst boyuta taşıyarak ciddi tasarruflar ve yeni olanaklar sağlaması beklenmektedir. Bu alanlara, sağlık, istihdam, sanayide üretkenlik, suçların azaltılması ve güvenlik, kaynakların ve doğal felaketlerin yönetimi örnek verilebilir.

19. McKinsey Global Institute bu konuda 2011 yılında hazırladığı raporda aşağıdaki sayıları vermektedir: • Donanımdaki inanılmaz ucuzlamaya örnek: Günümüzde 600 dolar harcayarak alınacak disklere yeryüzündeki müziklerin tamamını depolamak mümkündür. • 2010 yılında dünyada 5 milyar cep telefonu kullanılmakta idi. • Facebookta her ay 30 milyar içerik paylaşılmaktadır.

20. Büyük verilerin yalnız ABD sağlık sektörü için değeri yılda 300 milyar dolar olarak hesaplanmaktadır ki bu da, İspanya’ nın sağlık giderlerinin 2 katına denktir. • Büyük verilerin işlenmesi ve analizi için yine yalnız ABD, 200.000 e yakın uzmana gereksinim duyacaktır. • Yukarıdaki nedenlerle, başta ABD (Big Data Initiative) ve AB (Big Data Public Private Forum) bu dalda ciddi yatırımlar yapmakta ve teşvik programları geliştirmektedir.

21. Büyük verilerin saklanması ve işlenmesinin beraberinde getirdiği en önemli sorun ise, bilişimdeki gelişmelerin çoğunda olduğu gibi, bireysel mahremiyetin korunmasıdır. Bu dalda da yoğun çalışmalar sürmekte ve konu bir uzmanlık dalı haline gelmektedir.

22. Büyük veri projeleri ile amaçlanan, şu ana kadar kayda almadığımız data’ yı da kullanarak, online raporlamalar ile müşteri memnuniyetini arttırarak işletmemize değer ve tabii ki para kazandırmaktır.