Bili imin yeni ufku b y k veriler big data
This presentation is the property of its rightful owner.
Sponsored Links
1 / 26

Bilişimin yeni ufku: Büyük Veriler ( Big Data ) PowerPoint PPT Presentation


  • 95 Views
  • Uploaded on
  • Presentation posted in: General

Bilişimin yeni ufku: Büyük Veriler ( Big Data ).

Download Presentation

Bilişimin yeni ufku: Büyük Veriler ( Big Data )

An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -

Presentation Transcript


Bili imin yeni ufku b y k veriler big data

Bilişimin yeni ufku: Büyük Veriler (Big Data)

Büyük veriler, mevcut bilgi sistemlerinin işleyemeyeceği kadar geniş ve karmaşık veri kümelerine verilen addır. Diğer bir deyişle, bilinen veritabanı yönetim sistemleri ve yazılım araçlarının, verileri toplama, saklama, yönetme ve çözümleme yeteneklerini aşan büyüklükteki verilere büyük veri-big data- denir.

Günümüzde bu büyüklük onlarca terabayt’ tan (1 terabayt= 1000 gigabayt, 10 üzeri 12 bayt) petabayt’lara (10 üzeri 15 bayt) uzanır.


Bili imin yeni ufku b y k veriler big data

Büyük veriler, yüksek hacimlerinin yanında, yüksek veri üretim hızı ve yüksek veri değişkenliğe sahip enformasyonlardan oluşur ve ileri düzeyde karara destek, verilerden anlam çıkarma ve süreç optimizasyonu yapabilmemizi sağlar.

Ama bunun için de yepyeni bilgi işleme ve analiz yöntemleri gerektirir.


Bu kadar ok veri neden ve nas l toplan yor

Bu kadar çok veri neden ve nasıl toplanıyor?

  • Firmalar müşterileri, tedarikçileri, işlemleri ve ürünleri ile ilgili trilyonlarca bayt’ lık veri toplamakta

  • Cep telefonları, araçlar, iş makinaları, akıllı sayaçlar gibi sistemlerde bulunan milyonlarca almaç (sensor), hızla girmekte olduğumuz «eşyaların internet’ i- internet of things-» çağında ürettikleri verileri çeşitli uygulamalara aktarmakta.

  • Sosyal medya siteleri, tüm dünyada milyarlarca insanın ürettiği her çeşit veriyi depolamakta


Bili imin yeni ufku b y k veriler big data

  • Sayısal dünyamızdaki tipik bir tüketicinin günlük yaşamında internette yaptığı iletişim, arama, satın alma, paylaşma türü işlemlerin yarattığı ve verilerin de tümü saklanmakta.

  • Wallmart’ ın 1 saat içerisinde sistemlerine kaydettiği transaction sayısı: 1 milyon

  • Facebook’ ta yüklenen fotoğraf sayısı: 40 milyar

  • 2013 yılı sonunda internet üzerinde dolaşacak bilginin toplam boyutu: 667 exabyte


Bili imin yeni ufku b y k veriler big data

  • 1 trilyon sayfanın endekslendiği Google üzerinde yapılan günlük arama sayısı: 5 milyar

  • 2005’ te 1.3 milyar RFID etiketi var iken 2010’ da bu sayı: 30 milyar.

  • 2 milyar internet kullanıcısı, 5 milyar mobil telefon ve buna bağlı sayısız transaction

  • Twitter’ da günlük işlenen veri hacmi: 7 terabyte,

    Facebook’ ta ise: 10 terabyte.


Bili imin yeni ufku b y k veriler big data

Günümüzde bizler sahip olduğumuz veriyi ilişkisel veritabanları’ nda (relational databases) yapısal (structured) bir şekilde sınıflandırarak ve aralarında ilişkiler kurarak saklıyoruz.

Yöneticiler ise, bu veritabanları üzerinde çalışan raporlama sistemleri sayesinde üretilen raporlar ile kararlar alıyorlar.

Yukarıda da belirtildiği üzere, artık günümüzde hem işletmelerimize hem de müşterilerimize ait pek çok veri kaynağı var.


Bili imin yeni ufku b y k veriler big data

Bugüne kadar tüm bu bilgiler bilgi çöplüğü olarak nitelendiriliyordu, çünkü bu verinin mevcut veritabanlarında saklanması ve raporlama sistemlerinde kullanılması imkansızdı.

Bugüne kadar veriler, daha önceden belirlenen rakamsal ya da sözel veri tipleri şeklinde, önceden tasarlanan tablolarda saklanmaktaydı.


Bili imin yeni ufku b y k veriler big data

Ama bugün, bir müşterinin facebook üzerindeki izlerini takip etmek istediğimizde işin içine resim, müzik, video gibi bilinen raporlama sistemleri ile ilişkilendiremeyeceğimiz bilgi tipleri dahil olmaktadır.

Günümüzde artık, tüm bu bilgilerin kullanılması amaçlanmaktadır. Özetle, amaç bilgi çöplüğünden hazine çıkarmaktır.


B y k veri v eri bile enleri

Büyük Veri Veri Bileşenleri

Büyük veri oluşumunda 5 bileşen vardır. İngilizce karşılıklarından ötürü 5V olarak adlandırılan bileşenler;

  • Variety,

  • Velocity,

  • Volume,

  • Verification,

  • Value.


Bili imin yeni ufku b y k veriler big data

Variety: Üretilen verinin %80’ i yapısal veri değildir. Her veri kaynağının ürettiği veri farklı teknolojiler içerecektir. Dolayısıyla, «veri tipi» problemleri ile uğraşılması gerekmektedir.

Velocity (hız): Hızlı üreyen veri, o veriye muhtaç olan işlem sayısının ve çeşitliliğinin de aynı hızda artması sonucunu doğurmaktadır.


Bili imin yeni ufku b y k veriler big data

Volume (veri büyüklüğü): IDC istatistiklerine göre, 2020’ de ulaşılacak veri miktarı 2009’ un 44 katı olacak. Kurumun veri arşivleme, işleme, bütünleştirme, saklama vb. teknolojilerinin bu büyüklükteki veri hacmiyle nasıl başa çıkacağının kurgulanması gerekmekte.

Verification (doğrulama): Verinin akışı sırasında, doğru katmandan, olması gerektiği güvenlik seviyesinde izlenmesi, doğru kişiler tarafından görünebilir veya gizli kalması gerekiyor.


Bili imin yeni ufku b y k veriler big data

Value (değer): En önemli bileşen ise değer yaratmasıdır. Büyük veri’ nin, veri üretim ve işeme katmanlarınızdan sonra kurum içi bir artı değer yaratıyor olması gerek. Karar veriş süreçlerine anlık olarak etki etmesi, doğru kararın verilmesinde hemen el altında olması gerekmekte.


B y k veri veri ambarlar

Büyük Veri – Veri Ambarları

Bilgisayar teknolojilerinin kullanılmaya başladığı yıllardan itibaren üretilen tüm veriler, yapısal biçimde veritabanlarında saklanıyordu. Fakat bu verilerin birikmiş olması ve farklı kaynaklardan toplanan farklı verilerin tamamının göz önünde tutulması ihtiyacı, bizleri veri ambarına yöneltmektedir.

Neden «büyük veri» kavramı çıktı?

Bunun 2 önemli nedeni vardır:


Bili imin yeni ufku b y k veriler big data

  • Şimdiye kadar kullanılan tüm data yapısal (structured) ve veri tipleri tüm dünya veritabanı standartlarında kabul edilen veri tiplerinde idi.

  • Veri ambarı projelerinde anlık bilgiye erişilemez. Kaldı ki bu da, iş dünyasının hızına ayak uydurulmasında karşımıza çıkan büyük bir sorundur.


Bili imin yeni ufku b y k veriler big data

Hemen her alanda bilişim teknolojileri kullanılan yer küremizde sayısal veri üretimi, yapılan işlerin ve tüm etkinliklerin bir yan ürünü haline gelmiş durumda.


Bili imin yeni ufku b y k veriler big data

Örneğin, yüksek çözünürlüklü (HD) bir video’ nun tek bir saniyesi, 1 tam sayfa metnin veri hacminin tam 2000 katı veri üretmektedir.

Büyük verilerin kaynaklarına birkaç örnek vermek gerekirse;

  • CERN’ deki LHC deneyleri atom altı parçacıkları saniyede 600 milyon kez çarpıştırarak, 150 milyon almaç (sensor) aracılığı ile yolda 25 petabayt işlenecek veri (toplam verilerin on binde biri..) üretir. Alınan tüm veriler işlenseydi hacmi yılda 150 milyon petabayt’ ı geçerdi.


Bili imin yeni ufku b y k veriler big data

  • SDSS (Sloan Digital Sky Survey) gözlemleri 2000 yılından beri 140 terabayt veri toplamıştır. 2016’ da yerini alacak olan LSST (Large Synoptic Survey Telescope) ise aynı miktardaki veriyi 5 günde toplamaya başlayacaktır.

  • NASA’ nın iklim modelleme merkezi (NCSS) süper bilgisayar kümesinde 32 petabayt bilgi işlenmektedir.


Bili imin yeni ufku b y k veriler big data

  • Özel sektörde ise ebay’ ın veri ambarları 40 petabayt veri işlemekte, Amazon’ un veritabanları 25 petabayt’ ları bulmakta ve en önemlisi, küresel düzeyde iş dünyasının veri hacmi her 1.2 yılda iki katına çıkmaktadır (Moore Yasası!).

    Büyük verilerin analizinin birçok kritik alanda bilişimin karar desteğini bir üst boyuta taşıyarak ciddi tasarruflar ve yeni olanaklar sağlaması beklenmektedir. Bu alanlara, sağlık, istihdam, sanayide üretkenlik, suçların azaltılması ve güvenlik, kaynakların ve doğal felaketlerin yönetimi örnek verilebilir.


Mckinsey global institute bu konuda 2011 y l nda haz rlad raporda a a daki say lar vermektedir

McKinsey Global Institute bu konuda 2011 yılında hazırladığı raporda aşağıdaki sayıları vermektedir:

  • Donanımdaki inanılmaz ucuzlamaya örnek: Günümüzde 600 dolar harcayarak alınacak disklere yeryüzündeki müziklerin tamamını depolamak mümkündür.

  • 2010 yılında dünyada 5 milyar cep telefonu kullanılmakta idi.

  • Facebookta her ay 30 milyar içerik paylaşılmaktadır.


Bili imin yeni ufku b y k veriler big data

  • Büyük verilerin yalnız ABD sağlık sektörü için değeri yılda 300 milyar dolar olarak hesaplanmaktadır ki bu da, İspanya’ nın sağlık giderlerinin 2 katına denktir.

  • Büyük verilerin işlenmesi ve analizi için yine yalnız ABD, 200.000 e yakın uzmana gereksinim duyacaktır.

  • Yukarıdaki nedenlerle, başta ABD (Big Data Initiative) ve AB (Big Data Public Private Forum) bu dalda ciddi yatırımlar yapmakta ve teşvik programları geliştirmektedir.


Bili imin yeni ufku b y k veriler big data

Büyük verilerin saklanması ve işlenmesinin beraberinde getirdiği en önemli sorun ise, bilişimdeki gelişmelerin çoğunda olduğu gibi, bireysel mahremiyetin korunmasıdır.

Bu dalda da yoğun çalışmalar sürmekte ve konu bir uzmanlık dalı haline gelmektedir.


Bili imin yeni ufku b y k veriler big data

Büyük veri projeleri ile amaçlanan, şu ana kadar kayda almadığımız data’ yı da kullanarak, online raporlamalar ile müşteri memnuniyetini arttırarak işletmemize değer ve tabii ki para kazandırmaktır.


  • Login