big data

NEDiR BU BIG DATA (Büyük Veri)?

Girizgahı yapmadan önce size bazı bilgiler vermek istiyorum;

1- 2012 Londra Olimpiyatlarında elde edilen veri miktarı, 2008 Pekin Olimpiyatları süresince elde edilen veri miktarından %30 daha fazlaydı. 2016 Rio' da ise %15-20 civarında bir veri üretimi fazlalaşması oldu. 2012 Olimpiyatlarında saniyede 60 GB' lık bir veri kümesi oluşuyordu. Oyunlar boyunca 8.5 milyara yakın cihaz internete bağlanırken, saniyede 13.000 civarı tivit atılmış ve 845 milyon aktif Facebook kullanıcıs 15 TB' a yakın veri kümesi oluşturmuş.

2- 2016 yılı boyunca 16 zettabytes veri üretildi. Ancak öte yandan üretilen tüm bu veriyi kaydetmek mümkün değil. insanoğlu bir yılda ürettiği verinin sadece %15- 20' sini kaydedebiliyor. Geri kalan veri ise uçup gidiyor.

3- IDC’nin raporuna göre, 2025 yılında ortalama bir insan günde 4800 kere internete bağlı bir cihazla muhatap olmak zorunda kalacak. Bu da her 18 saniyede bir internet cihazı ile iletişim kurmak anlamına geliyor.

4- Wal-Mart her saat 1 milyon müşterinin işlemlerini yapıp,
bunları veri tabanına kaydeder. Bu 2.5 petabyte veridir. Google günlük 20 petabyte veriyi işler.

Peki bütün bunlardan sonra başlayalım;
Nedir Büyük Veri?

Aslında büyük veri denen olay elinizde toplu ve analiz edilebilir veriyi temsil eder. Günümüzde büyük veri 5 kademede incelenir. Buna 5V denir.

Hacim (Volume): : Oluşturulan verinin miktarı ve saklanan veri dikkate alınır.

Hız (Velocity): Gelen ve giden veri hızını temsil eder.

Veri Çeşitliliği (Variation): : Veri farklı kaynaklardan ve farklı
formatlarda üretilir. Veri sayısal, metinsel, görüntü, ses, video olabilir, yani, yapısal veya yapısal olmayan biçimdedir.

Veri Kalitesi (Quality): Verinin güvenilirliği ve kritik karar alma süreçlerinde kullanılıp, kullanılamayacağını denetler.

Veri Değeri (Value): Veriden Bilgi Üretebilme Kısmıdır.

Verinin ne kadar değerli olduğunu ortaya koyan en önemli kriter, verinin kritik karar sürecinde kattığı değerdir. Büyük veri suç önleme, savunma, güvenlik, gelir yönetimi, taşımacılık vb birçok alanda kullanılmaktadır. Amerika’ nın Seattle, Los Angeles şehirlerinde "Önleyici Polis Hizmetleri" olarak adlandırılan uygulamalar hayata geçirilmiştir işlenen suçların zamanı, yeri ve içeriği incelenmiş, 4 aylık bir zaman diliminde cinayet oranını yüzde 12 gibi bir oranda düşmüş, hırsızlık %26 azalmıştır.

Hollanda Ulaştırma Bakanlığı, otoyollarda belirli sayıda yerleştirdiği sensörlerden gelen verilere göre yaptığı analizlerde, otobandan geçen araç sayısı, türü, hızı vb. verileri kaydederek, büyük veri teknolojileri ile ulaşım planlamalarını yapmış ve alınabilecek önlemleri belirlemiştir.

2018 yılına kadar 140000-190000 arası veri bilimciye
ihtiyaç olduğu belirtilmekte olup, 1.5 milyon civarında, büyük verinin nasıl işlendiği konusunda hakim yönetici ve analiste ihtiyaç olduğu ifade ediliyor.