Büyük veri; geleneksel yöntemlerle işlenmesi zor olan, hacimsel olarak büyük olan ve karmaşık yapıdaki veridir.

Web sunucu loğları, bloglar, elektronik postalar, sosyal medyadaki fotoğraf, video gibi paylaşımlar, çeşitli sensörlerden gelen sürekli bilgiler, GSM operatörlerindeki arama kayıtları, çeşitli mobil uygulamalardaki demografik bilgiler, meteorolojik bilgiler ve uydu görüntüleridir.

Bunlar çeşitlilik (variety), değer (value), doğrulama (verification), veri büyüklüğü (volume) ve hızdır (velocity).

Bu bileşenler İngilizce isimlerinin baş harflerinin aynı olmasından dolayı 5V olarak adlandırılmaktadır.

Büyük veri analizinde veri, birçok farklı kaynaklardan derlendiği için kendi içinde çeşitlilik ve farklılık göstermektedir. Farklı kaynaklardan elde edilen verilerin birlikte kullanılması gerektiğinde, veri tipleri birbirine dönüştürülerek işlem yapılmalıdır.

Büyük verinin önemli karakteristiklerinden biri üretilme hızıdır. Hızla gelen veriyi işleyebilmek için, aynı zamanda uygulamaların işlem yapabilme hızının da artması gerekmektedir. Bazı uygulamalar için verinin ömrü kısadır. Ömrü dâhilinde işlenemeyen veri geçerliğini yitirecektir.

Veri her yerden ve hızlı bir şekilde geldiği için verinin büyüklüğü katlanarak artmaktadır. Bu nedenle, organizasyonların her geçen yıl artan büyük hacimdeki verileri nasıl depolayacağını, uygulamalarında nasıl kullanacağını planlaması gerekmektedir.

Veriler hızlı bir şekilde gelip büyük bir hacim oluşturduğu için, verinin güvenilirliğinin önemi de artmaktadır. Verinin kaynağı bilinmeli ve yalnızca doğru kişilerle paylaşılmalıdır, istenmeyen kişilerden gizlenmelidir. Ayrıca doğrulanmamış bilgilerin kullanılması, hem kullanıcılar hem de servis sağlayıcılar açısından sorunlara neden olabilir. Bu nedenle, özellikle kişilerin kontrolünden geçmeyen otomatik sistemlerde veri güvenilirliğinin önemi de artmaktadır.

Doğru ve güvenilir bir şekilde edinilmiş verinin servis sağlayıcılar için önemi büyüktür. Elbette ki saf veri kendi başına pek bir anlam ifade etmemektedir. Büyük veri birtakım üretim analiz işlemlerinden geçtikten sonra ortaya çıkan sonuçlar servis sağlayıcılar için önemlidir.

Bilindiği gibi Facebook ve Twitter gibi sosyal ağların milyonlarca kullanıcısı vardır. Kişilerin bu ağlardaki paylaşımları, beğenileri, üye oldukları gruplar ve arkadaşları vb. birçok bilgi kayıt altında tutulmakta ve analiz edilmektedir.

Bankalar da müşterileri ile ilgili bütün verileri saklamaktadırlar. Kişilerin hesap hareketleri, para transferleri, ödemeleri, kredi geçmişleri, İnternet bankacılığını kullanma saatleri ve ne tür işlemler gerçekleştirdikleri gibi birçok veri kayıt altındadır.

Büyük veri analitiği, çeşitli tiplerdeki verileri içeren büyük veri setlerini işleyerek bu veri setlerinden çeşitli örüntüleri, veriler arasındaki ilişkileri, müşteri tercihlerini, market eğilimleri gibi yararlı iş bilgilerini açığa çıkarma işlemidir.

Büyük veri analitiğinin ana amacı, büyük veriyi analiz ederek veri sahiplerine işleri hakkında daha doğru kararlar verebilmelerine yardımcı olmaktır.

Veri Toplama ve Kayıt, Çıkartım Temizleme ve Belirtim, Birleştirme ve Gösterim, Modelleme ve Analiz ve Anlamlandırmadır.

İlk olarak verilerin, veri kaynağından toplanması gerekmektedir. Sosyal ağ, sensörler, ses kayıt cihaz vb. çeşitli kaynaklardan gelen veriler toplanmakta ve kayıt altına alınmaktadır. Bu toplama ve kayıt işlemlerinin otomatik olarak nasıl yapılacağı büyük veri analizinde ilk ve önemli adımdır.

Genellikle toplanan veri, analiz için hazır bir formatta değildir. Örneğin, hastane kayıtlarında tomografi cihazından alınan veriler ya da bir kan basıncı sensöründen alınan veriler ilk hâliyle kullanıma hazır değildir. Bu verilerden öncelikle analizde kullanılabilecek özelliklerin çıkarılması gerekmektedir. Eğer verilerde çeşitli hava koşullarından ya da kayıt sırasındaki başka nedenlerden kaynaklanan gürültü varsa bu gürültünün temizlenmesi gerekmektedir. Sonrasında bu özellikler veri analizinde kullanılabilir.

Veriler genellikle farklı kaynaklardan geldikleri için, kullanıma hazır hale getirmek amacıyla öncelikle birleştirilmeleri gerekmektedir. Örneğin, bir araştırmacının elinde bilimsel kaynaklı bir veri seti olsun. Yine başka bir araştırmacı da benzer çalışmalarında, benzer bir veri seti kullansın. Bu iki veri setini birlikte kullanacak bir çalışma yapılmak istendiğinde, bu verileri anlamlı bir şekilde birleştirmek gerekmektedir. Verilerin boyutu çok büyük olduğunda bu işlemi hatasız bir şekilde birleştirebilecek otomatik sistemlere ihtiyaç duyulmaktadır.

Büyük veri üzerinde analiz ve sorgu yapmak, küçük örnekler üzerinde istatistik analiz yapmaktan farklıdır. Çünkü büyük veri genellikle gürültülü, dinamik olarak değişen ve homojen olmayan bir yapıya sahiptir. Ayrıca büyük veri, küçük örnek setlerinden daha değerlidir. Çeşitli veri modelleme teknikleri kullanılarak sıklıkla kullanılan örüntüler ve veriler arasındaki ilişkiler bulunabilir. Bu şekilde büyük veri üzerinden ilişkisel bilgi çıkarımı yapılır. Bu ilişkiler veri sahipleri için önemli bir bilgi kaynağıdır.

Büyük veri analizinde son aşama modelleme ya da sorgu sonucunda açığa çıkan sonuçların anlamlandırılarak ilgili kişilere (örneğin; şirket yöneticisi, pazarlama direktörü vb.) sunulmasıdır. Modelden çıkan sonuçları olduğu gibi sunmak yeterli değildir. Karar verici kişilerin sonuçları yorumlaması ve doğrulaması gerekmektedir.

Hadoop; büyük veri setlerinin dağıtık olarak saklanması ve üzerinde işlem yapılması için gerçekleştirilmiş bir yazılım çerçevesidir.