Temelde veri madenciliği, e-ticaret uygulamalarındaki işlem verileri ya da biyoinformatik alanında genetik ifadeler gibi farklı veri türlerinden oluşan büyük miktarda veri yığını içerisinden, anlamlı ve yararlı bilginin ortaya çıkarılması anlamına gelir.

Verinin türü ne olursa olsun veri madenciliğinin temel amacı, mevcut veri yığını içerisindeki gizli veya daha önce farkedilmemiş bilginin açığa çıkarılması yani keşfedilmesidir

Web madenciliği ise, web dokümanlarından bilginin ayıklanması veya keşfedilmesini sağlayan bir veri madenciliği tekniğidir. Web madenciliğinde kullanılan yöntemler sayısal zeka olarak da bilinen ve genel olarak veritabanı, veri madenciliği, otomatik öğrenme ve bilgi çıkarsama vb. gibi geniş bir uygulama alanına sahip akıllı hesaplama yaklaşımlarına dayanmaktadır.

Veritabanı, büyük miktardaki bilgileri depolamada yetersiz kalan dosya-işlem sistemine alternatif olarak geliştirilen ve birbirleriyle ilişkili bilgilerin depolandığı alandır.

Veri madenciliği,

i. Verinin elde edilmesi

ii. Verinin saklanması ve yönetimi

iii. Veri erişiminin sağlanması

iv. Verinin analiz edilmesi

v. Analiz sonuçlarının anlaşılır bir biçimde sunulması

temel adımlarından oluşan bir süreçtir

Veri ambarı, veritabanı üzerindeki yükü hafifletmek için oluşturulmuş, birbiriyle ilişkili verileri kolay, hızlı ve doğru bir biçimde sorgulama ve analiz yapabilmek için gerekli işlemlerin yapılabildiği bir veri deposudur.

İnternet ortamından yararlı bilginin keşfi için, web madenciliği sürecini dört temel adımda ele alabiliriz.

1. Kaynakların Tespiti: İlgilenilen konuda bilgi içeren web dokümanlarının belirlenmesi ve elde edilmesi.

2. Bilgi Seçimi ve Ön İşleme: Elde edilen kaynaklardan ihtiyaç duyulan bilginin otomatik olarak seçilmesi ve kullanılabilir hâle getirilmesi.

3. Genelleştirme: Bireysel web sitelerindeki örüntü (pattern) veya kuralların otomatik olarak çıkarılması ve diğer web siteleri ile karşılaştırarak genellenmesi.

4. Analiz: Elde edilen genel örüntü veya kuralların doğruluklarının onaylanması ve / veya yorumlanması.

Webden bilgi çıkarım uygulamalarında genel olarak karşılaşılan sorunlar izleyen biçimde açıklanabilir:

• Araştırılan konuyu bulma
• İstenilen bilgiyi bulma
• Yararlı bilgi keşfi
• Bilgiyi kişiselleştirme
  • Web toplulukları ve sosyal ağlar

Web madenciliğinde kullanılan verileri dört başlıkta inceleyebiliriz:

• İçerik verisi
• Yapı verisi
• Kullanım verisi
• Kullanıcı profil verisi

Yapılandırılan bir ağ üzerindeki diğer ağ bileşenlerinin(kullanıcıların) erişebileceği, kullanıma ve/ veya paylaşıma açık kaynakları barındıran, güçlü donanım ve yazılım bileşenlerinden oluşan bilgisayar birimine sunucu (server)denir.

Bir ağ üzerinde sunucu bilgisayarlardan hizmet alan, bilgiye erişim yetkileri sunucu tarafından belirlenen kullanıcı bilgisayarlara istemci (client) denir.

Bir ağ üzerinde sunucu ile istemci bilgisayarlar arasındaki bilgi akışına aracı - güvenlik duvarı, önbellekleme sistemi v.b. -olarak görev gören ara sunuculara vekil sunucu(proxy server) ya da kısaca vekil (proxy) denir.

Genel olarak web üzerinde var olan veriler izleyen özelliklere sahiptir:

• Web ortamındaki veri miktarı aşırı büyüklüktedir. 
• Web ortamındaki veri dağınık ve heterojen bir yapıdadır.
• Web ortamındaki veri yapılandırılmamıştır. 
• Web ortamındaki veri dinamiktir.

İnternette yer alan bilgiler farklı veri türlerini barındırdıkları için web madenciliği, veri madenciliği sürecinde kullanılan web verilerinin türüne göre Web İçerik Madenciliği, Web Yapı Madenciliği ve Web Kullanım Madenciliği şeklinde sınıflandırılır.

Web kullanım madenciliği, son yıllarda yoğun ilgi gören ve birçok güncel uygulama alanına sahip bir web madenciliği türüdür. Özellikle arama motorlarındaki çeşitlilik ve rekabet ortamı, kullanıcı odaklı arama performansını geliştirmek için araştırmacıları web kullanım madenciliğine yönlendirmiştir. Kişiselleştirme, sistem geliştirme, web sitesi güncelleme, iş zekası, kullanım karakteristiği gibi alanlarda uygulanmaktadır.

Web İçerik Madenciliği,

• Otomatik öğrenme
• İlişki kuralları
• Özel algoritmalar
• İstatistiksel yöntemler

Web Yapı Madenciliği,

• Özel algoritmalar

Web Kullanım Madenciliği ise

• İstatistiksel yöntemler
• Otomatik öğrenme

yöntemlerini kullanmaktadır

Sosyal medya olarak adlandırılan hizmetler izleyen ortak özelliklere sahiptir.

• Sosyal medya hizmetleri, (günümüz koşullarında) Web 2.0 internet tabanlı uygulamalardır.
• Sosyal medya hizmetleri, kullanıcı tarafından oluşturulan ve değiştirilebilen bir içeriğe sahiptir.
• Sosyal medya hizmetlerinde, site veya uygulama için güvenliği, tasarımı ve bakımı hizmet sağlayıcı tarafından sağlanan bireysel veya grup profilleri oluşturulabilir.
• Sosyal medya hizmetleri, bir kullanıcı ile diğer kullanıcılar ve/veya gruplar arasında bağlantılar kurarak çevrim içi sosyal ağlar oluşturulmasını kolaylaştırır.

Günümüzde kullanılmakta olan sosyal medya hizmetlerini temel olarak izleyen biçimde sınıflandırmak mümkündür.

1. Genel amaçlı veya arkadaş tabanlı: Bu hizmetler belirli bir konu üzerine odaklanmayan arkadaşlık temeline dayanan paylaşım hizmetleridir.

2. Bilgilendirici: Bu hizmetlerin amacı günlük sorunlara yanıtlar sunmaktır.

3. Mesleki: Bu hizmetler kariyer veya meslek planlamasında yeni fırsatlar edinmek için kullanılır.

4. Eğitim: Bu hizmetler öğrencinin deneyimini geliştirmek için kullanılır.

5. Hobiler: Bu hizmetler aynı şeylere ilgi duyan insanlar için bir buluşma noktasıdır.

6. Akademik: Bu hizmetler akademik ve bilimsel çalışmalar için güncel bilgi kaynağına erişim sunan hizmetlerdir.

7. Haberler: Bu hizmetler tüm toplumu ilgilendiren haber yayıncılığına ilişkin hizmetlerdir

Twitter verileri ile R’de birçok farklı analiz gerçekleştirmek mümkündür. Ancak yapılacak analizlerde kullanılacak Twitter verilerini kullanıcının kendi verileri ve tüm kullanıcıların verileri olmak üzere iki kısımda incelemek yerinde olacaktır.

API (Application Programming Interface / Uygulama Programlama Arayüzü), bir yazılımın başka bir yazılımda tanımlanmış fonksiyonlarını kullanabilmesi için uygulama oluşturmada kullanılan alt program, protokol ve araçlar bütünüdür.