Veri Bilimi - Veri Hazırlama

Verileri analiz etmeden önce, bir Veri Bilimcisi verileri çıkarmalı ve temiz ve değerli hale getirmelidir.

Pandalarla Verileri Çıkarın ve Okuyun

Veriler analiz edilmeden önce içe/dışa aktarılmalıdır.

Aşağıdaki örnekte, Python'da Panda'ları kullanarak verileri nasıl içe aktaracağınızı gösteriyoruz.

read_csv()Sağlık verileriyle bir CSV dosyasını içe aktarmak için işlevi kullanırız :

Örnek Açıklama

• Pandalar kitaplığını içe aktarın
• Veri çerçevesini olarak adlandırın health_data.
• header=0değişken adlarının başlıklarının ilk satırda bulunacağı anlamına gelir (0'ın Python'da ilk satır anlamına geldiğini unutmayın)
• sep=","","'nin değerler arasında ayırıcı olarak kullanıldığı anlamına gelir. Bunun nedeni, .csv dosya türünü (virgülle ayrılmış değerler) kullanmamızdır.

İpucu: Büyük bir CSV dosyanız varsa, head()işlevi yalnızca ilk 5 satırı göstermek için kullanabilirsiniz:

Veri temizleme

İçe aktarılan verilere bakın. Gördüğünüz gibi, veriler yanlış veya kayıtlı olmayan değerlerle "kirli":

• Bazı boş alanlar var
• Ortalama 9 000 darbe mümkün değil
• 9 000, boşluk ayırıcı nedeniyle sayısal olmayan olarak değerlendirilecektir.
• Maks darbenin bir gözlemi "AF" olarak belirtilir ve bu mantıklı değildir.

Bu nedenle, analizi gerçekleştirmek için verileri temizlememiz gerekir.

Boş Satırları Kaldır

Sayısal olmayan değerlerin (9 000 ve AF) eksik değerlerle aynı satırlarda olduğunu görüyoruz.

Çözüm: Bu sorunu çözmek için eksik gözlemleri olan satırları kaldırabiliriz.

Pandalar kullanarak bir veri seti yüklediğimizde, tüm boş hücreler otomatik olarak "NaN" değerlerine dönüştürülür.

Bu nedenle, NaN hücrelerinin çıkarılması bize analiz edilebilecek temiz bir veri seti verir.

dropna()NaN'leri kaldırmak için işlevi kullanabiliriz . axis=0, NaN değerine sahip tüm satırları kaldırmak istediğimiz anlamına gelir:

Sonuç, NaN satırları olmayan bir veri kümesidir:

Veri Kategorileri

Verileri analiz etmek için, uğraştığımız veri türlerini de bilmemiz gerekir.

Veriler üç ana kategoriye ayrılabilir:

1. Sayısal - Sayısal değerler içerir. İki kategoriye ayrılabilir:
   • Ayrık: Sayılar "bütün" olarak sayılır. Örnek: 2.5 seans eğitim alamazsınız, ya 2 ya da 3
   • Sürekli: Sayılar sonsuz hassasiyette olabilir. Örneğin 7 saat, 30 dakika ve 20 saniye veya 7.533 saat uyuyabilirsiniz.
2. Kategorik - Birbiriyle ölçülemeyen değerleri içerir. Örnek: Bir renk veya bir eğitim türü
3. Sıralı - Birbirine karşı ölçülebilen kategorik verileri içerir. Örnek: A'nın B'den daha iyi olduğu okul notları vb.

Verilerinizin türünü bilerek, onları analiz ederken hangi tekniği kullanacağınızı bilebileceksiniz.

Veri tipleri

info()Veri kümemizdeki veri türlerini listelemek için işlevi  kullanabiliriz :

Sonuç:

Bu veri setinin iki farklı veri tipine sahip olduğunu görüyoruz:

• Float64
• Nesne

Burada hesaplamak ve analiz yapmak için nesneleri kullanamayız. Type nesnesini float64'e dönüştürmeliyiz (float64, Python'da ondalık basamaklı bir sayıdır).

astype()Verileri float64'e dönüştürmek için işlevi kullanabiliriz .

Aşağıdaki örnek, "Average_Pulse" ve "Max_Pulse" öğelerini float64 veri tipine dönüştürür (diğer değişkenler zaten float64 veri tipindedir):

Sonuç:

Artık veri kümesinde yalnızca float64 veri türleri vardır.

Verileri Analiz Edin

Veri setini temizlediğimizde verileri analiz etmeye başlayabiliriz.

describe()Verileri özetlemek için Python'daki işlevi kullanabiliriz :

Sonuç:

• Count - Gözlemlerin sayısını sayar
• Ortalama - Ortalama değer
• Std - Standart sapma (istatistik bölümünde açıklanmıştır)
• Min - En düşük değer
• %25 , % 50 ve % 75 yüzdelik dilimlerdir (istatistik bölümünde açıklanmıştır)
• Maks - En yüksek değer