18 פעולות שאתה צריך להכיר כשאתה עובד עם Pandas של Python

Pandas היא ספרייה של Python המשמשת לניתוח של מידע. במדריך זה ריכזתי עבורכם את המושגים והפקודות השימושיים ביותר.

המושגים הבסיסיים

Data Frame - מידע שמסודר בעמודות ושורות. בדומה למסד נתונים SQL, SPSS או גליון אקסל.

Series - עמודה אחת ב-Data Frame.

1. כיצד לייבא את pandas?

import pandas as pd

2. כיצד לייבא קובץ csv?

במדריך אני משתמש בקובץ cars.csv, שאותו אתם יכולים להוריד מכאן: להורדה.

כדי לקרוא את הקובץ:

df = pd.read_csv('cars.csv')

כדי לקרוא רק חלק מהעמודות:

df = pd.read_csv('cars.csv', usecols=['model', 'price', 'description'])

כדי לעשות parsing של עמודות התאריכים:

df = pd.read_csv('cars.csv', parse_dates=['date'])

parse_date מקבל מערך של שמות העמודות.

3. כיצד להתמודד עם מידע חסר?

תוכנות סטטיסטיות, ובייחוד למידת מכונה, מתקשות להתמודד עם נתונים חסרים. לכן, כדאי לאתר ולנקות את הנתונים החסרים.

נתחיל מזיהוי הנתונים החסרים.

לספירת מספר ה-NaN בכל סט הנתונים:

df.isnull().sum().sum()

למציאת מספר ה-NaN לפי עמודות:

df.isnull().sum()

model          0
price          4
description    0
date           0
dtype: int64

במידה וחסרים ערכים ניתן להשלים אותם, לדוגמה, אם חסר מידע בתאים בעמודת price נשלים אותו ל-0.

df.price = df.price.fillna(0)

את הערכים החסרים ניתן להשלים באמצעות החציון.

med = df.price.median()
df.price = df.price.fillna(med)

אפשרות נוספת להתמודדות עם בעיית המידע החסר היא למחוק את כל השורות שחסר בהם מידע.

df = df.dropna(axis=0)

4. כיצד להמיר את סוג הנתונים בעמודות?

כשרוצים להמיר את העמודה price לסוג נתונים int:

df.price = df.price.astype('int')

אפשר גם לסוג float.

ומועיל במיוחד הוא הפיכה לסוג datetime.

df.date = df.to_datetime(df.date)

5. כיצד לקבוע את עמודת האינדקס?

pandas מאנדקס את סט הנתונים לפי סדר השורות החל מ-0 ועד למספר השורות בסט. כדי להגדיר את האינדקס על עמודה אחרת, לדוגמה, עמודת date:

df.set_index('date', inplace=True)

• inplace=True כדי שישנה את ה-data frame הקיים במקום ליצור אוביקט חדש. אם לא היינו משתמשים בזה אז היינו צריכים להציב את האובייקט החדש חזרה כדי ש-df אכן ישתנה. כך עושים את זה ללא ה-inplace:

df = df.set_index('date')

נשתמש ב-reset_index כדי להחזיר את האינדקס המקורי.

df.reset_index(inplace=True)

6. כיצד לסקור את המידע ב-Data Frame?

כדי להציץ ב-5 השורות הראשונות של ה-data frame:

df.head()

ניתן להציץ במספר שונה של שורות, לדוגמה 10 שורות:

df.head(10)

אפשר לבחור לראות רק השורות האחרונות של סט הנתונים:

df.tail()

ואפשר לראות מספר שורות אקראיות:

df.sample(10)

כדי לצפות במספר השורות והעמודות:

df.shape

(59, 4)

כדי לראות נתונים סטטיסטיים כלליים על ה-data frame:

df.describe()

וכדי לראות סוג הנתונים בעמודות:

df.info()

RangeIndex: 59 entries, 0 to 58
Data columns (total 4 columns):
model          59 non-null object
price          59 non-null int64
description    59 non-null object
date           59 non-null datetime64[ns]
dtypes: datetime64[ns](1), int64(1), object(2)
memory usage: 1.9+ KB

df.info מראה את סוג הנתונים (object למחרוזת), שם העמודה ואת מספר הנתונים בכל עמודה.

7. כיצד להוסיף עמודה ל-data frame?

נוסיף את העמודה sold, ונציב את הערך True בכל אחד מהתאים:

df['sold'] = True

כדי להוסיף עמודה במקום מסוים נציין את מספר האינדקס של העמודה. לדוגמה, עמודה ששמה convertible (גג נפתח) בתור העמודה הראשונה (אינדקס 0).

df.insert(0, 'convertible', True)

9. כיצד להסיר עמודות?

ניתן להסיר רשימה של עמודות באמצעות drop:

df.drop(['convertible','sold'], axis=1, inplace=True)

• axis=1 - כי אנחנו מעוניינים להסיר עמודות (ולא שורות).
• inplace=True - כדי לשנות את הdata frame עצמו במקום ליצור אובייקט חדש.

9. כיצד להוסיף תנאים פשוטים לסט הנתונים?

בדוגמה זו נוסיף עמודה expensive המכילה ערכים בוליאניים. במידה והמחיר גבוה מ-90000 הערך יהיה True.

כדי שזה יעבוד נשתמש במתודה where של ספריית numpy.

import numpy as np
df['expensive'] = np.where(df['price']>=90000, True, False)

10. כיצד לחלק את הנתונים לקבוצות?

בדוגמה זו אנחנו מעוניינים לחלק את הנתונים ל-3 קבוצות לפי מחיר:

bins = [0, 40000, 60000, 90000]
names = ['Cheap', 'Medium', 'Expensive']

df['price_point'] = pd.cut(df.price, bins, labels=names)

11. כיצד להפעיל פונקציה על עמודה?

כדי להפעיל פונקציה על עמודה משתמשים במתודה apply:

def get_company(s):
  if s.find('BMW') > -1:
    return 'BMW'
  elif s.find('Audi') > -1:
    return 'Audi'
  else:
    return 'Unknown'

df['company'] = df.model.apply(get_company)

אפשר גם להשתמש בפונקציה אנונימית:

df['real_price'] = df.price.apply(lambda x: '$' + str(x))

12. כיצד לעבוד עם תאריכים?

מתחילים מהמרת המידע בעמודה לסוג datetime , ואז משתמשים בתכונות של dt.

לדוגמה, פונקציה שממירה תאריך סטנדרטי ל"ישראלי":

def to_israeli_date(d):
  date = d.to_pydatetime()

  day   = date.day
  month = date.month
  year  = date.year

  return '%s.%s.%s' % (day, month, year)

df['israeli_date'] = df.date.apply(to_israeli_date)

13. כיצד לבחור תא או טווח של ערכים?

אפשר לבחור שורה לפי מספר אינדקס:

df.loc[2]

או לבחור טווח של שורות:

df.loc[2:8]

וכדי לבחור תא מסוים:

df.loc[2,'model']

וניתן לחצות את סט הנתונים, לדוגמה, עד שורה 10 ומשורה 10:

train = df.loc[:10]
test = df.loc[10:]

14. כיצד להפעיל לוגיקה לסינון הנתונים?

נאמר שאנחנו מעוניינים לסנן את השורות שבהם המחיר גבוה מ-3000

filtered_data = df[df.price > 30000]

ניתן לבצע לוגיקה מורכבת יותר באמצעות & או |

filtered_data = df[(df.price > 30000) & (df.price <= 40000)]

filtered_data = df[(df.price < 30000) | (df.price >= 15000)]

15. כיצד לקבל את הנתונים הייחודיים בלבד של עמודה?

כדי לקבל את הנתונים הייחודיים בעמודה משתמשים ב-unique:

df.company.unique()

array(['BMW', 'Audi'], dtype=object)

16. כיצד לסדר את השורות בהתאם לעמודה מסוימת?

הפקודה sort_values משמשת לסידור סט הנתונים לפי עמודה (בסדר יורד או עולה):

df.sort_values('price', ascending=True)

17. כיצד לחבר data frames?

ניתן לחבר data frames כל עוד המבנה הוא זהה.

כדי לחבר את השורות אנכית (אחת מעל לשנייה):

pd.concat([df_1, df_2], axis=0)

כדי לחבר את השורות אופקית:

pd.concat([df_1, df_2], axis=1)

אפשרות נוספת היא לחבר על בסיס של אינדקס משותף כמו JOIN ב-SQL.

merged_df = df_1.merge(df_2, how='left', on='unique_id')

18. כיצד למצוא קורלציה?

כדי למצוא את הקורלציה בין עמודות שמכילות סט נתונים המשכי (גובה, מחיר):

df.corr()['price'].sort_values()

19. כיצד לקחת רק חלק מהעמודות?

כדי להגדיר את סט הנתונים רק על חלק מהעמודות:

df1 = df[['model', 'price']]

20. קיבוץ רשומות באמצעות groupby

המתודה groupby של pandas מאפשרת לנו לקבץ את הדוגמאות לקבוצות.

לדוגמה, אני מעוניין במחיר הממוצע של המכוניות לפי חברות:

df.groupby(['company']).mean()

והתוצאה:

כדי להציג את הממוצע רק עבור העמודה price נגביל את ה-data frame לעמודות הרלוונטיות:

df[['company','price']].groupby(['company']).mean()

כדי לקבץ לפי שתי עמודות company וגם expensive אנחנו רק צריכים להעביר למתודה groupby את רשימת העמודות:

df[['company','price','expensive']].groupby(['company','expensive']).mean()

ואם אנחנו רוצים את הממוצע של רכבים ששוויים גבוה מ-40,000?

df[df['price'] > 40000].groupby(['company','expensive']).mean()

לכל המדריכים בנושא של למידת מכונה

אהבתם? לא אהבתם? דרגו!

0 הצבעות, ממוצע 0 מתוך 5 כוכבים