תכנות אתרים ומדריכים

בחירת התכונות (feature selection) עבור מודל למידת מכונה

22.10.2021 | מדריך למידת מכונה | יוסי בן הרוש

כשאתה עובד על מודלים של למידת מכונה אתה כל הזמן מחפש דרכים לסחוט מהמודל תוצאות טובות יותר בכל מיני דרכים. לדוגמה, על ידי מציאת מודל מוצלח יותר. הרבה פעמים הכנת הנתונים ללמידה משפיעה יותר מהמודל. בפרט בחירת התכונות שמהם המודל לומד. יש גישות רבות לבחירת התכונות feature selection ללמידת מכונה. במדריך זה נסביר כיצד לשפר תוצאות של מודלים מסוג XGBoost תוך הסתמכות על המדד feature importance שנותן ניקוד לתכונות לפי מידת התרומה שלהם לתוצאות, ושימוש רק באותם התכונות שקיבלו ניקוד גבוה. למה כדאי להשתמש בתכונות הרלוונטיות ביותר לביצועי המודל? כי נתונים רלוונטיים מפחיתים את הרעש ומגבירים את הסיגנל דבר המביא להפחתה בצריכת משאבי מחשוב ולעלייה בדיוק התוצאות. במדריך קודם על סיווג באמצעות מודל למידת מכונה XGBoost השתמשנו באותה דוגמה בה נעשה שימוש במדריך כדי לחזות מי מנוסעי הטיטאניק ישרוד את טביעת הספינה. במדריך זה אנסה לשפר את התוצאות באמצעות בחירת התכונות המשמשות ללמידת מכונה feature selection.

תיאום קנה מידה (feature scaling) בהכנת הנתונים ללמידת מכונה

14.10.2021 | מדריך למידת מכונה | יוסי בן הרוש

עבור מודלים רבים של למידת מכונה תיאום קנה המידה (feature scaling) הוא חלק חשוב ואף חיוני של הכנת הנתונים. במדריך זה נסביר מדוע צריך לתאם את קנה המידה, ונלמד את שתי הגישות העיקריות, סטנדרטיזציה ונורמליזציה.

לקרוא ל-API מתוך לולאה של JavaScript ולהספיק לקבל תשובה בזמן

08.10.2021 | מדריך JavaScript למתקדמים | יוסי בן הרוש

באחד הפרויקטים שלי הייתי צריך לקבל מידע שמקורו ב-API לתוך לולאה. הבעיה נשמעת אולי פשוטה אבל היה לי חשוב לתאם בין המידע שנשלח ומתקבל, בעוד למעשה לולאת ה-JavaScript ששלחה את הקריאות סיימה לרוץ עוד לפני קבלת התגובות. במדריך זה, אני רוצה להסביר מה לא עובד ומה, בסופו של דבר, אפשר לי לתאם בין זמן הקריאה ל-API וקבלת התגובה.

למידת מכונה בלתי מפוקחת באמצעות PCA

01.10.2021 | מדריך למידת מכונה | יוסי בן הרוש

ניתוח גורמים ראשיים (Principal Component Analysis, PCA) היא טכניקה בה אנו משתמשים כדי להפחית את הממדיות (= מספר הפיצ'רים) של מערכי נתונים גדולים תוך שמירה על רוב השונות. כאשר, נא לזכור, השונות היא מה שמעניין אותנו במערך הנתונים. הפחתת מימדיות מקריבה דיוק ומעניקה פשטות. התוצאה היא נתונים פחות מדויקים, אבל כאלה שאנחנו יכולים בקלות לצייר מהם תרשים או להשתמש בהם כדי לאמן את המודלים שלנו בזמן קצר יותר. חשוב להבין, שהטכניקה לא משתמשת בממדים הקיימים אלא מארגנת את המידע באופן שיוצר ממדים חדשים קומפקטיים שמצליחים להכיל את המידע במספר מצומצם של ממדים דחוסים. PCA הוא אחד האלגוריתמים הנפוצים ביותר עבור למידה לא מפוקחת במסגרתה המחשב מסווג את הנתונים לקבוצות בלי ידע מוקדם לגבי הקבוצות. למידה בלתי מפוקחת יכולה לספק תובנות מפתיעות על הנתונים. לדוגמה, מחקר רפואי שהתבסס על מספר גדול של מדדים מצא שהמדד שמצליח לחזות באופן הטוב ביותר את הסיכוי ללקות בהתקף לב הוא ירידה בעוצמה של לחיצת היד. במדריך נעשה PCA באמצעות ספריית sklearn

מודלים ללמידת מכונה של SciKit-Learn

24.09.2021 | מדריך למידת מכונה | יוסי בן הרוש

scikit-learn היא הספרייה הפופולרית ביותר של פייתון ללמידת מכונה הודות למתודות רבות המשמשות לסיווג ורגרסיה והודות לקלות השימוש. במדריך זה נדגים את השימוש ב-scikit-learn בלמידת מכונה, ונראה כמה זה פשוט להגיע לתוצאה. בנוסף, נסקור מודלים שימושיים במיוחד שמציעה הספריייה.

חוק בייס (bayes) וכללי אצבע לחיים

11.09.2021 | כישורי חיים | יוסי בן הרוש

מה משותף לבדיקות קורונה, לזיהוי מטוסי אויב וזנים של כלבים? כולם דוגמאות להערכת הסתברויות בפעולה, והנטייה שלנו היא להסתמך מדי על האינטואיציה הראשונית בעניין. חוק בייס מסייע לנו להביא בחשבון מידע נוסף, ולעדכן את הערכת הסיכויים בהתאם להתפתחויות בשטח.

cross-validation להערכת ביצועי מודל

03.09.2021 | מדריך למידת מכונה | יוסי בן הרוש

עד עכשיו בסדרת למידת המכונה נהגתי לחלק את הנתונים בין קבוצת אימון ומבחן (test ו-train). הגישה שבוחנת את המודל על נתונים שהוא לא ראה מלמדת עד כמה המודל למד להכליל מדוגמאות האימון לדוגמאות חדשות אבל הבעיה ששיטת החלוקה מטה את התוצאות, וכמו שנראה במדריך קיימת טכניקה טובה יותר.

איך לעבוד עם jupyter notebook בסביבה וירטואלית?

28.08.2021 | מדריך למידת מכונה | יוסי בן הרוש

במדריך זה נלמד כיצד להריץ jupyter notebook בתוך סביבה וירטואלית כדי למנוע קונפליקטים בין הספריות הדרושות לפרויקטים השונים עליהם אנחנו עובדים.

מה הגורמים החשובים ביותר המנבאים הכנסה גבוהה?

20.08.2021 | מדריך למידת מכונה | יוסי בן הרוש

במדריך זה ננסה למצוא את הגורמים האינדיקטיביים ביותר להכנסה גבוהה. לשם כך, נשתמש בנתוני סקר שנאסף בארצות-הברית בשנת 1994 שסקר גורמים שונים, דוגמת השכלה, מספר שעות עבודה שבועיות, מין וארץ מוצא, וסיווג את הדוגמאות על פי רמת הכנסה גבוהה או נמוכה. במדריך נאמן מודל XGBoost בסיווג דוגמאות על פי רמת הכנסה, וננתח את הנתונים באמצעות SHAP שימצא קשרים בין רמת ההכנסה לבין הגורמים בסקר.

אל תשתמש ב-iterrows של Pandas. זה מה שאתה יכול לעשות במקום…

13.08.2021 | מדריך למידת מכונה | יוסי בן הרוש

משתמשים בפונקציה iterrows של Pandas כדי להריץ לולאה על רשומות במסד הנתונים. הבעיה היא שהפונקציה איטית. במדריך זה נסקור 2 חלופות. אחת מהם מאיצה את הביצועים פי-100.