טכנולוגיה, מדע ולמידה

כיצד לשלב בין pandas ל-SQL?

07.01.2022 | מדריך למידת מכונה | יוסי בן הרוש

ספריית Pandas של פייתון הכרחית לניתוח ומניפולציה של נתונים בתחום של למידת מכונה. רבים מהעוסקים בתחום באים מרקע של עבודה מול מסדי נתונים מבוססי SQL בשבילם היכולת להשתמש ב-Pandas באמצעות תחביר SQL היא משמעותית. ספריית pandasql מחברת בין DataFrames של Pandas למסד נתונים SQLite. במדריך זה מספר דוגמאות לשאילתות שניתן לבצע באמצעות pandasql.

אמצעי אחסון בצד הקליינט - cookies, local storage

31.12.2021 | מדריך JavaScript למתקדמים | יוסי בן הרוש

רוצה לשמור מידע על הדפדפן של המשתמש? עם JavaScript אפשר לעשות זאת באמצעות cookies, localStorage ו-sessionStorage עליהם נלמד במדריך.

Cron job וקסמי האוטומציה

17.12.2021 | מדריכי לינוקס | יוסי בן הרוש

Cron היא תוכנה המהווה חלק אינטגרלי של מערכת ההפעלה לינוקס שמאפשרת לתזמן מתי להריץ משימות cron jobs. מאוד חשוב להכיר את הנושא כדי לעשות אוטומציה של תהליכים. לדוגמה, לקבוע שמנקים את הקאש פעם ביום, מגבים פעם בשבוע או שולחים דיווח פעם ברבעון.

משפט הגבול המרכזי: הצדקה לשימוש במבחנים הדורשים התפלגות נורמלית גם על נתונים לא נורמליים

10.12.2021 | מדריך למידת מכונה | יוסי בן הרוש

משפט הגבול המרכזי חשוב ללמידת מכונה כיוון שהוא מאפשר לנו להניח שהתפלגות הדגימות של אוכלוסייה היא נורמלית מה שמאפשר לנו לעבוד עם טכניקות סטטיסטיות שמניחות התפלגות נורמלית אפילו אם האוכלוסייה לא נורמלית.

big-O ביטוי ליעילות הקוד

04.12.2021 | מדריך פייתון | יוסי בן הרוש

אחד הנושאים החשובים ביותר שחייבים לעניין כל מתכנת הוא האם הקוד שלו יעיל. זה חשוב כי קוד לא יעיל מאט תהליכים ועלול לגרום לקריסה של המערכת. ביטוי big-O מתאר את התארכות משך הזמן של ביצוע משימה ביחס לגידול כמות המידע בו מזינים את התהליך. במדריך זה נציג כמה אופנים נפוצים לתיאור התארכות משך הזמן לביצוע הקוד ביחס לכמות המידע באמצעות ביטוי big-O notation.

הכנסת קבצים לארכיון, חילוץ וכיווץ כשעובדים עם לינוקס

19.11.2021 | מדריכי לינוקס | יוסי בן הרוש

למערכת הפעלה חלונות יש פורמט zip לעבודה עם קבצי ארכיון ומי שעובד עם לינוקס מעדיף את הפורמט tar. לרוב משתמשים בפורמט כשרוצים להעביר קבצים, ויש אפשרות לכווץ שגם אותה נסביר במדריך.

מה זה generator של פייתון? ואיך משתמשים בו

12.11.2021 | מדריך פייתון | יוסי בן הרוש

האם קרה לך פעם שרצית להריץ לולאה מספר רב של פעמים אבל המחשב קרס באמצע. אם זה המצב או שאתה פשוט סקרן לדעת מהו generator של פייתון אז הגעת למקום הנכון. generator של פייתון הם שימושיים אם צריך להריץ את אותה הפונקציה מספר רב של פעמים. לדוגמה, ביצוע פעולה על מספר רב של רשומות אותם שולפים ממסד הנתונים או כשרוצים לבצע פעולה מתמטית על סדרה ארוכה של מספרים. במקום שפונקציה רגילה תרוץ על כל הנתונים, generator יאפשר למחשב לעבוד על פריט אחד בכל פעם מה שחוסך מקום בזיכרון ומפחית את העומס על המחשב.

הגדרת סדר העבודה ללמידת מכונה באמצעות pipeline

05.11.2021 | מדריך למידת מכונה | יוסי בן הרוש

למידת מכונה היא תהליך שנעשה בשלבים. כולל: הכנת הנתונים, הרצת המודל, הערכת הביצועים, ופריסת הפיתרון לשירות הלקוח. ספריית sklearn כוללת שפע של חבילות המטפלות בשלב הכנת הנתונים ובלמידה בפועל. המתודות להכנת הנתונים, ה-transformers, משנות את המידע, כולל: השלמת נתונים חסרים, סטנדרטיזציה של נתונים מספריים, קידוד הקטגוריות. המודלים המשמשים ללמידת מכונה, ה-estimators, כוללים: רגרסיה, סיווג, עצי החלטה, ועוד. sklearn מציע דרך לשלב את ה-transformers וה-estimators לתהליך מסודר המכונה pipeline בתוכו נשרשר לפי סדר את השלבים הדרושים ללמידת מכונה.

בחירת התכונות (feature selection) עבור מודל למידת מכונה

22.10.2021 | מדריך למידת מכונה | יוסי בן הרוש

כשאתה עובד על מודלים של למידת מכונה אתה כל הזמן מחפש דרכים לסחוט מהמודל תוצאות טובות יותר בכל מיני דרכים. לדוגמה, על ידי מציאת מודל מוצלח יותר. הרבה פעמים הכנת הנתונים ללמידה משפיעה יותר מהמודל. בפרט בחירת התכונות שמהם המודל לומד. יש גישות רבות לבחירת התכונות feature selection ללמידת מכונה. במדריך זה נסביר כיצד לשפר תוצאות של מודלים מסוג XGBoost תוך הסתמכות על המדד feature importance שנותן ניקוד לתכונות לפי מידת התרומה שלהם לתוצאות, ושימוש רק באותם התכונות שקיבלו ניקוד גבוה. למה כדאי להשתמש בתכונות הרלוונטיות ביותר לביצועי המודל? כי נתונים רלוונטיים מפחיתים את הרעש ומגבירים את הסיגנל דבר המביא להפחתה בצריכת משאבי מחשוב ולעלייה בדיוק התוצאות. במדריך קודם על סיווג באמצעות מודל למידת מכונה XGBoost השתמשנו באותה דוגמה בה נעשה שימוש במדריך כדי לחזות מי מנוסעי הטיטאניק ישרוד את טביעת הספינה. במדריך זה אנסה לשפר את התוצאות באמצעות בחירת התכונות המשמשות ללמידת מכונה feature selection.

תיאום קנה מידה (feature scaling) בהכנת הנתונים ללמידת מכונה

14.10.2021 | מדריך למידת מכונה | יוסי בן הרוש

עבור מודלים רבים של למידת מכונה תיאום קנה המידה (feature scaling) הוא חלק חשוב ואף חיוני של הכנת הנתונים. במדריך זה נסביר מדוע צריך לתאם את קנה המידה, ונלמד את שתי הגישות העיקריות, סטנדרטיזציה ונורמליזציה.