צביעת תמונות שחור-לבן בצבע באמצעות ספרייה של בינה מלאכותית

מחבר:
בתאריך:

יש ברשותך תמונה ישנה שעברה במשפחה ואתה רוצה אותה בצבע? או שמצאת באינטרנט תמונה בשחור לבן אבל אתה מעוניין לדעת איך היא נראית במציאות? מה אפשר לעשות? אפשר לצבוע את התמונות בכל מיני טכניקות או לשלם למומחה לצביעת תמונות. במדריך תקבל הסבר כיצד להשתמש בספרייה החינמית DeOldify המבוססת על למידת מכונה.

את מודל הלמידה העמוקה DeOldify פיתח חוקר של בינה מלאכותית שהעלה אותו ל-github (מדריך על git ו-github) כדי שכל אחד בעולם יוכל להשתמש בו.

היופי במודל שהוא כבר מאומן היות ותהליך האימון של רשת נוירונית דורש כמות עצומה של ידע וזמן.

בדף ה-repo החוקר מציג את ה"לפני" ו"אחרי". כולל כמה תמונות אייקוניות שצולמו בשחור לבן בשנות ה-20 וה-30:

Migrant Mother  (1936) decolorized by deoldify

Terrasse de café, Paris (1925) decolorized

החיסרון היחיד שהספריה דורשת כרטיס גרפי טוב, שאין לכולם. לכן את המדריך אני מפתח על 

google colab (לקריאת המדריך על google colab) כי הוא מאפשר גישה לכרטיס גרפי על המחשבים של גוגל ועוד בחינם.

 

ארכיטקטורת GAN

המודל ESRGAN מבוסס על ארכיטקטורת GAN. ראשי תיבות של Generative Adversarial Network. לאימון המודל משתמשים בשתי רשתות מתחרות: רשת יוצרת generator ורשת מבחינה discriminator. רשת ה-generator מייצרת תמונות בעוד רשת ה-discriminator מנסה להבחין האם התמונות הם אמיתיות או חיקוי. תהליך האימון נעשה במספר סיבובים, ועם התקדמות האימון ה-generator, שמתחיל מיצור תמונות לא מוצלחות, מתקדם עד ליצירת תמונות שהם חיקוי טוב של המציאות. גם ה-discriminator לא קופא על שמריו, ויכולת ההבחנה שלו הולכת ומשתפרת. תוצאת התהליך הם תמונות חיקוי שמצליחות להטעות את ה-discriminator, ונראות אמיתיות לעין האנושית.

אפשר לראות הדגמה יפה של יכולת ארכיטקטורת GAN לייצר תמונות פרופיל של אנשים שאינם קיימים באתר https://this-person-does-not-exist.com.

אילו כמה דוגמאות של תמונות פרופיל של אנשים שאינם קיימים שהורדתי מהאתר:

profile images from the website this-person-does-not-exist.com to demonstrate the realism in images that GAN architecture generates

המודל המפעיל את DeOldify לא מתואר באף מאמר וממה שהחוקר כותב נראה שהוא משלב בין GAN ובין גישות קונבנציונליות יותר.

 

צביעת תמונות ישנות בשלושה צעדים על Google Colab

את המדריך ביססתי על קוד קיים המפעיל את הספרייה בתוך Google Colab.

  1. נתקין את התלויות:
    כולל הספריה: DeOldify
    !git clone https://github.com/jantic/DeOldify.git DeOldify
    נכנס לתיקייה שלתוכה הורדנו את הספרייה:
    !cd DeOldify
    נפעיל את ה-GPU כי צריך כרטיס גרפי ונתקין את הספרייה PyTorch:
    #NOTE:  This must be the first call in order to work properly!
    from deoldify import device
    from deoldify.device_id import DeviceId
    #choices:  CPU, GPU0...GPU7
    device.set(device=DeviceId.GPU0)
     
    import torch
     
    if not torch.cuda.is_available():
       print('GPU not available.')
    נתקין את כל יתר התלויות:
    !pip install -r colab_requirements.txt
    import fastai
    from deoldify.visualize import *
    import warnings
    warnings.filterwarnings("ignore", category=UserWarning, message=".*?Your .*? set is empty.*?")

    נוריד סימן מים אותו התוכנה תמקם על גבי התמונות שיווצרו בתהליך:
    !wget https://media.githubusercontent.com/media/jantic/DeOldify/master/resource_images/watermark.png -O ./resource_images/watermark.png
  2. נוריד את המודל לתיקייה:
    !mkdir 'models'
    !wget https://data.deepai.org/deoldify/ColorizeArtistic_gen.pth -O ./models/ColorizeArtistic_gen.pth
  3. נאתחל את המודל ונריץ אותו:
    colorizer = get_image_colorizer(artistic=True)
    source_url = '' #@param {type:"string"}
    render_factor = 35  #@param {type: "slider", min: 7, max: 40}
    watermarked = True #@param {type:"boolean"}
    
    if source_url is not None and source_url !='':
        image_path = colorizer.plot_transformed_image_from_url(url=source_url, render_factor=render_factor, compare=True, watermarked=watermarked)
        show_image_in_notebook(image_path)
    else:
        print('Provide an image url and try again.')

זו תוצאת הניסוי שערכתי על תמונות שחור-לבן ישנות מהאלבום המשפחתי:

result of using the deoldify library on photos from the family album

 

גם זה יעניין אותך

YOLO - בינה מלאכותית שמזהה עצמים מרובים בתמונות

כיצד לשפר רזולוציה של תמונה באמצעות למידת מכונה?

סיכום מאמר ויקיפדיה באמצעות המודל המתקדם בעולם T5 של גוגל

 

לכל המדריכים בנושא של למידת מכונה

 

אהבתם? לא אהבתם? דרגו!

0 הצבעות, ממוצע 0 מתוך 5 כוכבים

 

 

הוסף תגובה חדשה

 

= 9 + 8