צביעת תמונות שחור-לבן בצבע באמצעות ספרייה של בינה מלאכותית

יש ברשותך תמונה ישנה שעברה במשפחה ואתה רוצה אותה בצבע? או שמצאת באינטרנט תמונה בשחור לבן אבל אתה מעוניין לדעת איך היא נראית במציאות? מה אפשר לעשות? אפשר לצבוע את התמונות בכל מיני טכניקות או לשלם למומחה לצביעת תמונות. במדריך תקבל הסבר כיצד להשתמש בספרייה החינמית DeOldify המבוססת על למידת מכונה.

את מודל הלמידה העמוקה DeOldify פיתח חוקר של בינה מלאכותית שהעלה אותו ל-github (מדריך על git ו-github) כדי שכל אחד בעולם יוכל להשתמש בו.

היופי במודל שהוא כבר מאומן היות ותהליך האימון של רשת נוירונית דורש כמות עצומה של ידע וזמן.

בדף ה-repo החוקר מציג את ה"לפני" ו"אחרי". כולל כמה תמונות אייקוניות שצולמו בשחור לבן בשנות ה-20 וה-30:

החיסרון היחיד שהספריה דורשת כרטיס גרפי טוב, שאין לכולם. לכן את המדריך אני מפתח על 

google colab (לקריאת המדריך על google colab) כי הוא מאפשר גישה לכרטיס גרפי על המחשבים של גוגל ועוד בחינם.

ארכיטקטורת GAN

המודל ESRGAN מבוסס על ארכיטקטורת GAN. ראשי תיבות של Generative Adversarial Network. לאימון המודל משתמשים בשתי רשתות מתחרות: רשת יוצרת generator ורשת מבחינה discriminator. רשת ה-generator מייצרת תמונות בעוד רשת ה-discriminator מנסה להבחין האם התמונות הם אמיתיות או חיקוי. תהליך האימון נעשה במספר סיבובים, ועם התקדמות האימון ה-generator, שמתחיל מיצור תמונות לא מוצלחות, מתקדם עד ליצירת תמונות שהם חיקוי טוב של המציאות. גם ה-discriminator לא קופא על שמריו, ויכולת ההבחנה שלו הולכת ומשתפרת. תוצאת התהליך הם תמונות חיקוי שמצליחות להטעות את ה-discriminator, ונראות אמיתיות לעין האנושית.

אפשר לראות הדגמה יפה של יכולת ארכיטקטורת GAN לייצר תמונות פרופיל של אנשים שאינם קיימים באתר https://this-person-does-not-exist.com.

אילו כמה דוגמאות של תמונות פרופיל של אנשים שאינם קיימים שהורדתי מהאתר:

המודל המפעיל את DeOldify לא מתואר באף מאמר וממה שהחוקר כותב נראה שהוא משלב בין GAN ובין גישות קונבנציונליות יותר.

צביעת תמונות ישנות בשלושה צעדים על Google Colab

את המדריך ביססתי על קוד קיים המפעיל את הספרייה בתוך Google Colab.

1. נתקין את התלויות:
   כולל הספריה: DeOldify

   !git clone https://github.com/jantic/DeOldify.git DeOldify

   נכנס לתיקייה שלתוכה הורדנו את הספרייה:

   !cd DeOldify

   נפעיל את ה-GPU כי צריך כרטיס גרפי ונתקין את הספרייה PyTorch:

   #NOTE:  This must be the first call in order to work properly!
   from deoldify import device
   from deoldify.device_id import DeviceId
   #choices:  CPU, GPU0...GPU7
   device.set(device=DeviceId.GPU0)
    
   import torch
    
   if not torch.cuda.is_available():
      print('GPU not available.')

   נתקין את כל יתר התלויות:

   !pip install -r colab_requirements.txt

   import fastai
   from deoldify.visualize import *
   import warnings
   warnings.filterwarnings("ignore", category=UserWarning, message=".*?Your .*? set is empty.*?")

   
   נוריד סימן מים אותו התוכנה תמקם על גבי התמונות שיווצרו בתהליך:

   !wget https://media.githubusercontent.com/media/jantic/DeOldify/master/resource_images/watermark.png -O ./resource_images/watermark.png

2. נוריד את המודל לתיקייה:

   !mkdir 'models'
   !wget https://data.deepai.org/deoldify/ColorizeArtistic_gen.pth -O ./models/ColorizeArtistic_gen.pth

3. נאתחל את המודל ונריץ אותו:

   colorizer = get_image_colorizer(artistic=True)

   source_url = '' #@param {type:"string"}
   render_factor = 35  #@param {type: "slider", min: 7, max: 40}
   watermarked = True #@param {type:"boolean"}
   
   if source_url is not None and source_url !='':
       image_path = colorizer.plot_transformed_image_from_url(url=source_url, render_factor=render_factor, compare=True, watermarked=watermarked)
       show_image_in_notebook(image_path)
   else:
       print('Provide an image url and try again.')

זו תוצאת הניסוי שערכתי על תמונות שחור-לבן ישנות מהאלבום המשפחתי:

גם זה יעניין אותך

YOLO - בינה מלאכותית שמזהה עצמים מרובים בתמונות

כיצד לשפר רזולוציה של תמונה באמצעות למידת מכונה?

סיכום מאמר ויקיפדיה באמצעות המודל המתקדם בעולם T5 של גוגל

לכל המדריכים בנושא של למידת מכונה

אהבתם? לא אהבתם? דרגו!

0 הצבעות, ממוצע 0 מתוך 5 כוכבים