הנפשת ציורים חובבניים באמצעות AI – פריצת דרך חדשה
מצעירותם, אנשים מבטאים את היצירתיות שלהם באמצעות ציור. כעת, מערכת בינה מלאכותית חדשה מאפשרת להפוך ציורים חובבניים לאנימציות בקלות. במסגרת מחקר חדש, אנו משחררים את קוד האנימציה יחד עם מאגר נתונים חדשני הכולל כמעט 180,000 ציורים חובבניים מתויגים. למיטב ידיעתנו, זהו המאגר הראשון מסוגו הכולל ציורים מתויגים בפירוט כזה.
כיצד AI מזהה ומפרש ציורים חובבניים?
ציור הוא שפה אוניברסלית שבאמצעותה אנשים מתארים דמויות, סצנות ורעיונות. אך בעוד שמשמעותו של ציור יכולה להיות ברורה לצופה האנושי, מודלים של AI מתקשים לעיתים להבין אותו, במיוחד כאשר הוא מופשט או רחוק מן המציאות הפיזית. כדי ללמד בינה מלאכותית לזהות מגוון דרכי ביטוי של דמויות אנושיות, יש צורך במאגר נרחב של ציורים חובבניים. המאגר החדש, אשר מפורט במאמר המחקר שלנו, מספק לחוקרים כלים לניתוח מדויק יותר של ציורים, ופותח דלת לחוויות חדשות המשלבות בין העולם הדיגיטלי והפיזי – כמו דרכים חדשות לסיפור סיפורים ונגישות גבוהה יותר באמנות.
הדגמת האנימציה – כיצד אספנו את הנתונים?
בשנת 2021 שחררנו דמו של מערכת Animated Drawings, אשר הזמין משתמשים לתרום ציורים חובבניים לטובת מחקר. המשתמשים העלו ציורים, אישרו או תיקנו
אנוטציות (תיוגים), וקיבלו אנימציה קצרה של הדמות שלהם. יותר מ-3.2 מיליון אנשים ברחבי העולם השתתפו, והועלו למערכת כ-6.7 מיליון תמונות. לאחר מכן, צוות אנושי סינן והגדיר תת-מאגר של תמונות שעמדו בקריטריונים של המחקר.
שמירה על פרטיות ובקרת איכות
לפני שחרור המאגר, ביצענו מספר רמות של סינון על מנת להבטיח איכות גבוהה ושמירה על פרטיות המשתמשים. כל התמונות שנאספו עברו סינון ידני כדי להבטיח שהן מכילות ציורים חובבניים בלבד, ללא דמויות המוגנות בזכויות יוצרים וללא תוכן בלתי הולם.
שדרוג יכולות ההנפשה והרחבת אפשרויות AI
הדמו המקורי איפשר רק סט מוגבל של תנועות, אך משתמשים רבים ביקשו תכונות נוספות, כגון תמיכה במספר דמויות, פעולות חדשות, הבעות פנים (כמו חיוך והבהוב) ומחוות מבט. המאגר החדש מאפשר לחוקרים לפתח תוספות יצירתיות שירחיבו את היכולות המקוריות ויאפשרו הנפשות מתקדמות יותר.
כיצד AI לומד לזהות דמויות מתוך ציורים?
מגוון הציורים רחב כמו הדמיון האנושי עצמו, ולכן אימון מודל AI עליהם מהווה אתגר משמעותי. ישנן שתי דרכים עיקריות להתמודד עם האתגר הזה:
- אימון על ציורים חובבניים מתויגים – אך קשה למצוא כמות מספקת של ציורים מסומנים לאימון רשת נוירונית.
- יצירת נתונים סינתטיים – אך זה בעייתי, משום ששיטות יצירה ממוחשבות אינן תמיד משקפות את הפרטים הקטנים של ציורים חובבניים, כמו קמטים בנייר, מחיקות, צללים, ותאורה משתנה.
כדי להתגבר על בעיות אלו, פיתחנו מערכת הכוללת שלבים של זיהוי דמות, פילוח (segmentation), הערכת תנוחה, והנפשה. המשתמש יכול להעלות ציור, לשפר את זיהוי הדמות ולבחור את הפעולה להנפשה.
השפעת המאגר על יצירתיות ואנימציה בעולם הדיגיטלי
אנו מאמינים שהמאגר החדש, יחד עם קוד ההנפשה הפתוח, יעודד דור חדש של יוצרים ויחקור אפשרויות חדשות באמנות דיגיטלית. הוא יכול לשמש לא רק חוקרי AI, אלא גם מפתחי יישומים יצירתיים שירצו לנתח ולהנפיש ציורים בצורה אוטומטית ומתקדמת.
תהליך איסוף הנתונים ואיכות המאגר
המאגר שיצרנו ייחודי בגודלו ובאופיו, שכן הוא משקף תנאים אמיתיים בהם נוצרים ציורים חובבניים – כולל טשטוש, צללים, קיפולים בנייר ורקע לא נקי. לצד התמונות עצמן, המאגר כולל תיוגים מפורטים של קופסאות גבול (bounding boxes), מסכות פילוח, ונקודות מפרקים – אשר יכולים לסייע למודלים להבין ולהנפיש דמויות טוב יותר.
להלן תהליך איסוף הנתונים:
- משתמשים תרמו ציורים באופן וולונטרי דרך הדמו של המערכת.
- כל תמונה עברה סינון ואימות כדי להבטיח שהיא מכילה דמות אנושית שלמה, מצוירת ביד על נייר.
- שימוש בשיטות AI לסינון ראשוני, ולאחר מכן בדיקה ידנית של צוות מקצועי כדי להבטיח התאמה מלאה לסטנדרטים המחקריים.
- נמנעו ציורים עם תוכן בלתי הולם או דמויות מוגנות בזכויות יוצרים.
חדשנות בקוד פתוח – שיתוף עם קהילת החוקרים
בהתאם לגישתנו לקידום מדע פתוח, אנו משתפים את קוד ההנפשה ואת מאגר הנתונים כדי לאפשר לחוקרים ולמפתחים להשתמש בו למטרות שונות. ציור הוא צורת ביטוי טבעית ונגישה לכל, ואנו מקווים שהמחקר שלנו יאפשר שימושים חדשים וחדשניים בבינה מלאכותית כדי לתמוך ביצירתיות האנושית.
להתנסות לחצו כאן
מקור: בלוג Meta
