פיסיקל קומפיוטינג היא גישה המתבוננת ולומדת כיצד בני אדם מביעים עצמם באופן פיזי כבסיס לתקשורת שלהם בעזרת מחשבים. למעשה זו מסגרת יצירתית להבנת הקשר של בני אדם לעולם הדיגיטלי באמצעות מכניזם של קלט-פלט. באמצעות מיקרו בקרים, חיישנים החשים את הסביבה הפיסית ותוכנות קוד שונות יש באפשרותם של יוצרים (מעצבים ואמנים) לחולל חוויות אינטראקטיביות בעולם, הן במימד הפיסי והן בזה הוירטואלי. כיום, יוצרים ויוצרות מרחיבים ומעשירים את ארגז הכלים שלהם בטכנולוגיות חדשות ובשליטה בפלטפורמות פיתוח פתוחות ובכך מייצרים שפה חדשה בשדות היצירה, שולטים ומשחקים במרחבי הדאטה, הבינה המלאכותית ומערכות לומדות ומאתגרים את גבולותיהם.

‍

FutureFit #3

Sense — Think — Act

ההתפתחויות הטכנולוגיות המואצות, ריבוי הכלים הדיגיטליים וטשטוש הגבולות בין הדיסציפלינות, מציעים תהליכי עבודה חדשים ויצירתיים, המצריכים למידה מתמדת, פיתוח אוריינות דיגיטלית ומסוגלות לפעול בסביבות חדשות. שבוע המיומנויות הטכנולוגיות מציע בכל שנה הזדמנות לחשיפה וללמידה של טכנולוגיות חדשות באמצעות הרצאות וסדנאות מעוררות השראה וכלים להמשך למידה עצמאית.

פיסיקל קומפיוטינג היא גישה המתבוננת ולומדת כיצד בני אדם מביעים עצמם באופן פיזי כבסיס לתקשורת, עם ובעזרת מחשבים, ומעצבת אובייקטים מחוברים. לאורך השנים פיתחנו מערכות חישה, לימדנו אלגוריתמים לפענח אותות אנושיים וסביבתיים ולהגיב בהתאם.

זיהינו מגמה עולה בבצלאל של רצון להרחיב את ארגז הכלים היצירתי בעולם של קלט ופלט מהעולם הפיסי לדיגיטלי ולהפך, לשלוט בעיצוב של מערכות חישה אלו, להשפיע על האופן שבו האותות מפוענחים וכן על הפעולות שהן פועל יוצא על מנת שנדע לבקר וליצור את עולם העתיד. בתגובה למגמה זו, Future FIt #3 בשנת תשפ״ב סבב סביב התמה של הפיסיקל קומפיוטינג.

הסדנאות הציעו מגוון של מיומנויות מעשיות וחקירה של הממשק והמעבר בין העולם הפיסי לזה הדיגיטלי, עבדנו עם בקרים, חיישנים, חומרים, קוד, סאונד ושפה כחומרי גלם.

הסדנאות אשר הועברו ע״י יוצרים.ות ומרצים.ות מבצלאל ומחוץ: ״מהקוד החוצה עם טאץ׳ דיזיינר״ בהנחיית עדן עופר ורונן תנחום, ״IoT על הקצה: חפצי IoT מאתגרים״ בהנחיית שראון פז וצביק'ה מרקפלד, ״לעצב את הסאונד״ בהנחיית ד״ר טליה עמר ושרית יודלביץ׳ (שיתוף פעולה בין האקדמיה למוסיקה ולמחול בירושלים לבין בצלאל), ״Emotion Hacking״ בהנחיית טל ניסים, ״reCrafting Electronics״ בהנחיית איתי לניאדו , ״E-textile״ בהנחיית לירז פרימו, וסדנת ״סריקות תלת מימד״ בהנחיית אדם חבקין.

ליווי ופיתוח תוכן: שרית יודלביץ׳

עיצוב אתר: שחר קנטור

בינה חזותית, בינה מלאכותית

מה קורה כשהכלים שלנו משתנים? כשטכנולוגיות חדשות מופיעות ומשתכללות? מה קורה כשדברים, שעד כה ניתן היה לעשות רק במאמץ אנושי כביר, על ידי מי שאוחזים.ות במיומנות יוצאת דופן, תוצר של כשרון ייחודי, אימון ומומחיות, הופכים לאפשריים עבור רבים.ות ובמאמץ מועט בהרבה, בזכות הופעתה של טכנולוגיה חדשה? 

לשאלות הללו אין תשובה אחת, אלא תשובות רבות.

לעיתים, השינוי מביא להכחדה של פרקטיקה או לצמצום ניכר מאד שלה. לעיתים הוא מביא להפיכתה מקראפט לאמנות, ממיומנות מעשית ונפוצה למיומנות שבה אוחזים מתי מעט. לעיתים, הוא מביא דווקא לפריחה - מעצב מחדש את השדה, גורם לעוסקים.ות בו להציב לעצמםן מטרות שאפתניות יותר, מורכבות יותר, שלא עלו עד אז על הדעת, וכעת הופכות ברות השגה. 

‍

טכנולוגיות חדשות הן לא רק אמצעים, שמקרבים אותנו למטרות שכבר הצבנו לעצמנו, דרכים חדשות אל המוכר והידוע, אלא הן מזמנות צורות חדשות של חשיבה ושל היות, נתיבים חדשים בתוך השיח. הן מזמנות תובנות חדשות על מקומנו בעולם, על האופן שבו אנחנו חווים.ות אותו, מייצגים.ות אותו ומייצרים.ות אותו. 

‍

הטכנולוגיות החדשות מזמנות לא רק מחשבה אלא גם רגש, הן מעוררות בנו התלהבות, תקווה ופחד, הן עשויות לעורר בנו השתאות או אימה. הן מאיימות עלינו, מכיוון שהן מחייבות גם אותנו להשתנות, לא רק להסתגל, אלא להמציא את עצמנו מחדש. אבל בשביל שנוכל לעשות זאת, בשביל שנוכל לצאת בצידו השני של מסדרון השינוי כמובילי.ות דרך, אנחנו נדרשים.ות להתבונן בהן בקור רוח - להביא את שלב ההתלהבות או האימה לקיצו מהר ככל האפשר, ולבחון אותן מקרוב ובדקדקנות, לגלות את גבולותיהן, כדי שנוכל לפרוץ אותם, לבקש מהן יותר ממה שהן מסוגלות לספק בכל רגע נתון, כדי לחלץ מהן דבר מה חדש, כדי להאיר אותן ואת הקיום שלנו באור חדש. 

אם טרם התנסיתםן בעבודה עם מחוללי דימויים - עשו זאת. עשו זאת עד שהקסם יפוג, עד שהדימויים שייצרתם יהפכו רבים כל כך שכבר לא תוכלו לשאת זאת. עשו זאת עד שתחלוף ההקסמות מתבונתה של המכונה. עשו זאת עד שתגלו את גבולותיה, עד שתרצו ממנה דבר מה שהיא לא תוכל לתת לכםן. עשו זאת כדי לגלות את נקודות התורפה שלה, ואל תעצרו שם. שאלו את עצמכם מדוע מונחים הגבולות היכן ששרטטתםן אותם. שערו מה יידרש כדי שינועו משם. שאלו את עצמכםן איזה עולם חדש הוא זה שבו ההבנה שבינה יכולה לבוא לידי ביטוי גם באופנים חזותיים הופכת לנחלת הכלל. שאלו את עצמכםן איזו מומחיות חדשה תצמח במקום שבו מומחיות קיימת מתייתרת. שאלו את עצמכםן מה גורם לכםן לבחור דימוי אחד על פני אחר, ואיזה סוג של תבונת- מבט הוביל אתכםן לבחירה הזו. שאלו את עצמכםן על הכח האדיר המתהווה בידיכםן בשעה שבה התקשורת הופכת לחזותית יותר ויותר, שבה דימויים הם אמצעי להגדרה עצמית, לביטוי, לכלי של ביקורת ומחאה. שאלו את עצמכםן על עצמכםן, על האופן שבו תרצו לעשות שימוש בכח הזה, על האחריות שמתלווה אליו. שאלו את עצמכםן אילו שאיפות חדשות תוכלו לנסח לעצמכםן, אילו נתיבים חדשים תוכלו לסלול, אילו אופקים חדשים תוכלו לשרטט. שאלו את עצמכםן על כל מה שאינו דימוי -  על המרחק בין ציור ובין jpg. על המרחק בין אובייקט ובין הדמיית תלת מימד. שאלו את עצמכםן על הגוף, על מגע, על לכלוך וזיעה, ועל המרחק שהתרבות והמבט מאפשרים ולעיתים כופים מכל אלה. שאלו את עצמכםן על שקט במקום שיש בו רעש, על האטה במקום שבו יש האצה. הזדרזו ככל יכולתכם להשתחרר ממסרים שיווקיים, ולהזכר באתוסים שמכוננים את התרבות שלנו מזה אלפי שנים. שאלו את עצמכםן מהי בינה, ולא מהי בינה מלאכותית. 

‍

ד״ר ליאת לביא 

ראש תכנית התואר השני בתקשורת חזותית, בצלאל

דצמבר 2022

שיחה בין אמיר יציב, אמן ומרצה הקורס ״מעבדה וירטואלית״ באקדמיה לאמנות ועיצוב בצלאל וגילי זיידמן, אוצרת עצמאית וכותבת.

‍

אמיר: ההתחלה של CGI עבורי כאמן ויזואלי שתמיד היה עם מצלמה ביד, היתה לפני כמה שנים כשרציתי לעשות סרט דוקומנטרי על אנשים שבנו את מחנה אושוויץ בעולם וירטואלי. נפגשנו וזו היתה הזמנה לשוטט בעולם שלהם. בפרויקט ״פלנטה אחרת״, נפתח לי עולם חדש שנתן לי מענה מאוד מעניין. מאז זנחתי את המצלמה עם העדשה לטובת מצלמה אחרת. הפעולה מאוד דומה, להתבונן על עולם ולתעד אותו, אבל הכל קורה בתוך מדיום אחר דיגיטלי וירטואלי. אימצתי עולם אחר לתוך פרקטיקה ששמרתי עליה. חיפשתי את הקצה של הטכנולוגיה הזו. תמיד עניין אותי לקחת קצה טכנולוגי ולנצל אותו לעולם שלא נועד לו. 

בתוך העולם הרחב, התובעני והתעשייתי הזה, עניינה אותי תעשיית הגיימינג. מה שמבדל אותה מכלים אחרים ב-CGI זה ששם זה קורה בזמן אמת, צריך לייצר את הסביבה בה המשחק מתקיים. זה לא כמו לבנות פריים לסרט, אתה בעצם בונה עולם, שזה פלסטית מאוד עניין אותי. בנוסף, אם במקום הרובה אני שם מצלמה, זה מזכיר פתאום עבודה של צלם או דוקומנטריסט. כל עולם ה-CGI לפני הגיימינג לא מרנדר בזמן אמת. בגיימינג זיהיתי עולם די מציאותי, כמה שהוא רחוק מהמציאות, הפרקטיקה שלי כיוצר בתוך הדבר הזה היתה מאוד איטרטיבית, מהירה, אני מצלם ורואה את הפריים, מוסיף תאורה, מוריד תאורה. ככה הגעתי לתוך עולם ה-CGI מתוך הגיימינג וזה מאפשר לי לשמור על הפרקטיקה שלי. הרבה אמנים שעובדים עם CGI צריכים לרנדר את מה שהם עושים כדי באמת לראות אותו. זה תהליך שפחות התחברתי אליו. מעניין אותי ה"לייב". הכוח של ה-CGI לא טמון רק בלייצר תמונה אלא ביכולת ליצור פרפורמנס, ליצור את התמונה במקום מול הקהל. לא להקליט לפני כן. 

‍

גילי: בעבודה אלמנת הקש, שהוצגה בפסטיבל עכו, אתה יוצר דבר שיש בו ריאליזם וגם אבסורד. הפלטפורמה הטכנולוגית בזמן אמת ומול הקהל יש בה טעויות והיא מכניסה רבדים שבמדיום אחר היינו אומרים שזו מטאפורה. על הפערים הטכניים ישנה המחשה שהשחקנית מפעילה את הדמויות, אבל גם חוסר הבנה ברצף, כי אתה מעלה גם חומרים שיצרתם קודם ומייצר חוסר סנכרון בין הדמות על הבמה וההתרחשות במסך.

‍

אמיר: נכון אני משחק שם עם הזמנים. 

הבנתי שאני מתעסק יותר ב-puppeteering של העתיד. יש שני מפעילים (שאני אחד מהם) זה אף פעם לא smooth, יש לזה שפה עילגת שמשתמשים בה. זה משהו שמאוד הפריע לי ובהופעות האחרונות הבנתי שב-puppetshow רואים את המפעיל, יש לו תפקיד. אלה שאלות שאני שואל את עצמי- כמה להראות את המפעיל וכמה להקליט מראש?

‍

גילי: סיטואציה בתוך סיטואציה בתוך סיטואציה. יש הקבלה בין הדמויות שאתם מייצרים לאופן שאנשים תקועים בתוך סיטואציה, במופע ומחוצה לו. בסוף אתה חושף עוד רובד שבו החייל שהראה לך את המבנה שבעבודה הופך להיות המפעיל כשאתה נמצא בתוך הבית, גם הקהל שבוי בתוך הסיטואציה הזו. כשאני במופע אז באינטראקציה שלי יש התחייבות.

‍

אמיר: אני מנסה לברוח מהתיאטרון, אני מנסה לשלב ידיים בין קולנוע ותיאטרון, פחות מעניין אותי לייצר תיאטרון. זו לא השפה שלי. זה עניין שאני עדיין חוקר.

‍

גילי: כמו הגיימינג, אתה לוקח משהו ועושה בו שימוש שמעניין אותך, ולא השימוש המקורי. 

‍

אמיר: נכון.

עשיתי פרויקט אחר בפסטיבל ישראל לפני שנה עם לייב פרפורמנס, שם נפל לי האסימון לעשות את זה לייב וזה עבד. על המסך השחקניות השתנו אבל על הבמה זו אותה שחקנית שעושה אותו טייק של אודישן. זה עורר שאלה על כפילים וכפילויות- על מי להסתכל? על זו שעושה בדיוק אותו דבר, או על זו שעושה גם בדיוק את אותו דבר אבל היא לא אותו דבר. מי הכפיל? מי המקור? שאלות של סימולקרה. 

‍

בעבודה חדשה שהתחלתי אני עדיין עסוק בלבנות את הדמות, להחליט מה היא יודעת לעשות. זאת למשל יכולה להתבונן, להתיישב וללכת. ההליכה שלה היא יחסית מורכבת. את רואה, היא הולכת לכל הצדדים. יפעילו אותה ואת הדמויות הנוספות בן דוד שלי וחברים שלו. זה לקחת גיימינג ולעשות איתו מהלך תיאטרלי. מישהו יצטרך לביים אותם בסצנה. זה יהיה לייב אבל לגמרי לייב אחר, לייב של קונטרולרים, כוריאוגרפיה.

‍

גילי: כמו לעבוד עם non actors.

‍

זה מחזיר אותי לעבודה שהצגת reenactments של קרבות. אני אקביל את הבחורים שם למי שיפעילו את הדמויות בעבודה הבאה. שם הם משחזרים קרב קיים, כמו גיימיניג אולד סקול, יש משהו הרבה יותר תיאטרלי בהתלבשות ובלמידה מי הלך לאן, מי עשה מה. אני לא יודעת מה השכפול שאתה מייצר עכשיו אבל אני מניחה שהוא נמצא. השכפול קיים כמובן ב"אלמנת קש", גם העבודה שהצגת בארטפורט מתעדת פרפורמנס שלוקח דימויים מעולם של מטווח ומייצר לו חזרתיות. בפלאוסול 80 דרום אתה מתחקה אחר היומנים של פרופ' ענתי ואחר גניבת המתכת, אחר דברים שקורים בשטח או שמישהו סובר שקרו בשטח. זה מעניין הקרוסים האלה שחוזרים, באופן מאוד מובנה וגם מעורבל בו זמנית. 

‍

אמיר: הספר "סערת כפילים", שכתב עירן דורפמן, עוסק בדמות הכפיל לאורך ההיסטוריה. הוא מנסה להסביר שהגבול בין הכפיל למי שמייצר אותו מאוד היטשטש במציאות הנוכחית. אם בזהות הוירטואלית שלך, בזהות הלא וירטואלית שלך, או לגמרי קולות נוספים שיש לך שלפעמים. למשל ב"אנטיפודים" שהזכרת התחקתי אחר reenactors באירופה ובארץ שעושים צבא ישראלי וצבא גרמני, כל אחד בחר כפיל אחר להכנס לבבואה שלו. מה שאני מזקק מהספר, וביחס לגוף העבודה שלי, זו האמירה שצריך ללמוד לתת לכפילים האלה לחיות צד לצד, הם קיימים, תמיד יהיה את הקול הנוסף הזה. כן, אלה הדברים שאני רואה מנצנצים שוב בעבודות. בעבודה בארטפורט זה באמת להסתכל על דימוי ולהדהד אותו מחדש בעולם אחר בקונטקסט אחר. אני משוטט בעולמות שאני לא יכול לשוטט אחרת עם מצלמה, ואני מייצר קשרים בין בן אדם אחד שמפעיל כפילים נפרדים יחד. מחפש את הצידוק שלי להשתמש בכלי הזה. או שולח אותך הצופה שיושבת ב"לייב" לקחת החלטה על מי את מסתכלת, אם את מסתכלת על ה-human, על הכפיל שלו, או שאת מרצדת כל הזמן, שזה יכול להיות כח אבל גם מכשלה של המדיום הזה. זה באלאנס שמעסיק אותי. כי אין לעבודות מרכז אחד.

‍

גילי: השאלה לאן להסתכל. הכל קורה יחד ואז איפה נקודת ההתייחסות שלי בתוך המכלול הזה, ומה זה אומר לפספס אינפורמציה ולא לפספס אינפורמציה.

‍

אמיר: בדיוק. זה הענין של העבודה עצמה, איפה הדיאלוג בין המוקדים השונים של העבודה? האם הם קורים במקביל או לשחרר את הצופה מהדבר הזה וכאילו להסביר לו: עכשיו מה שחשוב זה פה, ועכשיו מה שחשוב זה פה. 

‍

כל הקרביים של הדבר הזה מרתקים אותי. זו מראה מאוד חזקה על עצמנו מן הסתם, להסתכל על חבורה שיושבת עם קונטרולרים ומפעילה עולם בצורה וירטואוזית. מרתק אותי ליצור תחושת פרפורמנס של סיינס פיקשן. אי אפשר לעשות סיינס פיקשן כי זה רק פיקשיין, אבל אני כאילו מתעקש שאפשר לעשות סיינס פיקשן לייב. לא לברוא עולם בסרט, אלא לגמרי להצליח לחבר, במקרה הזה בין אדם למכונה.

‍

גיימינג מעבר לזה שהוא וירטואלי, מאוד מנסה לחקות את המציאות. שזה גם דבר שמרתק אותי, ללכת לוירטואלי, לעולמות פנטסטיים, אבל מאוד להתאמץ דווקא לשכנע, להרשים ולגעת בריאליזם. לדעת שלא תשכנע לעולם, אבל איכשהו ליצור אצל הצופה איזו נוסטלגיה למציאות.

‍

גילי: אני נכנסת לסיטואציה בזכות הריאליזם, אתה נותן לי סטינג. יש איזשהן קואורדינטות שגם אני כצופה מכניסה את עצמי לתוכן ולכאורה מבינה איפה אני נמצאת. בהמשך זה יכול להיות rabbit hole אבל כמו במשחק, יש איזו נקודת כניסה ועכשיו מתחילים. האבסורד מודגש וחל עלי כי יש מרחק מסוים, שכבות של רבדים משמשות buffer שמאפשר לי להסתובב עכשיו במרחב הזה אתך.

‍

אמיר: אני מאוד מוקסם מטכנולוגיה חדשה, מכל טכנולוגיה חדשה, אבל בתוך ההיקסמות אני תמיד מחפש את הכשלים שלה. בסוף הפעולה שלי היא באזור שיכול להביא לכשלים של הטכנולוגיה. זו ההשראה שלי אולי.

‍

עבדתי עם מתכנת והוא חיבר דמות למנוע שפה שמדבר ואני נותן לאנשים לדבר עם הרובוט הזה שהוא רובוט יחסית חכם. אני מפעיל אותו והעיניים שלו זזות קצת, הוא מסתכל עליך ופתאום במבט משהו נוצר. הוא מנהל שיחות יחסית מורכבות מאוד יפה. תמיד מגיע שלב מרגש, הוא שולף תשובה שלא ציפית והוא קולע. אם את שואלת את עצמך מה זו שיחה, מה זה לנהל שיחה, שזה דבר מאוד מורכב, עם מישהו זר ולא על נושא שתיאמתם מראש, שיחה בדר"כ מתגלגלת ואז אם תשלפי עניין שדיברתם עליו בתחילת השיחה, כאן זה ירגיש כאילו הוא מדבר עליו פעם ראשונה. אז זה נהיה חלול, כולם מוסרים את החוויה הזו.

‍

גילי: מעניין גם אפרופו השכפולים.

‍

אמיר: זה הכפילים. 

הניסיון לחזור, לא עושה אותו מספיק חכם, כאילו זה טריק מאוד מורכב שלנו בשיחה של בני אדם, להביא רפרנס מתחילת השיחה או מלפני דקה אפילו. 

‍

במאמר AI and The Limits of Language ג’ק בראונינג ויאן לקון (Browning and Lecun) מציגים טענה המנסה להסביר למה לעולם לא נצליח לנהל שיחה עם AI בשיטה שמדעני AI עובדים, באלגוריתם שנכתב על שפה, על שיחה, לא לקיחת החלטות של ירי. אם אני מאוד אפשט, נטען ש-AI הכי מתוחכם שיש היום לא יודע מה נושא השיחה, הוא יודע להגיד משפט. וזו גישה סופר מעניינת להבין שזה לא יעבוד. ה-base שלנו כבני אדם הוא שאנחנו יודעים מה נושא השיחה, את יכולה לחרוג להכל כמובן, אבל יש נושא שיש לך לינק אליו.

‍

גילי: מעניין. גם בכלליות על פערים בשיחה, מחזיר אותי לסטינג הזה, אם אני מבינה שאני מול עבודת אמנות אז כל העולם יכול כאילו לזלוג עכשיו כי אני בתוך תפיסה ברורה של מה קורה כאן. זה לוקח אותי למקומות בסיסיים בסופו של דבר עבור בן אדם, כמו הרצון שהדמות הזו תבין אותי, או שאני אבין את עצמי כי דיברתי איתה. פתאום אני חושבת על גלגולים של משחקיות, כמו לדבר אל הדובי שלך. מובן מאליו שהצד השני לא בסיטואציה אבל זה גם לא משנה, כי אני משליכה עליו המון ועוברת תהליך מסוים. זה לא משנה אם הוא פרוותי או לגמרי וירטואלי, אני מייצרת מערכת יחסים עם דמות. אפרופו גם מה שאמרת בהתחלה על לעשות שימוש בכלי. 

‍

כן נכון, זו בסוף השלכה שלנו.