Amy Webb, “The Big Nine: How the Tech Titans and Their Thinking Machines Could Warp Humanity”, March 2020
בשנים האחרונות מועברות עוד ועוד פעילויות לאחריות כלי הבינה המלאכותית. מדובר במגמה ידועה שמטרתה לייעל כמה שיותר תחומים בחברה. במקרים רבים מדובר בהחלטות של חיים ומוות: כלי בינה מלאכותית מופקדים כעת על ניתוח תצלומי הרנטגן וה-MRI שלנו, ובעזרתם מאבחנים גידולים סרטניים פוטנציאליים; הם מחליפים את אנשי הסוכנות למודיעין חזותי וגאוגרפי של קהילת המודיעין האמריקנית (NGA) האחראים על איסוף וניתוח מידע חזותי מלוויינים וממל”טים; ומוטמעים בתוכנות זיהוי פנים המשמשות את המשטרה לזיהוי פרצופים של חשודים.
ספר חדש מאת איימי ווב (Amy Webb), “פרופ’ לחשיבה עתידנית” בבית הספר למנהל עסקים באוניברסיטת NYU, מנסה להבין האם אנחנו עלולים לאבד שליטה על כלי הבינה המלאכותית האלה. המחברת טוענת שהאנושות ניצבת בפני משבר קיומי, ועליה לעסוק כעת בשאלה מה יקרה לחברה האנושית אחרי שתעביר את מלוא הכוח למערכות ולאלגוריתמים שיקבלו החלטות עבורה.
רק ביוני השנה נדהם רוברט ויליאמס לגלות שמשטרת דטרויט הגיעה לפתח ביתו, עצרה ואזקה אותו מול אשתו ושתי בנותיו[1]. אף על פי שלוויליאמס לא היה רקע פלילי, טענו בפניו השוטרים כי הוא חשוד בגניבת שעוני יוקרה, כיוון שתוכנה לזיהוי פנים של המשטרה, המבוססת על בינה מלאכותית, זיהתה אותו. תלונותיו הנשנות שהוא חף מפשע ושאפילו לא שהה באזור החנות לא הועילו, והוא נעצר ל-30 שעות, שבסיומן שוחרר לחופשי. מקרה דומה התרחש שנתיים קודם לכן כאשר נבדקו תמונותיהם של כל חברי הקונגרס האמריקני בתוכנת זיהוי פנים של אמזון. התוכנה מצאה כי ל-28 מהם “היה” כביכול עבר פלילי[2].
אם לדייק, הבעיה העיקרית שווב מצביעה עליה אינה בבינה המלאכותית ה”טיפשה” יחסית אלא בטכנולוגיה מתקדמת יותר – “למידה עמוקה” (Deep Learning) שצצה סביב 2005 וצברה תאוצה מאז 2012. בניגוד למערכות של בינה מלאכותית המקבלות אוסף כללים והנחיות (אלגוריתמים שלפיהם הן עובדות), ב”למידה עמוקה” אין הוראות הפעלה מפורטות. המערכות “מתבוננות” בעולם שסביבן ו”לומדות” ממנו באמצעות ניתוחים סטטיסטיים. מערכות אלה מסוגלות “להבין” מה רואים בתמונה וכיצד לתרגם אוסף מילים המושמע להן.
וכאן בדיוק הבעיה. אם למערכות אין אוסף כללים ברור שסיפקו להן התכנתים, אלא בעיקר אוסף אלגוריתמים שפיתחו בעצמן בתהליך הלמידה העמוקה, מה נוכל לעשות כאשר המערכות יטעו? מה נעשה אם, למשל, רכב אוטונומי יטעה בחישוביו ויביא למותם של נוסעים? האם נוכל לנבור בשורות הקוד ובאלגוריתמים שהזנו לו כדי לגלות את הבאג? לא בטוח כלל, שכן אין לנו מושג מה קורה בתוך “הקופסה השחורה” שלו.
כך קרה עם “דיפ-פציינט”. סטודנטים בבית הספר לרפואה בבית החולים “מאונט סיני” בניו יורק בנו מערכת שמטרתה לנבא את מחלת הסרטן[3]. הם קיבלו גישה ל-700,000 תיקים רפואיים במטרה לזהות דפוסים חוזרים שרופאים לא שמו לב אליהם, אך שהתגלו כיעילים בניבוי סרטן בשלב מוקדם. “דיפ-פציינט” קיבלה החלטות טיפוליות אך לא יכלה לנמק אותן. דבר זה הקשה על הצוותים הרפואיים להאמין לה, לשנות את כיוון הטיפול, להפסיק או להחליף תרופות ולהציע כימותרפיה.
ווב כותבת גם על מקרים מסוג אחר – שבהם מצייתים אוטומטית למערכות. באפריל 2017, גילו דיילי הקרקע של חברת יונייטד שקיימת תפוסת יתר בטיסה שצריכה לצאת משיקגו. הם ביקשו מנוסעים להתנדב ולוותר על מקומם תמורת חדר במלון ופיצוי כספי, אך אף אחד לא התנדב. בינתיים חלק מהנוסעים התיישב כבר.
לתמונה נכנסה מערכת בינה מלאכותית שבחרה ארבעה אנשים שיהיה עליהם לוותר על מקומם בטיסה, בהם ד”ר דוד דאו ואשתו ששניהם רופאים. שני האנשים האחרים צייתו להוראה וירדו מהמטוס, אך ד”ר דאו התווכח עם חברת התעופה בטלפון והסביר מדוע אינו יכול לאחר את טיסתו ביום. איש הביטחון איים על דאו במעצר אם לא יפנה את מקומו. לאחר מכן גררו אותו בכוח ממקומו, שברו את אפו וגרמו לחתכים מדממים בפניו. הדיילים לא הפעילו שיקול דעת אלא צייתו באופן עיוור להנחיות הבינה המלאכותית שלא תוכנתה להבין נסיבות חריגות, לגלות גמישות או אמפתיה.
הבעיות שווב מצביעה עליהן גדלות שבעתיים כאשר מבינים שעולם הבינה המלאכותית נשלט על ידי תשע חברות ענק ששלוש מהן סיניות: באיידו (Baidu), אליבאבא וטנסנט (Tencent). שלושתן מתוקצבות בנדיבות על ידי המפלגה הקומוניסטית הסינית השולטת בהן. אותה מפלגה, כותבת ווב, רוצה ליצור סדר עולמי חדש שבו ישלטו ערכים שאינם מקובלים במערב.
ווב מתארת את פרויקט הדירוג החברתי באמצעות בינה מלאכותית הפועל היום בסין, עליו כתבנו לא מעט במגזין זה, היוצר דירוג לאזרחי סין הקובע אם יוכלו לרכוש כרטיס לרכבת, לקבל הלוואה, להתקבל לעבודה חדשה וכו’. הבינה המלאכותית הפכה לכלי המשמש את המשטר הסיני לשלוט באזרחי סין, אך כוונותיו גלובליות, כותבת ווב. היא מזהירה אותנו שבהיעדר קודים מוסריים וערכים הומניסטים בכל תשע החברות, רעיונות אוטוריטריים סיניים, כמו גם רעיונות מוטים שמקורם בארה”ב, יושתלו בבסיס קבלת ההחלטות של המערכות האלה. מערכות בינה מלאכותית או “למידה עמוקה” משקפות את העדיפויות של מפתחיהן ולומדות לחשוב כמוהם. חששה הגדול ביותר של ווב הוא שנוותר על שיקול דעתנו ונפעל באופן עיוור, בעקבות החלטות המכונה.
- Press Release, “ACLU Calls on Lawmakers to Immediately Stop Law Enforcement Use of Face Recognition Technology”, June 2020
- Sam Levin, “Amazon face recognition falsely matches 28 lawmakers with mugshots, ACLU says”, The guardian, 2018
- Riccardo Miotto, +3, “Deep Patient: An Unsupervised Representation to Predict the Future of Patients from the Electronic Health Records”, Scientific Reports, May 17, 2016