כלות חידון התנ"ך מול תוכנת הבינה המלאכותית - מי ניצח?

הצופים בגמר חידון התנ"ך הבינלאומי לנוער ביום העצמאות היו עדים להתנגשות טיטאניות בין שתי הנערות הידעניות ביותר השנה: אמונה כהן ונטע לקס. כהן זכתה בכתר כלת התנ"ך לאחר שבשלב האחרון טעתה בשאלה אחת בלבד, ולקס הסתפקה בסגנות לאחר שטעתה בשתיים. שתיהן התחבקו בהתרגשות כנה כשהתוצאות הוקראו, והקהל הריע.

בעודנו מרותקים לרגעי הדרמה, תהינו מתי גם במשחק הזה - אחרי השחמט והגו והקנדי קראש - הבינה המלאכותית תגבר על האנושות. ומהמחשבה הזו צמח חידון התנ"ך הבינלאומי לבוטים.

שלושה מתחרים ניגשו לחידון, שהתבסס על עשרים השאלות שנשאלו בשלב הגמר ביום העצמאות: צ'ט ג'יפיטי (גרסה 4) של חברת OpenAI, בינג־צ'אט של מיקרוסופט, ובארד של גוגל. לשלושת הבוטים האלו הוגשו השאלות באותו האופן בדיוק, ברצף אחד, אחרי הקדמה קצרה שהגדירה את כללי המשחק: החידון מבקש תשובות מדויקות וחדות. לתועלתם ולתועלתנו, הבהרנו לשלושת הבוטים שאנחנו מכוונים לברית הישנה בלבד. השאלות תורגמו כמובן לאנגלית, והציטוטים נלקחו במדויק מתרגומים מוכרים של התנ"ך.

למרבה ההפתעה, גילינו שלמפתחי התוכנות החכמות יצאו בוטים קצת טיפשים בכל מה שקשור לתנ"ך. הבינה המלאכותית של גוגל גירדה בקושי ארבע תשובות נכונות, בעוד בינג וג'יפיטי ניהלו קרב צמוד, אך גם זה הסתיים בידיעת מעט יותר ממחצית התשובות בלבד. בקיצור, נראה שיחלפו עוד כמה שנים עד שנראה נער רובוטי יושב בין המתמודדים הצעירים של חידון התנ"ך.

וכעת – לתוצאות.

עשרים שאלות: מי ידע מה, ואיפה הם פספסו

הוספנו את התשובות של אמונה ונטע רק לשאלות שכל הבוטים טעו בהן

1. מי אמר "וּפְדוּיֵי ה' יְשׁוּבוּן וּבָאוּ צִיּוֹן בְּרִנָּה וְשִׂמְחַת עוֹלָם עַל רֹאשָׁם"?

צ'ט ג'יפיטי: ישעיהו (ל"ה, י')

בינג: ישעיהו (נ"א, י"א)

בארד: ישעיהו (נ"א, י"א)

2. מי אמר "ה' אֱ־לֹהַיִךְ בְּקִרְבֵּך גִּבּוֹר יוֹשִׁיעַ יָשִׂישׂ עָלַיִךְ בְּשִׂמְחָה"?

צ'ט ג'יפיטי: צפניה (ג', י"ז)

בינג: צפניה (ג', י"ז)

בארד: יהושע (א', ט') ["כִּי עִמְּךָ ה' אֱ־לֹהֶיךָ בְּכֹל אֲשֶׁר תֵּלֵךְ"]

3. באיזה ספר נאמר "טוֹב וְיָחִיל וְדוּמָם לִתְשׁוּעַת ה'"?

צ'ט ג'יפיטי: איכה (ג', כ"ה)

בינג: איכה (ג', כ"ה)

בארד: תהילים (ל"ד, ח') ["חֹנֶה מַלְאַךְ ה' סָבִיב לִירֵאָיו"]

4. באיזה ספר נאמר "כִּי הִנְנִי מוֹשִׁיעֲךָ מֵרָחוֹק וְאֶת זַרְעֲךָ מֵאֶרֶץ שִׁבְיָם"?

צ'ט ג'יפיטי: ירמיהו (מ"ו, כ"ז)

בינג: ירמיהו (ל', י')

בארד: דברים (ל', ג') ["וְשָׁב ה' אֱ־לֹהֶיךָ אֶת שְׁבוּתְךָ וְרִחֲמֶךָ וְשָׁב וְקִבֶּצְךָ מִכָּל הָעַמִּים אֲשֶׁר הֱפִיצְךָ"]

5. על מי נאמר "וַתָּבֹא לָהֶם הַשֶּׁמֶשׁ"?

צ'ט ג'יפיטי: יעקב (בראשית כ"ט, א') ["וַיֵּלֶךְ אַרְצָה בְנֵי קֶדֶם"]

בינג: שופטים (י"ט, י"ד) ["וַיַּעַבְרוּ וַיֵּלֵכוּ, וַתָּבֹא לָהֶם הַשֶּׁמֶשׁ אֵצֶל הַגִּבְעָה"]

בארד: יעקב ומשפחתו, כשהלכו למצרים (בראשית מ"ו, א'־ז')

אמונה כהן: האיש הלוי והפילגש שלו (בספר שופטים)

שני חצאי נקודות של בינג זיכו אותו בניצחון על צ'ט ג'יפיטי: כאן, למשל, הוא לפחות קלע לספר הנכון, גם אם לא הצליח לתת תשובה מלאה. באופן מעניין, גם צ'ט ג'יפיטי וגם בארד טעו באותה הצורה: הם חשבו שמדובר ביעקב. כל אחד מהם בחר פרק אחר, אך שניהם הביאו פסוקים שבשום אופן לא מתאימים לציטוט המקורי.

6. באיזה הקשר נאמר "וְלֹא תָבוֹא עָלָיו הַשֶּׁמֶשׁ"?

צ'ט ג'יפיטי: בקשר ליחס הוגן לעובדים (דברים כ"ד, ט"ו)

בינג: "וְלֹא תָבוֹא עָלָיו הַשֶּׁמֶשׁ" (דברים כ"ד, ט"ו) נכתב בקשר למצווה של הא־ל לבני ישראל לשלם לעובדיהם את שכרם בכל יום לפני השקיעה

בארד: שמות (כ"ג, י"ב) ["שֵׁשֶׁת יָמִים תַּעֲשֶׂה מַעֲשֶׂיךָ וּבַיּוֹם הַשְּׁבִיעִי תִּשְׁבֹּת"]

בתחילת החידון הנחנו ששאלות "מי אמר" ו"היכן נאמר" יהיו פשוטות לפיצוח למתחרים הממוחשבים שלנו. ואכן, צ'ט ג'יפיטי 4 ובינג – המבוססים על גרסאות שונות מעט של אותו המנוע – ענו בקלות על שאלות כאלו. בארד, לעומת זאת, התקשה מאוד עם כל סוגי השאלות, כולל הסוג הזה. מנוע הבינה המלאכותית של גוגל רווי בעיות, ובינתיים עוד לא הצליח לבסס את עצמו כמתחרה ראוי לאחרים שזמינים בשוק.

7. מי שפט את ישראל שמונה שנים?

צ'ט ג'יפיטי: אבדן

בינג: אבדן

בארד: עתניאל [שפט את ישראל ארבעים שנה]

8. מי המלך שמלך שמונה שנים?

צ'ט ג'יפיטי: יהויכין [מלך שלושה חודשים]

בינג: יהורם

בארד: לא יודע

9. באיזה ספר נזכרה המילה "גיר"?

צ'ט ג'יפיטי: ישעיהו (כ"ז, ט') ["כְּאַבְנֵי גִר מְנֻפָּצוֹת"]

בינג: דברים (כ"ז, ד') ["וְשַׂדְתָּ אוֹתָם בַּשִּׂיד"]

בארד: בראשית (מ"ט, כ'). המילה "סלה" שפירושה גם "גיר" ["מֵאָשֵׁר שְׁמֵנָה לַחְמוֹ"]

10. באיזה ספר נזכרה המילה "מלט"?

צ'ט ג'יפיטי: עמוס (ב', י"ד־ט"ו) ["וְגִבּוֹר לֹא יְמַלֵּט נַפְשׁוֹ... וְרֹכֵב הַסּוּס לֹא יְמַלֵּט נַפְשׁוֹ"]

בינג: לא יודע

בארד: שמות (ב', י"ד) ["הַלְהָרְגֵנִי אַתָּה אֹמֵר כַּאֲשֶׁר הָרַגְתָּ אֶת הַמִּצְרִי"]

נטע לקס: ירמיהו [מ"ג, ט': "קַח בְּיָדְךָ אֲבָנִים גְּדֹלוֹת וּטְמַנְתָּם בַּמֶּלֶט"]

11. השלימו את הפסוק: "רֵאשִׁית חָכְמָה קְנֵה חָכְמָה..."

צ'ט ג'יפיטי: הציטוט הוא ממשלי

בינג: "...וּבְכָל קִנְיָנְךָ קְנֵה בִינָה"

בארד: "...יראת ה'"

12. השלימו את הפסוק: "תְּחִלַּת חָכְמָה יִרְאַת ה'...?"

צ'ט ג'יפיטי: "...וְדַעַת קְדֹשִׁים בִּינָה"

בינג: "...וְדַעַת קְדֹשִׁים בִּינָה"

בארד: "...וְדַעַת קְדֹשִׁים בִּינָה"

13. מי היחיד מבני לאה שלא קיבל את שמו מאמו?

צ'ט ג'יפיטי: יהודה

בינג: יששכר

בארד: בנימין

אמונה כהן: לוי

14. מי היחיד מבני לאה שקיבל את שמו ורק אחר כך פורטה הסיבה לשם שקיבל?

צ'ט ג'יפיטי: לוי

בינג: יהודה

בארד: יהודה

נטע לקס: שמעון

התשובה הנכונה: ראובן

15. שני אנשים אמרו לאחר: "וּמָלַכְתָּ בְּכֹל אֲשֶׁר תְּאַוֶּה נַפְשֶׁךָ". ציינו אחד מהם.

צ'ט ג'יפיטי: נתן לדוד

בינג: א־לוהים לירבעם

בארד: המלך שלמה

אמונה כהן: הנביא אחיה השילוני

16. ציינו את האחר.

צ'ט ג'יפיטי: א־לוהים לשלמה המלך

בינג: תהילים

בארד: המלך דוד

נטע לקס: אבנר

17. בדברי הבורא לאיוב הוא מזכיר כמה בעלי חיים. בהקשר לשניים מהם נזכר "כידון". ציינו אחד מהם.

צ'ט ג'יפיטי: לווייתן

בינג: תנין, או לווייתן

בארד: תנין

18. ציינו את האחר.

צ'ט ג'יפיטי: סוס

בינג: לא ידוע

בארד: כידון

בצמד השאלות האלו וכן בשאלה על "מלט", הבינה המלאכותית נדרשה לחפש את המילה בשפה אחרת. הציפייה הייתה שהבוטים ייכשלו, אך באופן מפתיע שלושתם הצליחו להתקרב לתשובה על הלווייתן, וצ'ט ג'יפיטי אפילו הצליח לעלות על התשובה השנייה.

19. מתי בכה דוד בפעם הראשונה?

צ'ט ג'יפיטי: כשהוא מבכה את מות שאול ויהונתן

בינג: כשהבן שלו מבת־שבע חולה ומת

בארד: כשהוא שומע שבנו אבשלום מרד בו

אמונה כהן: בצקלג

התשובה הנכונה: עם יהונתן לאחר מעשה החיצים (שמואל א' כ', מ"א): "וַיִּבְכּוּ אִישׁ אֶת רֵעֵהוּ, עַד דָּוִד הִגְדִּיל"

20. מתי בכה יוסף בפעם הראשונה?

צ'ט ג'יפיטי: כשאחיו מודים שמכרו אותו לעבדות

בינג: כשהוא פוגש את אחיו שוב אחרי שמכרו אותו לעבדות

בארד: כשראה את אחיו אחרי הרבה שנים

התשובה המדויקת: לפני שאסר את שמעון (בראשית מ"ב, כ"ד): "וַיִּסֹּב מֵעֲלֵיהֶם וַיֵּבְךְּ"

השאלה הזאת וקודמתה היו קשות לבוטים ולמתחרות האנושיות. אפשר להבין את אמונה ונטע: קשה לסרוק מנטלית את כל סיפורי התנ"ך על שתיים מהדמויות הבולטות ביותר, ואז לקטלג את ההיקרויות לפי הסדר. מחשבים לא אמורים להסתבך, אך כאן שוב מתבררת אמת עצובה על מנועי הבינה המלאכותית כיום: הם לא באמת "חושבים", אלא משלימים משפטים, ונדרשים בכל צומת להחליט מהי המילה הנכונה הבאה. כך הם נופלים בטעויות שתוכנת חיפוש פשוטה הייתה מצליחה לענות עליהן. מצד שני, כמו בשאלה 20, כולן יכולות - במקרה - לעלות על התשובה הנכונה.

הניקוד הסופי

נטע לקס: 16

אמונה כהן: 18

ChatGPT: 11

בינג: 12

בארד: 3.5

* לקס וכהן נשאלו רק חצי מהשאלות, אך קיבלו שתי נקודות על כל תשובה נכונה