מה דעתכם על ChatGPT ו-OpenAI?

[user32]

מניח שאין כאן אחד שלא ניסה או לפחות שמע על זה. בעיניי זו קפיצת מדרגה שרואים פעם ב20 שנה. מזכיר את המנוע החיפוש של גוגל שהציגה "פלא" של תוצאות רלוונטיות ומדוייקות בתוך פחות משניה מה שהיה נחשב עד אז בעיניי רבים לבלתי אפשרי.
בסביבה הקרובה שלי: שמעתי מחבר CTO שהבוט פתר את המבחן בית שהם נותנים למועמדים בצורה מושלמת. אז כמובן מיהרתי להריץ את המבחן שלנו ואכן, התוצאה היתה פונקציה כתובה היטב, מנומקת ומוסברת.
ניסיתי את המבחן הגדול יותר שלנו שכולל כמה חלקים שגם מתסמכים אחד על השני והתוצאה פשוט מדהימה. הוא מסביר כל חלק, איך הם משתמשים זה בזה, ואיך אפשר לחסוך ביעילות. לא דומה לשום AI אחר שנתקלתי בו.
כמובן שכל עניין מבחני הבית למועמדים עובר בדיקה מחדש.

 

[BravoMan]

עדיין מנסה להבין עד כמה בדיוק זה באמת "מדהים".
לא שיש לי ידע מעבר לשטחי ביותר בכל הטכנולוגיות הרלוונטיות, אז קשה לי להבין.

יש מי שטוען שהמודלים האלה מכילים כ"כ הרבה פרמטרים (מיליארדים), שהם מביאים לקצה גבול היכולת חומרה קיימת, משמע, "יותר חכם" מזה לא יגיע עד שלא נמציא דרך חדשה לבנות מחשבים.
יש מי שטוען שזה "סוף העולם" וזה הולך להחליף אומנים, מתכנתים, ובכלל ייקח עבודה מכל מי שלא צריך ידיים ורגליים כדי לעבוד (וכנראה תוצרים של Boston Dynamics יטפלו בכל השאר).

אני מסתכל על אנשים שמביאים תוצאות של הדבר הזה ב-yotube (כמו LTT שבנו מחשב לפי הוראות שלו), או בפורומים אחרים (פתרון לשיעורי בית בתכנות), ומצד אחד זה מרשים, אבל מצד שני לא הייתי קורא לזה בינה.

זה עדיין מנוע חיפוש - זה מנתח את השאלה, ומביא חומר רלוונטי דרך המודל שאומן על אוסף כתבות מרחבי הרשת.

למשל, כשביקשו ממנו המלצה לרכיבים עבור מחשב gaming הוא נתן המלצות טובות, אבל רלוונטיות ל-2021 בלבד, כי משם ה-DATA ששימש לאימון המודל, והדבר הזה לא מכיר את הדור החדש של מעבדי Intel ו-AMD או את כרטיסי המסך החדשים של nVidia.
וגם אין לו יכולות להכיר אותם, זה ידרוש כנראה אימון מודל מחדש על סט נתונים שונה.

אין ספק שמבחינה הנדסית יש כאן משהו שלא ראינו קודם, אבל מצד שני זו אבולוציה, לא מהפכה (evolution not revolution).
זה לא צץ משום מקום, זו רק האיטרציה האחרונה במסע מאוד ארוך שהשתתפו בו מאות, אולי אפילו אלפי חוקרים מכל מיני מקומות.

נראה שאנשים פתאום שכחו איך כולם צעקו "מהפכה" כשלפני כמה שנים ווטסון של IBM ניצח במשחק טריוויה.

בכל אופן, נחיה ונראה לאן זה יגיע...

 

[user32]

אני מסכים עם כל מילה.
ה"מהפכה" זה הביצועים והאיכות שלא דומה לשום דבר שראינו עד היום. אני שוב חוזר לאנולגיה של גוגל. כשהם יצאו עם המנוע חיפוש היו כבר שנים: יאהו, אלטויסטה, לייקוס ואחרים. אבל לא היה שום דבר שבחצי שניה הציג לך אינספור תוצאות שבאמת נותנות את מה שרצית. אולי יש פה אנשים שלא זוכרים אבל פעם היית עושה חיפוש במנוע חיפוש ומחכה 10-20 שניות לתוצאות. והיה תורה שלמה של איך צריך לחפש, שימוש בביטויים לוגיים בשורת החיפוש וכו' כדי לקבל תוצאה רצויה. אנשים ממש היו צריכים ללמוד איך להשתמש במנוע חיפוש והיו כל מיני פורטלים ואינדקסים שהתיימרו לחלק את האינטרנט לפי נושאים והמשתמשים היו עושים drill down כדי להגיע לאתר הרצוי.
ואז גוגל הקפיצה את הטכנולוגיה בכמה רמות והיום אחרי 20 שנה זה כבר נמצא אצל כולם.

אני לא מכיר שום כלי AI שאפשר להעלות אליו תרגיל תכנות שכתוב בשפה טבעית ומתפרס על פני שני עמודים ולקבל בחזרה פתרון קוד מושלם, מלווה בהסברים ותיאורים. ברור לי שזה "רק" שימוש בכל היכולות המוכרות היום בתחום + מותקן על תשתית מקסימלית אבל וואלה באמת הביאו את זה לרמה אחרת.
לגבי ההשפעה על חיי היומיום ושוק העבודה: עוד מוקדם לקבוע. זה יכול להשאר בגדר כלי נוח לשליפת מידע כמו מנוע החיפוש של גוגל, ויקיפדיה, stackoverflow או שייבנו סביב זה יישומים אמיתיים שיחליפו בני אדם. אין לדעת.

 

[BravoMan]

אתה מכיר את copilot של github?
הם יצאו בבטא סגור לפני ש-GPT3 יצא לאוויר, ועכשיו יש מחלוקת משפטית סביבם, כי הם אימנו את המודל על קוד תחת רישיונות שונים שלא בהכרח מאפשר שימוש מחדש ללא הגבלה, וכעת בית משפט יצטרך להחליט האם תוצר של AI הוא עבודה נגזרת של נתונים ששימשו לאימון המודל או לא.

כנראה קרב כזה יגיע גם עבור stable deffusion (שזה מה שעומד מאחורי dall-e ודומיו).

אני באמת לא זוכר מתי גוגל פרצו לראשונה.
אולי זה היה כשעוד היית לי גישה מוגבלת לאינטרנט...

אני מבין בהחלט מאפה אתה מגיע - אין כמו ביצועים בפעול כדי לשכנע בטיב המערכת, ולפי מה שאתה מתאר קיבלת ביצועים שלא קיבלת בשום מקום אחר.
ואני באמת לא יכול לטעון שיש מקום אחר שיכול לתת אותם...

כאמור, מעניין לראות לאן זה יגיע...

אגב, אני זוכר שקראתי, שלמרות שהם קוראים לעצמם "OpenAI", הם החליטו בעבר לא לשחרר את הכלים ו\או את המודל כביכול בגלל חשש משימוש לרעה, הם טענו שזה עד כדי כך חזק.

אישית, זה נשמע לי קצת חשוד, אחרי הכל תעשיית זיופים בעזרת AI כבר קיימת, וגם אם מתיימרים לפתח משהו "פתוח" צריך לעמוד מאחורי ההבטחה.
לא חסר כלים חזקים בקוד פתוח עם פוטנציאל גבוהה של ניצול לרעה.

יהיה מצחיק לגלות אם בעצם יש פה איזה Mechanical Turk מאחורי הקלעים...

נזכרתי עכשיו, שעוד בסביבות 2018 או 2017, גוגל פרסמו מצגת מאיזה אירוע שהם ערכו, ושם הציגו את ה-assistent שלהם מזמין תור למספרה תוך התחזות מלאה ומשכנעת לבן אדם.
המשתמש אומר לו: "תזמין לי תור לספר למחר", ה-assistent מחייג למספרה, מנווט תפריט "לחיצות" (ברח לי המונח הטכני), ואז אשכרה מדבר עם איזו אישה, עם מבטה דרום אמריקני, ומצליח לסכם איתה על פגישה.

ככל שידוע לי, בסוף שום דבר ברמה כזו לא יצא ללקוחות google עד היום.

אבל אולי אני סתם פרנואיד...

 

[user32]

אתה מכיר את copilot של github?

כן וודאי. וגם את tabnine. זה מאוד נחמד להשלים ולחזות קטעי קוד. מעין auto complete מתוחכם. העניין הוא שאני לגמרי יכול להבין ולדמיין איך להרים פרוייקט כמו copilot תוך שימוש במאגר העצום שקיים בגיטהאב בתור סט אימון.
אבל קשה לי לראות איך אתה שולח מבחן שכתוב באנגלית שמבקש לממש מערכת דמיונית שכוללת לקוחות, ספקים, חשבונות בנק ולקבל בסוף מימוש מלא בקוד. זה באמת רמה אחרת. למשל בתרגיל שהעליתי יש גם דוגמאות שמסבירות במה כן להשתמש, במה אסור להשתמש וכו'. הבוט צריך להבין מהטקסט את הדרישות, להבין את הדוגמאות או לפחות לסנן אותן שלא יפריעו, יש סעיפים שמסתמכים על סעיפים קודמים. זה באמת מדהים גם ברמת ניתוח והבנת הטקסט וגם ברמת "ניסוח" הקוד והפתרון.
אגב, מתוך עצלנות כתבתי תיאור שלם של דוקר דמיוני שרציתי וכולל רשימה של סרביסים, איזה יוזרים והרשאות לכל סרביס (למשל משתמש read-only לMySQL) משל הייתי איש פרודקט חסר אונים. קיבלתי בחזרה YAML שבונה כמה קונטיינרים (לכל סרביס), כל הפקודות בדיוק כמו שצריך, וכמובן הסבר פשוט וקולע איך להריץ. זה דווקא יותר קל מבחינת הAI לדעתי כי זה הרבה יותר טכני ופחות מצריך "חשיבה" ועדיין זה מרשים מאוד.

 

[vinney]

ניסיתי את הבוט הזה עם כמה שאלות ראיון ולא, לא פתר בצורה מושלמת. אפילו התנצל כשהערתי לו ששכח משהו ושלח לי פתרון מתוקן (שזה לכשעצמו דווקא די מרשים).

אבל בגדול - זה לא הבוט הראשון שעושה את זה, ויש הרבה בוטים הרבה יותר מוצלחים - כי הם הרבה יותר ממוקדים. מאוד קשה לעשות בוט כזה שיעבוד בצורה מושלמת (יש הרבה דוגמאות לבוט הזה מבלשט לגמרי ונותן תשובות לא נכונות בעליל), ועוד הרבה יותר קשה לעשות את זה בשפות שונות ותרבויות שונות (גם גוגל מפשל, רק היום ראיתי איזו כתבה בלמה-נט על הגדרת ״יהודי״ בגוגל שנתנה את פירש הסלנגי של "to jew״ במקום ההגדרה המילונית של "Jew״).

זה צעצוע נהדר, זה בטוח. להחליף בני אדם בדבר הזה אפשר, אבל רק במקומות בהם דיוק לא הכרחי. אני רואה את זה משולב בשירותי לקוחות (כבר יש הרבה בוטים כאלה), או בחברות ייעוץ כאלה ואחרות, לא בביצוע מטלות מדויקות.

 

[user32]

מסקרנות: אתה יכול להפנות אותי לבוט שיודע לפתור תרגילי תכנות שמנוסחים בשפה טבעית? אשמח לנסות.
וכן, נתקלתי במקרים שהוא התנצל על המימוש ותיקן את עצמו וזה אכן מרשים.

 

[vinney]

מה שChatGPT עושה זה לא לפתור תרגילי תכנות שמנוסחים בשפה הטבעית, אלא לתרגם את השפה הטבעית לייצוג גרף מדויק (יחסית), ולתרגם את הגרף שנוצר בתור תשובה למענה בשפה הטבעית סבירה יחסית.

לתרגם את הייצוג גרף לקוד זאת בעיה שנפתרה כבר מזמן. יש הרבה כלים אוטומטיים שמתרגמים דברים לקוד רץ, המנחה שלי באוניברסיטה השתתף בקבוצת מחקר שפיתחה את התחום הזה עוד בשנות ה80. דוד הראל בזמנו קיבל את אחד הפרסים היותר יוקרתיים של ACM על הפיתוח הזה.

 

[user32]

אני מודע לדברים האלה. אגב, גם בלי ידע בתכנות או מתמטיקה, הchatGPT בעצמו מציג את ה"תובנות" שהוא מחלץ מהטקסט.
את דוד הראל היה לי הכבוד להכיר כילד, הוא היה הבוס של אבא שלי בחברת i-logix.
לעניין עצמו: שפות פורמליות מתקמפלות לגרפים, עצים, execution plans וכו'. לא ידעתי שיש תוכנות שיודעות לתרגם שפה טבעית שמנוסח בחופשיות יש לציין, לגרף מספיק טוב כדי לספק קוד שעובד כמו שמנסח השאלה מצפה.
שאלתי אם תוכל להפנות אותי לבוט שטענת שמסוגל לספק פתרון למבחנים מהסוג הזה בצורה טובה יותר מChatGPT. לא ענית לי או שלא הבנתי אותך נכון.

 

[vinney]

אני מודע לדברים האלה. אגב, גם בלי ידע בתכנות או מתמטיקה, הchatGPT בעצמו מציג את ה"תובנות" שהוא מחלץ מהטקסט.

נו וודאי, אלא מה,

את דוד הראל היה לי הכבוד להכיר כילד, הוא היה הבוס של אבא שלי בחברת i-logix.

זאת בדיוק החברה שפיתחה את מה שזיכה אותו בפרס.

לעניין עצמו: שפות פורמליות מתקמפלות לגרפים, עצים, execution plans וכו'. לא ידעתי שיש תוכנות שיודעות לתרגם שפה טבעית שמנוסח בחופשיות יש לציין, לגרף מספיק טוב כדי לספק קוד שעובד כמו שמנסח השאלה מצפה.

נכון, זאת היכולת שהבוט הזה מציג. אף מרכיב פה הוא לא חדש - תרגום של שפה טבעית לגרף זה משהו שהרבה בוטים יודעים לעשות, חלקם אף יותר טוב מהבוט הזה. תרגום של גרף לקוד מתקמפל זה גם משהו שכאמור לא ממש חדש. השילוב (המוצלח יחסית) של שניהם זה החידוש של הבוט הזה.

שאלתי אם תוכל להפנות אותי לבוט שטענת שמסוגל לספק פתרון למבחנים מהסוג הזה בצורה טובה יותר מChatGPT. לא ענית לי או שלא הבנתי אותך נכון.

לא הבנת אותי נכון. התכוונתי שזה לא הבוט הראשון שיכול לנהל שיחה. הגימיק עם הקוד הוא בעיקר גימיק, כמו שאמרתי (והסכמת) הרבה פעמים הקוד הזה הוא לא הקוד הכי טוב, או למעשה לא קוד טוב בכלל (באחת השאלות שנתתי לו, הבוט נתן לי תשובה שלא הייתה מתקמפלת ו״שכח״ חצי מהפונקציונליות).

 

[user32]

אוקיי, אז אני אומר שהבוט הזה יכול לחולל מהפכה בדרך שאנחנו צורכים מידע ועושים פעולות יומיומיות. כשהתחלתי לעבוד בתעשיה לא היה גוגל, היום מתכנת יתקשה לדמיין עולם לא מנועי חיפוש. ומבחנים, לא רק לקבלה לעבודה אלא מכל סוג מתחלקים ל"מותר גוגל" או "אסור גוגל".
הילדים שלי כותבים כל עבודה עם ויקיפדיה. כשאנחנו היינו ילדים היינו הולכים לספריית עיון ונוברים באינציקלופדיות וספרים עבי כרס מה שנראה הזוי לילדים שלי.
כשאני עבדתי ב2001 לא היה אופן סורס. זה היה נחלתם של טיפוסים מפוקפקים "האקרים" שאף אחד לא התייחס לזה בחברה "רצינית". אם רצית ספריה היית קונה מחברה כלשהי או מפתח בעצמך והיו כמה "רמאים" שהעתיקו קודים מאתרים כמו CodeGuru מה שהיה נחשב לנחות ומביך. מישהו מאיתנו מדמיין את עצמו היום בונה מערכת ללא אופן סורס? עולם ללא גיטהאב?
אז כל הדברים הללו לא ייתרו את העבודה וברוך השם יש די והותר לכולנו על אף מאגרי הקוד העצומים שנגישים לכולם, גוגל שיודע להביא הכל וstackoverflow עם תשובה מוכנה לכל שאלה. אבל הם הפכו לכלים חיוניים ויומיומיים. אני לא אתפלא אם הבוט הזה יתווסף לרשימה המכובדת של כלים משני משחק.
הנה דוגמא: נניח שאני גרוע בניסוח regex, הייתי בעיקר מחפש בגוגל, קורא פוסטים, מעתיק דוגמאות, משנה, עורך עד שהייתי מקבל את הביטוי שעושה את מה שאני רוצה. אז כן, ביקשתי מGPT כמה בקשות והוא החזיר לי ביטויים נכונים. האם זה אומר שהוא חף מטעויות? לא. האם אני צריך לדאוג לעתיד המקצוע שלי? לא. האם זה עוזר, מאיץ ומייעל את העבודה? כן.
האם זה מהפכני? לא יודע, אשמח לראות כלי אחר שעושה את זה.

 

[vinney]

נחיה ונראה. יכול להיות שכן, יכול להיות שלא, מה שבטוח - אולי.

כמו שאמרתי - זה לא הבוט היחיד שיודע לנהל שיחה, אבל לבוט הזה ספציפית עשו PR מצויין. יש כמה חברות שפועלות בנישה הזאת, חלקן בהצלחה מרובה. אני לא יודע עד כמה זה נפוץ בארץ, אבל בארה"ב אני מתקשה למצוא שירות לקוחות שבו אני לא מדבר קודם כל עם איזה בוט, ואני לא תמיד בטוח אם הStephen שמדבר איתי זה בוט או בחורה שחומת עור בבנגלור המהממת.

ככל שהמטרה ממוקדת יותר כך הבוטים האלה מוצלחים יותר. אחת הבעיות עם בוטים כללים כמו ChatGPT (בעיניי) היא scalability. איך זה עובד כשכל העולם מתחיל להשתמש בשירות הזה? מה קורה עם תמיכה בשפות שונות? ביטויים שונים? מה קורה עם שפות שמשתמשים בהן פחות, כמו עברית או מונגולית? מה קורה עם נפח העיבוד שעולה ככל שנפח השאילתות עולה?

גוגל, פייסבוק, אמאזון - יש להם רשת שלמה של אינטרנט פרטי בין datacenters ענקיים הפרוסים בכל העולם כדי לתמוך בשירותים שלהם שיחסית לChatGPT דורשים הרבה פחות עיבוד פר שאילתא.

אז כן, יכול להיות שזה יהיה מהפכני ונדבר עם האינטרנט בצורה אחרת לגמרי. או שלא.

 

[user32]

כולנו נתקלנו בבוטים בשירות לקוחות (אגב, לייבפרסון הישראלית היא מוותיקות התחום), שיחקנו עם העוזר הקולי של אמזון/גוגל/מיקרוסופט, ויש כאלה כמוני שהיה להם גישה לווטסון של IBM וכו'.
יש בוטים שיחסית קל לפתח כמו שאמרת: ממוקדים. למשל בוט תמיכה טכנית שמן הסתם למד כמה עשרות בעיות נפוצות מתוך עשרות אלפי טיקטים היסטוריים.
יש בוטים שצריכים למפות משפט לaction: "תתקשר לאמא", "תזמין פיצה בשעה 5 למשרד". זה באמת לא כזו חכמה וניתוח טקסט ברמה של פירוק לפעולה, תיאור, שם עצם וכו' זה משהו שיש כבר הרבה שנים.
ויש את ז'אנר השאלות שבו "כל מספר זוכה". למשל: "האם אלוקים קיים?", "מה דעתך בנושא אפליית מיעוטים?" "במה כדאי לשחק עכשיו?" לנסח תשובה של טקסט מתוך אינדקס ענק של בלוגים ומאמרים שנסרקו זה לא כזה סיפור.
ויש את ז'אנר הטריוויה כמו "מי ניצח במלחמת העולם הראשונה" שגם זה לא כזו חכמה והרבה מוצרים עושים את זה בהצלחה כולל גוגל עצמה שמציגה תשובות בראש עמוד התוצאות.
אבל אף אחד מהם להבנתי לא מקבל הוראות באורך 1-2 דפים ויודע לפלוט בחזרה קלאסים, פונקציות וקטעי קוד עובדים. מצטער שאני נטפל שוב ליוז קייס הזה, עד שלא שמעתי ממישהו שהבוט פתר מבחנים ושאלות ראיון בהצלחה, לא טרחתי בכלל להכנס כי אמרתי לעצמי שזה סתם עוד צ'אטבוט עם UX יפה ויח"צנות.
אני מכיר כמה מנועים לתרגילים במתטיקה שיודעים לקבל שאלות למשל ציורי גרפים, משוואות ותרגילים ולתת תשובות מנומקות אבל שוב, הקלט פה הוא הרבה יותר מצומצם ותחום.
אז אני אצנן את ההתלהבות שלי אם וכאשר מישהו בפורום המכובד הזה יציג לי בוט שיודע לקרוא מבחן as is ולספק פתרון עובד. טרם נתקלתי בכזה.

 

[vinney]

זה עניין של קנה מידה. פעם מחשב שמנצח אמנים בשח מט היה עניין של חדשות עולמיות למשך שבועות, עכשיו אף אחד כבר לא זוכר את הווטסון הזה. מה ההבדל בין לפלוט משפטים מחוברים לטקסט ונכונים תחבירית לבין לפלוט קוד מחובר לתוכנה ונכון סינטקטית? זה הרי אותו דבר, רק במקום אנגלית דיברו איתך בJAVA.

ההתקדמות פה היא לא ״קפיצת מדרגה״ אלא עוד סיבוב בספירלה של הקדמה. עכשיו כוח העיבוד הרבה יותר זול, הזכרון הרבה יותר גדול, אז אפשר להאכיל את הבוט לא רק את כל ויקיפדיה אלא גם את כל הגיטהאב. אפשר ללמד אותו לא רק תחביר באנגלית אלא גם תחביר בעוד כמה שפות עם דיקדוקים מוגדרים היטב (התחביר של שפות תכנות הוא הרבה הרבה יותר פשוט מהתחביר של שפות בני אנוש).

אני מבין את ההתלהבות, וכמו שאמרתי יכול להיות שזה בסוף יהפוך לכלי יומיומי בחיי כולנו, אבל מבחינה מדעית אני לא רואה פה איזה משהו מדהים, פשוט מימוש יפה לרעיונות שכבר היו קיימים.

זה אגב נכון לרוב הסטארטאפים - מימוש טוב ושיווק נכון הרבה יותר חשובים מחדשנות הרעיון.

 

[choo]

ההתלהבות מהכלי מובנת. החשש מהכלי מגיע ממי ששוכחים את בעיית ה-80/20 - ובעיקר את הרקורסיביות שלה.

א. כשתוכל לתת לכלי הזה תיאור של באג, והוא יאתר את הבעיה בבסיס קוד קיים של 0.5 מיליון שורות ומעלה, לתקן אותו ולכתוב טסט מתאים - *ככל הנראה* גם מפתחים צעירים של היום כבר יהיו בפנסיה. (אם אתה לוקח את גוגל כדוגמה - מנוע החיפוש של גוגל היום, לעומת מתי שהם יצאו לראשונה (1999) - השתנה בעיקר בעניינים של נוחיות שימוש (השלמה אוטומטית של מילות חיפוש, ומן תשובה ספציפית לשאלות כמו המרת יחידות, הגדרות מילונאיות וכדומה) - אבל הבסיס שלו לא התקדם בצורה יוצאת דופן. chatgpt יצטרך יכולות גבוהות בסדרי גודל כדי להחליף מהנדס תוכנה בפרוייקט אמיתי - ואין דרך לדעת אם המודל המתמטי הנוכחי של בינה מלאכותית יוכל לגדול לקנה המידה הדרוש.

ב. נסה לתת ל-chatgpt להתמודד עם בעיה פחות דטרמיניסטית ופחות מוגדרת היטב - בין אם מדובר על עיצוב ממשק משתמש "זורם" למשהו שאין לו מהיכן להעתיק, כמו לפתור בעיות ביצועים בתוכנה מורכבת, כמו לפתח אלגוריתם חדש לפתירת בעייה כלשהו, כמו לבצע הנדסה-לאחור של מוצר שאין לו תיעוד טוב מספיק, כמו להבין כיצד מתנהג קוד הקרנל של לינוקס במצבים מסויימים שאינם מופיעים ב-man pages (יש המון מצבים כאלו) וכיוצא בזה.

נ.ב. החלטתי לעשות ל-chatgpt "מבחן של תמיכה טכנית באינטרנט" שנהגתי לערוך למרואיינים לפני 25 שנה (אני מתאר סימפטום שאני ניתקל בו שנובע מבעיה מסוג שהחלטתי עליו מראש, והמרואיין צריך לבקש ממני "לבצע" בדיקות שונות עד לבידוד הבעיה. הגעתי לקיר בגלל שתי סיבות:

א. למרות שהשיחה אמורה להיות בסגנון של "דיאלוג" - chatgpt "לא זוכר" מה שכתבתי מוקדם יותר. תיארתי לו בעיה בחיבור לאתר, הוא נתן לי 6-7 סיבות אפשריות. נתתי לו עוד נתון "א" כדי לסתור חלק מהבעיות - הוא נתן לי בעיות אפשריות אחרות. נתתי לו עוד נתון "ב" שנועד לסתור חלק מהן - והוא חזר שוב על דברים שאמורים היו להישלל על ידי נתון "א".

ב. החלטתי לכתוב את כל הדברים הללו שוב בפסקה אחת (הבעיה, נתון "א" ונתון "ב") - והוא המשיך להתעלם מנתון "א" ולחזור על אפשרויות שכבר נשללו על ידי נתון זה. זו לא בעיה של ניסוח - כי כשכתבתי את אותו הטקסט של נתון "א" לבד הוא כן תירגם אותו נכון.

שים לב - ה"אלגוריתם" שצריך להפעיל כדי לאתר בעיות טכניות כאלו הוא סריקה של עץ החלטה בינארי - אבל לא נראה ש-chatgpt מסוגל להתמודד עם זה כרגע. נכון לעכשיו, נראה שהוא משתמש ב"שיטת הדייג" של תלמידים כושלים (לזרוק מלא מידע, ולקוות שהשואל יברור ממנו את המידע הנכון).

נ.נ.ב. אני מקווה שקראת את הראיון עם החבר לשעבר בגוגל שדיבר על בעיית הפניה-שמאלה ברכבים אוטונומיים - זה עשוי להבהיר למה אני טוען את מה שאני טוען

 

[user32]

קודם כל, אני מסכים עם כל מילה. בדיוק מה שאני מסביר לאנשים פה. לא חשבתי שAI יחליף מתכנת או אפילו פקיד בבנק. ואני לגמרי מסכים שגוגל למשל לא התקדם מהותית מאז שהם יצאו עם המנוע הראשוני. בדיוק מאותה סיבה אגב אני לא קונה את הטיעון ש"תכף כל המכוניות יהיו אוטונומיות". הן יהיו "כמעט" אוטונומיות רק שזה פשוט לא מספיק.
אבל אני חושב על השלכות מיידיות. למשל הילדים שלי במקום לפתור תרגיל (שמנוסח באופן ברור וקולע שבדיוק מתאים לבוט כזה) פשוט מזינים ומקבלים תשובה. המבחן בית למשל שהייתי נותן, בכוונה בניתי אותו כך שאי אפשר לחפש בגוגל וstackoverflow כי לא תדע מה לחפש. ואם כן תדע מה לחפש זה אומר שאתה כבר מבין את הפתרון ואת המימוש שזה 80% מהתרגיל - התאמת המבנה נתונים והאלגוריתם הנכון לבעיה.
אבל הAI הזה טרף את הקלפים לי באופן אישי. אני משתעשע ברעיון לנסח מבחן שיערים על ChatGPT. ככה גם אוכל לתפוס רמאים, כאלה שהשתמשו בפתרון המוטעה שהמנוע נתן.

 

[d70]

המבחן בית למשל שהייתי נותן, בכוונה בניתי אותו כך שאי אפשר לחפש בגוגל וstackoverflow כי לא תדע מה לחפש. ואם כן תדע מה לחפש זה אומר שאתה כבר מבין את הפתרון ואת המימוש שזה 80% מהתרגיל - התאמת המבנה נתונים והאלגוריתם הנכון לבעיה.

זו בדיוק הפואנטה של AI- יכולת לעבוד עם מידע חסר:
הוא עדיין מסתמך על דאטהבייס קיים. רק שבניגוד לחיפוש הקלאסי שאם הוא לא מוצא בדיוק את השאילתה הוא מחזיר כלום או זבל מוחלט.
AI "מחפש" מה הכי קרוב לשאילתה שנתת. במידה ויש בינגו תקבל את התשובה המדויקת אבל במידה ולא, הוא יביא לך את הדבר הכי קרוב שיש.
אגב, אישית אותי הרשימו דוגמאות שבהם AI הפגין מה שאנחנו קוראים "חשיבה מחוץ לקופסא" או חיפושי טקסט על וידיאו.

 

[חזי2003]

טוב, אז גם אני ניסיתי את ג'יפיטפוט עם שאלת ראיון קלאסית ונראה שהוא לא מסוגל לעשות lifetime analysis...
הוא פתר מאוד יפה (אם כי היו כמה בעיות מינוריות בפתרון, אבל לא הנקודה). כחלק מהפתרון, הוא כתב פונקציית split, וכששאלתי אותו על מספר הקצאות הזיכרון הוא עבר מווקטור של סטרינג לווקטור של string_view. ואז שאלתי אותו למה הקוד הבא קורס לי והוא לא הבין (בהתחלה נטפל לשגיאת הקלדה שלי, היה לי נקודה במקום פסיק, ואחר כך טען שזה כי split לא מוגדרת אז הנה איך להגדיר אותה...)

auto v = split("12.3.65", '.');
for (const auto& item : v) std::cout << item << '\n';

בקיצור, no hire

 

[חזי2003]

אגב, בעיה נוספת איתו היא שהוא הרבה פעמים ממציא סינטקס או API, ומתעקש עליו גם כשאני אומר לו שזה לא מתקמפל. כשאני מבקש שיראה לי איפה זה כתוב בתיעוד, הוא מסוגל להמציא URL שנראה לגיטימי (למשל, הוא שלח אותי ל-https://github.com/microsoft/Kqlmagic/tree/main/docs, אבל השם של הפרויקט הוא jupyter-kqlmagic, זה פרויקט ישן אז הוא עם master ולא עם main, ואין שם תיקיית docs)

 

[BismarkReborn]

לא יודע מה אתם רוצים, הוא כתב לי את ה-self review השנתי, רק זה שווה מבחינתי 3 מליון דולר ליום.