כותב פה בעקבות דיונים ברשתות חברתיות אחרות. בהרבה מקומות נהוג לתת מבחן קוד למועמדים לעבודה. יש מבחנים שונים וכל אחד לפי ההשקפה שלו אבל הרעיון זהה: מועמד מקבל מטלה ונדרש לממש פתרון בזמן מוגדר. כנראה משהו שכולנו נתקלנו בו במהלך השנים.
אני לפחות נוהג לתת מטלה עם מחשב פתוח ואינטרנט חופשי כדי להמנע מהדרישה לזכור פקודות בעל פה ועיכובים בגלל ענייני סינטקס וכאלה. אבל מאז שיצאו הצ'אטים אני אוסר שימוש בLLM בזמן המבחן. הופתעתי מכמות האנשים שחושבים שצריך לאפשר AI בראיונות עבודה כי "מה אכפת לך איך הוא פותר את התרגיל" וכמובן הטענה "גם בעבודה כולם משתמשים בAI". לדעתי תנאי מקדים לשימוש בAI הוא רף מקצועי מסויים ויכולת הבנה בקוד ואת זה אני מחפש לבחון בראיון.
כמובן שAI יפתור מבחן כזה בלי בעיה. עשיתי נסיונות ויצרתי מבחנים שAI לא יידע לפתור או יתן פתרונות חלקיים/שגויים. הבעיה שזה דורש שהמבחן ייכתב בצורה מסורבלת ומפותלת ואז זה לא הוגן כלפי המועמד שצריך להתמודד עם מסמך שנכתב בצורה מעורפלת כדי לבלבל את הLLM. ניסיונות אחרים יצרו מבחנים שאפשר לפתור בעזרת AI בתוספת תיקונים עצמיים או ניסוח פרומפטים בדיאלוג, כלומר הAI לא יענה נכון על התרגיל עד שהמועמד לא יכוון ויתקן אותו במדוייק. אבל במקרה הזה במסגרת הזמן אי אפשר לפתור את המבחן ללא AI, כלומר זה אולי מבחן סביר אם מגדירים מראש שמומלץ להשתמש בAI ואז הוא בוחן יכולות דיאלוג עם פרומפט ופחות כתיבת קוד עצמאי.
אשמח לשמוע דעות לכאן ולכאן.
אני לפחות נוהג לתת מטלה עם מחשב פתוח ואינטרנט חופשי כדי להמנע מהדרישה לזכור פקודות בעל פה ועיכובים בגלל ענייני סינטקס וכאלה. אבל מאז שיצאו הצ'אטים אני אוסר שימוש בLLM בזמן המבחן. הופתעתי מכמות האנשים שחושבים שצריך לאפשר AI בראיונות עבודה כי "מה אכפת לך איך הוא פותר את התרגיל" וכמובן הטענה "גם בעבודה כולם משתמשים בAI". לדעתי תנאי מקדים לשימוש בAI הוא רף מקצועי מסויים ויכולת הבנה בקוד ואת זה אני מחפש לבחון בראיון.
כמובן שAI יפתור מבחן כזה בלי בעיה. עשיתי נסיונות ויצרתי מבחנים שAI לא יידע לפתור או יתן פתרונות חלקיים/שגויים. הבעיה שזה דורש שהמבחן ייכתב בצורה מסורבלת ומפותלת ואז זה לא הוגן כלפי המועמד שצריך להתמודד עם מסמך שנכתב בצורה מעורפלת כדי לבלבל את הLLM. ניסיונות אחרים יצרו מבחנים שאפשר לפתור בעזרת AI בתוספת תיקונים עצמיים או ניסוח פרומפטים בדיאלוג, כלומר הAI לא יענה נכון על התרגיל עד שהמועמד לא יכוון ויתקן אותו במדוייק. אבל במקרה הזה במסגרת הזמן אי אפשר לפתור את המבחן ללא AI, כלומר זה אולי מבחן סביר אם מגדירים מראש שמומלץ להשתמש בAI ואז הוא בוחן יכולות דיאלוג עם פרומפט ופחות כתיבת קוד עצמאי.
אשמח לשמוע דעות לכאן ולכאן.