Journal of Negative Results

[Imperia]

Journal of Negative Results

(קצת אפרופו השרשור על מחקר 2.0) אמנם ראיתי את "הסוד" ואני יודעת שכדאי להתמקד בלחשוב על הצלחה, אבל בכל זאת. קראתי בבלוג "מדע ביזיוני" של אורן צור (תודה למי שהמליץ עליו במקור בפורום. הקוסם? טולקין? לא זוכרת) על ה- Journal of Interesting Negative Results in Natural Language Processing and machine learning. הרעיון של הזורנל:

The journal will bring to the fore research in Natural Language Processing and Machine Learning that uncovers interesting negative results. It is becoming more and more obvious that the research community in general, and those who work NLP and ML in particular, are biased towards publishing successful ideas and experiments. Insofar as both our research areas focus on theories "proven" via empirical methods, we are sure to encounter ideas that fail at the experimental stage for unexpected, and often interesting, reasons...​

מחשבות שעברו לי בראש בלי סדר מסוים: צריך להתרגל לרעיון הזה, שתוצאות שליליות יכולות להיות מעניינות. ואולי בעצם אם התוצאות מעניינות, כל מה שצריך לעשות הוא להפוך את שאלת המחקר ואז הן לא יהיו שליליות? ואפשר יהיה לפרסם אותם בז'ורנל נורמלי ומבוסס? מה דעתכם? (כדאי לקרוא גם את הפוסט בבלוג של אורן, למי שיש כח, כי הוא קצת ארוך וטיפטיפה טכני).

 

[22ק ו ס ם]

קודם כל, צריך שיהיה ברור שכן מפרסמים תוצאות

שליליות בכל כתב עת. אולי לא מפרסמים בפרופורציות המתאימות אבל בוודאי מפרסמים תוצאות שליליות מעניינות, או כאלו שסותרות ידע קיים. הבעייה המרכזית היא בעיקר לגבי תחומי מחקר חדשים שאין עליהם שום ידע. מי שקיבל תוצאה שלילית יתקשה לפרסם אותה כי הוא לא גילה שום דבר בעצם. יוצא דופן הוא פירסומים על ניסויים רפואיים שכל הזמן מפרסמים תוצאות של תרופות חדשות ולא חשוב מה מצאו.

 

[Imperia]

../images/Emo9.gif אתה כמובן צודק

 

[חצישלישרבע]

הפרכה אמפירית

לעצם הרעיון עצמו, שתוצאות שליליות יכולות להיות מעניינות, אני דווקא יכולה להתחבר בנוחות. אם במשך לא מעט זמן חשבת שמשהו פועל על פי העקרונות האלו והאלו, ואז בא מישהו והכיח שזה לא נכון, זה בפירוש מעניין. בהבעיה מתחילה עם התחומים הספציפיים אליהם מתייחסים, ובפרט, על הוכחות אמפיריות. במיוחד במחקרים של למידה חישובית, הדאטה שעליו אתה עורך ניסוי קשור קשר הדוק (שלא לומר מפוקפק) לאלגוריתם שאתה מנסה לבדוק. יש לא מעט מקרים שבהם קודם נבחר בסיס הנתונים, ואז נתפרים אלגוריתמים שמיועדים לשפר עוד ועוד את הלמידה על בסיס הנתונים הספציפי הזה , בלי שאף אחד מתרגש יותר מדי מהשאלה על overfitting והתרומה הממשית של התוצאה הזו למחקר של למידה חישובית. אז כשאני שומעת על תוצאות אמפיריות שליליות, ובמיוחד בתחום הזה, אני סקפטית משתי בחינותף אחת, שיטת ההוכחה. כדי לומר שמשהו הוא קטגורית לא נכון, ועוד לעשות את זה באופן אמפירי, אתה צריך להיות די משכנע. יכולת ההוכחה בד"כ מוגבלת לאופק הניסוי שלך, ולכן מה שיותר נכון לומר הוא לא שמשהו הופרך, אלא שהניסוי לא הצליח להוכיח משהו, וזה כבר משמעותית פחות מעניין, על אף שגם זה נופל בקטגוריה של negative results. שנית, יכול להיות שהטעות היא לכיוון ההפוך: יכול להיות שהמחקר עצמו הוא בעל ערך או תובנה ממשית, אבל נכשל בניסויים אמפיריים כי הדאטה לא התאים לו. מאחר ובלמידה המחקר הוא על פי רוב השוואתי (איך אתה יודע אם אתה טוב? אתה משווה ביצועים למה שמישהו אחר עושה), ולאור הבעייתיות שציינתי למעלה, בפירוש ייתכן שמשהו שהוא מעניין ובעל עקרונות חדשים - יבצע פחות טוב. גם במקרה הזה negative result, וגם כאן - אין באמת הפרכה של שום דבר, או הוכחה קונקרטית של שום דבר. אז הבעיה שלי היא לא אם כמה מעניינות תוצאות שמפריכת משהו, אלא יותר ש negative results בד"כ אומר שלא הצלחת להראות משהו קונקרטי, לא לכאן ולא לכאן. זה עדיין לא פוסל את המחקר שלך מלהיות מעניין, והוא עדיין יכול להתפרסם, אבל זה לא אותו הדבר. זו הסיבה, אגב, בתשובה לשאלה שלך, על למה אי אפשר פשוט להפוך את השאלה המחקרית. הבעיה היא לא בכך שהראת שמשהו הוא לא נכון. אם אתה מראה את זה באופן משכנע, באמת אין מה לדאוג מעניין הפרסום, תוצאות כאלו, אם כבר, הן מעניינות הרבה יותר. הבעיה היא בכך שלא הראת משהו באופן חותך, שזה לא לכאן ולא לכאן.

 

[Imperia]

תשובה כהילכתה ...

עם נימוקים כאלה, אני מצטרפת לסקפטיות שלך.