שאלה על replicability בהיסטוריה של המדע

[אני רק עובר]

שאלה על replicability בהיסטוריה של המדע

השאלה הזו מכוונת בעיקר ל"רוקד עם שבלולים" אבל גם לכל מישהו אחר שיש לו קצת ידע בהסטוריה ובפילוסופיה של המדע.

לאחרונה התחלנו (אני ועוד כמה אנשים שאני עובד איתם) להתעניין בהשלכות סטטיסטיות של היכולת (ולפעמים אי היכולת...) לשחזר תוצאות במדע.

באנגלית הנושא נקרא לפעמים replicability ולפעמים reproducability. בעברית הוא כנראה נקרא "הדירות" - זה בסדר, גם אני לא ידעתי את זה עד שבדקתי במילון...

למי שמעוניין הנה מבוא פופולרי על הנושא ולמה הוא נעשה מעניין בשנים האחרונות.

השאלה שלי היא בנוגע להיסטוריה ולפילוסופיה של הנושא - מי ומתי היה זה שהכניס את הרעיון שאם אתה לא יכול לקבל את אותן התוצאות כל פעם שאתה עורך את המדידה או הניסוי, אז זה לא מדע? היינו שהדירות זאת דרישת חובה ממדע?

אני די בטוח שזאת מוסכמה מאד בסיסית במדע היום. הרי כל העניין של סעיף השיטות, שהוא סעיף חובה במאמרים מדעיים ברוב התחומים, זה לאפשר לחוקרים אחרים לחזור על הניסוי ולראות אם הם מקבלים את אותן תוצאות. אבל מי היה זה שטבע את המוסכמה הזו? איפה מתי ואיך?

תודה מראש לעונים!

 

[נ ע מ ה מ ה]

האם חוסר

אפשרות חיזוי אפילו במערכות דטרמיניסטיות שיש להם מאפיינים כאוטיים או פרקטלים כמו בתורת הכאוס נחשבים מדע?

 

[אני רק עובר]

לא מדובר כאן על יכולת החיזוי

מדובר על האפשרות לחזור על ניסויים או מדידות ולקבל תוצאות עקביות.

גם במערכות כאוטיות בלי יכולת חיזוי אפשר בד"כ לבצע מדידות עקביות מסויימות, למשל של המימד הפרקטלי. במצבים שאי אפשר בכלל אז להערכתי לא ניתן לעסוק בהם כמדע (אולי ניתן כמתמטיקה, לא בטוח).

 

[מיםבששון]

במערכות כאלו אפשר לחזור על תכונה סטטיסטית

ממוצע, שונות ...

 

[uzi2]

דרך אגב, הכתבה מאוד מעניינת.

גם אם היא פופולרית, וגם אם אני מניח שחלק מההטיה היא בהתמקדות של הכתבה, שעלולה ליצור את הרושם כאילו התופעה נפוצה, עדיין מדובר בכתבה מעניינת. אני מניח שמדובר לא בסיבה אחת אלא במגוון של סיבות, שחלק מהן מוזכרות בכתבה.
צריך גם לזכור שגם דברים שהסבירות להם קלושה מתרחשים. הם פשוט מתרחשים לעיתים נדירות. אם נכין כתבה על אנשים שזכו בפרסים גדולים בפיס, נגלה שאצל כל אחד ואחד מהם חלה התעשרות בבת אחת באופן שההסתברות אליו קלושה. אמנם גם טיעון זה לא מהווה הסבר מלא למה שמתואר בכתבה, ולכן אני מניח שיש יותר מסיבה אחת לתופעה או לתחושה שהיא קיימת.

 

[אני רק עובר]

מסכים שהכתבה מעניינת

ובאופן טבעי קצת שטחית, אבל לדעתי פחות שטחית ממה שניתן לצפות מכתבה עיתונאית, אפילו בניו יורקר.

ואני גם מסכים שמדובר פה בצירוף של סיבות שהקשר בינהן די רופף, פרט אולי לכך שכולן מייצגים קושי של המדע להתאים את עצמו למאה ה-21, גם ברמת השיטות וגם ברמה הסוציולוגית ("רוקד" כתב פה פוסט יפה על העניין לפני כמה שבועות). כמה סיבות שאני יכול להזכיר, בסדר החשיבות הנכון לדעתי:

1) באופן פרדוקסלי, דווקא הכמות והדיוק של נתונים שמקבלים בטכנולוגיות החדשות חושפים בעיות במדדים הסטטיסטים המקובלים, בעיות שפעם לא היו קריטיות בגלל איכות נמוכה של נתונים מעטים.

2) חוסר מודעות לנושא, ולכן חוסר הקפדה על ווידוא (validation), בדיקות בלתי תלויות של תוצאות, ובכלל כל מיני שיטות לוודא שאתה לא מרמה את עצמך.

3) כמה סוגים שונים של bias (הטייות או נטאים בעברית?) סוציולוגיים, שהידוע בינהם הוא הטיית הפירסום - ג'ורנלים מדעיים אוהבים לפרסם תוצאות חדשות ומיוחדות, אבל לפרסם בדיקה חוזרת משעממת של תוצאות קודמות זה קשה.

4) מה שכולם אוהבים לדבר עליו (ולהערכתי הגורם הכי פחות חשוב) זה כמובן כל מיני פרשיות של רמאות וזיוף תוצאות.

לגבי השאלה ששאלת, עד כמה התופעה נפוצה? יואנידיס טוען שבתחומים מסויימים כמו רפואה, אפידמיולוגיה ופסיכולוגיה, סביר שיותר ממחצית ה"תגליות" המדעיות המתפרסמות הן שגויות (!!) האם הוא צודק? תחליט בעצמך (להערכתי הוא קצת מגזים אבל בעיקרון צודק):
[URL='http://www.plosmedicine.org/article/info:doi/10.13</a>71/journal.pmed.0020124']http://www.plosmedicine.org/article/info:doi/10.1371/journal.pmed.0020124[/URL]

כמובן שמדובר בפרסומים ראשונים של תגליות, וכידוע לרוב לא מתבססים במדע על תוצאה יחידה, כך שהשאלה כאן היא כמה יעיל התהליך שבו המדע בודק את עצמו. הנה התייחסות של יואנידיס לשאלה:
[URL='http://pps.sagepub.com/content/7/6/645.abstract</a>']http://pps.sagepub.com/content/7/6/645.abstract[/URL]

הנה התייחסות של שניים מהחברים שלו:
[URL='http://pps.sagepub.com/content/7/6/531.abstract</a>']http://pps.sagepub.com/content/7/6/531.abstract[/URL]

 

[אני רק עובר]

נו, מה יהיה עם תפוז ולינקים?

להעתיק ולהדביק בשורת הכתובת בדפדפן:

לינק ראשון:
http://www.plosmedicine.org/article/info:doi/10.1371/journal.pmed.0020124

לינק שני:
http://pps.sagepub.com/content/7/6/645.abstract

לינק שלישי:
http://pps.sagepub.com/content/7/6/531.abstract

 

[uzi2]

כמה דברים

השאלה שלי התייחס לא לאי נכונות של תוצאות מחקרים (ועל זה יואנידיס התייחס), אלא על "תופעת" הדעיכה של תוצאות חיוביות שבה עסקה הכתבה. שלדעתי לא באמת קיימת, אולם מעניין להבין מדוע נוצרה התחושה שהיא קיימת.
לגבי הטיית הפרסום: זה לא רק ההעדפה לפרסם תוצאות שליליות על פני חיוביות. "תופעת הדעיכה" (וזה מוזכר בכתבה) ניתנת להסבר חלקי על ידי כך שפרסום מחקרים שלא מצאו שום דבר, נחשב למעניין רק אם הוא סותר מחקרים קודמים, ולכן קודם כל יבואו המחקרים שמראים שמשהו "עובד" ורק אח"כ מחקרים שיראו שמשהו "לא עובד".

בינתיים כל הדיון הזה, בין אם יואנידיס צודק ובין אם לאו, מראה את החשיבות של שחזור המחקרים על ידי גורמים בלתי תלויים, ועד כמה לא ניתן לסמוך על מחקר יחיד.

אני לא יודע לגבי רפואה - לגבי פסיכולוגיה ומדעי החברה - יש גם תופעה שיותר מדי חוקרים לא מספיק מבינים בסטטיסטיקה, ודי עובדים עם זה באופן מכאני מבלי להבין באמת את המשמעויות של מה שהם עושים. זה לדעתי נובע מכך שרבים מאנשי מדעי החברה אינם מתחברים היטב לתחומים ריאליים כגון סטטיסטיקה. כבר ראיתי שגיאות של ממש בסטאטיסטיקה בלא מעט מאמרים בתחומי מדעי החברה (סוציולוגיה/פסיכולוגיה/כלכלה) ומדובר בדברים שפורסמו בכתבי עת, כלומר עברו רפריז.
שווה לקרוא את המאמרים של ג'פרי לופטוס מ- 1996, ומ- 2001 (כחלק מספר). ראו כאן. (יתכן שגם מאמרים אחרים שלו רלוונטיים, אבל לא יצא לי לעיין/לעבור/לקרוא בהם).
אני חייב לומר שבשנים האחרונות יש שיפור בנושא - לפחות בפסיכולוגיה - אם כי עדיין יש בעיה.

 

[אני רק עובר]

תופעת הדעיכה היא כנראה תוצאה של תגליות שגויות

שלאחריהן יש תהליך של תיקון. וזאת לא רק תופעה איכותית, כלומר תגלית נכונה או לא נכונה, אלא גם כמותית, כלומר יש תגליות אמיתיות אך מוגזמות, שבהמשך מתוקנות כך שגודל האפקט שלהם "דועך" גם אם אינו נעלם לחלוטין.

המעניין הוא שתופעת הדעיכה לפעמים נראית לא רק בתחום שלם (שאז טבעי להאשים את הטיית הפרסום של כתבי העת) אלא אפילו במעבדה יחידה. זה מצביע על כך שיש הטיות נסתרות באופן עריכת המחקרים. אני מסכים שחוקרים רבים (אגב, להערכתי גם במדעי החיים ובמדעים מדוייקים) לא שולטים בסטטיסטיקה, אבל קשה להאשים אותם כי נראה שהסטטיסטיקה והמתודולוגיה כיום לא מספקות כלים יעילים להתמודד עם כל מקורות ההטייה. ישנן כנראה דרכים רבות ונסתרות שבהן מדען עלול לרמות את עצמו, אפילו מדען רציני וישר שמבין בסטטיסטיקה.

לפי המודל של יואנידיס, ההבדל המכריע בין תחומים בעייתיים כמו פסיכולוגיה לתחומים "מדוייקים" כמו פיזיקה איננו השליטה הטובה יותר של פיזיקאים בסטטיסטיקה, אלא הסיכוי האפריורי של היפותזה מוצגת להיות נכונה עוד לפני הניסוי/מדידה. כאשר הסיכוי הזה הוא בסביבות 50% (כפי שאנו מצפים מתחום מדעי מדוייק עם תאוריה חזקה) אחוז התגליות הנכונות הופך להיות רוב.

 

[uzi2]

החישוב של ההסתברות המותניית ככלל, נכון.

אבל דווקא בגלל זה החשיבות העצומה של חזרה על ניסויים - גם בפיסיקה. זה נכון גם שהסיכוי האפריורי יותר גבוה, וזה משפיע על אחוז ה- False Positives, אבל עדיין קיימת גם בעיה באופן שבו מבצעים חישובים סטטיסטיים. ומפרשים אותם. פשוט ראיתי יותר מדי דוגמאות כאלו.
וכפי שנאמר גם על ידו מציאת התאמה עם P<0.05 לא אומר שהסיכוי שמדובר בשגיאה אקראית קטן מ- 5 אחוז.דרך אגב, זה גם לא נכון שנבדקות רק תאוריות חזקות בפיסיקה. בסוגים רבים של ניסויים הסיכוי האפריורי נמוך בהרבה מ- 50 אחוז.

 

[uzi2]

הבהרות

"אבל עדיין קיימת בעיה". הכוונה: במדעי החברה.
הכותרת מתייחסת לטיעון של יואנידיס

 

[אני רק עובר]

מסכים, זאת גם הביקורת שלי על יואנידיס

הוא לא נותן מספיק חשיבות (לפחות באותם מאמרים שלו שקראתי) לחזרה על ניסויים ובדיקות בלתי-תלויות, שיש להם פוטנציאל לקדם אותנו מאוד בפתרון הבעייה. הדגש שלו על הסיכוי האפריורי בפועל פוסל לגמרי תחומים מדעיים שהם בשלב היותר exploratory , כאשר הסיכוי האפריורי אצלם נמוך. אבל איך תחום מדעי יגיע אי פעם לשלב של תאוריה חזקה ומבוססת בלי לעבור קודם את השלב הזה?

(אגב, כאשר עוסקים בנושא של חזרה על ניסויים, מגיעים לשאלה המעניינת הבאה: האם עדיף חזרה מדוייקת באותם תנאים, או שדווקא עדיף לבדוק עד כמה התוצאה רגישה לשינויים בתנאים).

באיזה סוגים של ניסויים בפיזיקה הסיכוי האפריורי נמוך בהרבה מ-50%?

 

[uzi2]

חלקיק ההיגס למשל

למרות שעד לבניית ה- LHC ב- 2009, מאיצי החלקיקים לא היו מספיק עוצמתיים כדי לגלות את חלקיק ההיגס, נעשו אינספור ניסויים לגילויו. למעשה היו סיבות לחשוד שתחומי האנרגיה הדרושים לגילויו הם מעבר ליכולת הטכנולוגית באותן שנים, אבל לא היה בטוח, ולכן בכל זאת היו המון ניסיונות לגלותו.

ועדיין מתייחסים לזה כיום כאל "כנראה שמצאנו אותו" לאחר שני ניסויים שמצאו חלקיק עם מאפייינים שתואמים את חלקיק ההיגס.

כשאני חושב מדוע בפיסיקה יש פחות טעויות בהוכחות של תאוריות - זה כנראה בגלל שהניבואים של התאוריות הרבה יותר מפורטים.
אם פסיכולוגיה היתה כמו פיסיקה, הניבואים התאורטיים שם היו בנוסח של: "שתיה של חצי ליטר מיץ תפוזים ליום, במשך חודשיים, מעלה בממוצע ב- 38.4 אחוז (פלוס מינוס 0.1 אחוז) אצל אנשים בני 30-35, יחסית לכאלו ששותים פחות מ- 150 מיליליטר ולא שותים מיץ פירות אחר (הסטיה המותרת בכמות השתיה היא עד 0.05 אחוז), וזה כמובן מעבר לטעות סטטיסטית שקשורה לאחידות קבוצת הביקורת.
תוצאה של 30 אחוז שיפור בממוצע (עם שגיאת תקן של אחוז) תחשב ככשלון של הניבוי. יתרה מכך בד"כ הסיכוי להתאמה מקרית בניסוי הוא מאוד מאוד מאוד קטן. לא בסדרי גודל של אחוזים שלמים אלא הרבה מתחת לזה. הקושי הוא יותר באיתור האם ניבואים אחרים של התאוריה נכונים, כי בד"כ תאוריה מנבאת המון תוצאות של המון ניסויים.

 

[אני רק עובר]

אני לא בטוח שחלקיק היגס הוא דוגמה מייצגת

אפילו של הפיזיקה, בהתחשב בחשיבות הגילוי שלו יחסית לתגליות "רגילות". ברוב הנושאים בפיזיקה לא השקיעו כל כך הרבה אפילו כשסיכויי ההצלחה היו מועטים. אני גם מעריך שלא תהיה בעייה לפרסם בג'ורנל מוביל כל ניסיון רציני לגלות את חלקיק היגס, גם אם הסתיים בכשלון, וכנ"ל חזרות על ניסוי שהצליח (בין אם חזרות מוצלחות ובין אם לא).

לפי מה שאתה מתאר את ההבדל בין הפיזיקה והפסיכולוגיה, בפיזיקה אנחנו יכולים להגדיר מה תהייה תוצאה חיובית של ניסוי באופן מאוד מגביל, ועדיין יש לנו סיכוי פרקטי לקבל אותה. אילו היינו מנסים לעבוד באותה שיטה בפסיכולוגיה, כנראה שכמעט אף פעם לא היינו מצליחים לקבל תוצאה חיובית בניסוי. זה נראה לי כדרך קצת אחרת לנסח את אותו הבדל שיואנידיס מדבר עליו: הסיכוי האפריורי לתגלית יותר גבוה בפיזיקה מאשר בפסיכולוגיה, בגלל שהבסיס התאורטי יותר חזק.

 

[HenryiF]

נידמה לי

קודם כל הייתי מחלק את המדעים ל-2: למדעי הטבע, ולמדעי החברה.

במדעי הטבע אנו רוצים להאמין במספר אקסיומות בלתי מוכחות:
אי תלות חוקי הטבע בזמן - אם אעשה את הניסוי היום או מחר, באותם תנאים, נקבל אותה תוצאה.
אי תלות חוקי הטבע במקום - אם אעשה את אותו ניסוי בישראל או בסין, באותם תנאים, נקבל אותה תוצאה.
אלה חוקי נוחות, שכמעט תמיד הנסיונות מצדיקים זאת, כך שהפכו לאמונת-על.

אני מעריך שאם אפשר יהיה להוכיח שזה לא כך, שמטוטלת מתנודדת היום בתדר שונה מאשר אתמול, על אף שכל התנאים זהים (ויבדקו לפרטי פרטים שאכן כל התנאים זהים), אז זה יעשה מהפכה בפיזיקה, ויצצו תאוריות שלא לוקחות בחשבון את אותן אקסיומות. ושיחפשו איזהן חוקיות, בשינוי של תוצאות הניסוי עם הזמן. ואלה יהפכו לחוקי טבע חדשים

אמנם עלתה השאלה האם קבועים פיזיקליים אכן קבועים בזמן? האם למשל קבוע הגרביטציה לא השתנה במהלך התפתחות הייקום.
אך זה לא ניראה לי ממש שאלת קיום חוקי הטבע באותם תנאים, לאורך זמן, אלא שינוי של אחד התנאים, קבוע הכובד.

במדעי החברה הדבר הרבה יותר מסובך.
מחד, רוצים באופן טבעי להעתיק חוקי טבע מאד מאד בסיסיים. אחרת אי אפשר לקרוא לזה "מדע"?
מאידך, אין אפשרות לבדוק האם התנאים ב-2 נסיונות שונים הם אכן "אותם תנאים".
עצם העובדה שניסוי אחד נעשה, ואנשים יודעים על זה, כבר משפיע על תוצאות הניסוי האחר.
שינויים אחרים, כמו תרבות שהשתנתה קצת, כימיקלים שאנו סופגים יותר או פחות, התחממות גלובלית...יכולים לשנות תוצאות עם הזמן.
אז אם מוצאים הבדלים, מנסים באופן טבעי להטיל את האחריות על התנאים השונים, שבלתי ניתנים לבידוד, ולא על אקסיומות במדעי הטבע, שהיו כה חיוניות למדע של היום, ושגם הוכיחו את עצמן די יפה.

 

[רוקד עם שבלולים]

רוברט בויל, 1661

http://ses.library.usyd.edu.au/handle/2123/2206

 

[אני רק עובר]

מעניין - מישהו שלא חשבתי עליו

מסתבר שזה פרק בהסטוריה של המדע שלא הכרתי