המשך הויכוח על מובהקות סטטיסטית
השרשור ההוא תפח למימדי ענק שקשה לעקוב... ורציתי ממילא להכינס אליו לרגע לתת משהו שהוא אולי סיכום יותר מאשר הבעת דעה לגבי מה שהועלה. התזאי בדימוס כמו גם המאמר המצויין של כהן שהפנה אליו נוקטים בגישה מאד מאד "מיליטנטית" ומתנשאת, שפוסלת את כלמה שנעשה עד כה בלי הנד עפעף. זה כמובן כל כך מקומם כל כך קיצוני עד שקשה לרגע לחשוב ברצינות על הטיעונים שהם מעלים ואיך להתמודד איתם. גם מהצד השני זה אותו דבר... הצד של מדעי החברה כל כך מתגונן, שלא לומר מקובע, בתוך השיטות המקובלות, עד שאין שום מוכנות לדון באמת במגבלות של השיטה... הרי אולי אי אפשר לזרוק לפח 60שנות מדה"ח, אבל שנה שנתיים מתוכם (במצטבר) ואולי יותר אפשר לזרוק לפח בגלל שיטות מחקר לא יעילות. לא היה מזיק לכל צד לרדת קצת מהעץ הגבוה שלו. אז הנה הסיכום שלי לטענות. אני ממספר אותן, כך שאם טעיתי או יש לכם ביקורת על אחת מהטענות שלי - נוכל למקד את הדיון. 1) הטיעון הבא אינו נכון מבחינה לוגית/וסטטיסטית: א. אם X נכון, אזי ההסתברות ש Y יקרה נמוכה מאד ב. Y קרה לכן (ג): ההסתברות של X נמוכה מאד. בזה אני מסכים אם התזאי שלנו. אפשר למצוא דוגמאות נגדיות למכביר לטענה הזו. זו טענה מתמטית בתורת ההסתברות שאינה תקפה. לא חושב שצריכה להיות מחלוקת על הסעיף הזה. 2) ההגדרה של מובהקות סטטיסטית היא ההסתברות שהנתונים קרו בהינתן השערת האפס (יהיה יותר מדויק לומר, ההסתברות שהמבחן הסטטיסטי בו משתמשים ושנסמך על הנתונים קיבל ציון "גבוה מספיק כדי לדחות השערת האפס" בהינתן השערת האפס... אבל נראה לי שההתפלפלות הזו מיותר לדיון והגרסא הפשוטה יותר מובנת ומקובלת). 3) השימוש המקובל במובהקות הוא לטעון: המובהקות קטנה (נניח מ0.05) ולכן ההסתברות שהשערת האפס נכונה הוא נמוך. (ולכן הגיוני לקבל את האלטרנטיבה). 4) השימוש המקובל כפי שהוצג ב 3, זהה עקרונית למבנה הטיעון שהוצג ב 1 - ולכן איננו תקף לוגית. 5) לא כל מה שלא תקף לוגית הוא שגוי. לפעמים במקרה, ולפעמים בגלל סיבות אחרות המסקנה של טיעון לא תקף היא נכונה. אי התקפות אומרת רק שמההנחות אי אפשר להסיק את המסקנה. 6) זה שמההנחות י אפשר להסיק את המסקנה, לא פוסל את האפשרות שההנחות נותנות מידע חלקי לגבי המסקנה, ונראה לי שזה המצב גם במקרה של מובהקות סטטיסטית. 7) במקרה של טיעון המובהקות הסטטיסטית, הנתונים התאורטיים שחסרים הם ההסבתרות הא-פריורית של השערת האפס וההסתברות הא-פריורית של הנתונים. כמיטב המסורת של הסתברויות א-פריוריות במדעי החברה - זה דבר די סוביקטיבי ולא אמין ורוב מדעני החברה פשוט נמנעים מלחשוב על זה באופן הזה ומחפשים נימוקים אחרים שיעזרו להם להשלים את הפער הלוגי בטיעון המובהקות 8) כלי אחד שכזה הוא העוצמה הסטטיסטית של המבחן. במיוחד כשהשערת האפס וההשערה האלטרנטיבית משלימות זו את זה (ולכן סכום ההסתברויות האפריוריות שלהם הוא 1, וכך גם הפוסטריוריות שלהם) אפשר להציב במשוואות ולראות שהנתון היחיד שחסר עכשיו הא ההסתברות האפריורית של הנתונים. המסקנה המתבקשת מכך זה שהעוצמה של מבחן סטטיסטי מכילה אינפורמציה רלוונטית לשאלת ההסתברות שהשערת האפס נכונה. אבל צריך לזכור שגם עוצמה מאד גבוהה, עדיין לא מסירה את אי הוודאות בנושא להשערת האפס. היא מקסימום נותנת עוד קצת אינפורמציה. 9) כדי להשלים את החסר מנסים מדענים להשלים את התמונה עם טיעונים תיאורטיים, שמנסים לשלול הסברים אלטרנטיביים, ולהצדיק את דחיית/קבלת השערת האפס. 10) כאן כבר אפשר לחלק בין רפואה, למשל, לרוב מדעי החברה. בעוד ברפואה התאוריות וההסברים הנוספים לגבי "מה קורה שם" די מבוססים ודי מקובלים על מדענים (כי זה בעצם כימיה, וביולוגיה והסקת מסקנות לוגית מידע קודם) ולכן, בהתאם לאופי הניסוי והטיעונים הנלווים ניתן אולי לקבוע שנתוני המובהקות, יחד עם העוצמה ויחד עם השיקולים התאורטיים הרלוונטיים מספיקים כדי לקבוע החלטה סבירה (מנקודת ראות רציונלית) בנוגע לקבלה/דחייה של השערת האפס. 11) במדעי החברה, הוספת שיקולים תאורטיים והסתמכות עליהם היא בעייתית יותר - על רוב התיאוריות אין הסכמה רחבה, ולעתים קרובות יש תיאוריות מנוגדות אחת לשניה - מה שאומר שקשה לקבל אינפורמציה מהימנה משיקולים תאורטיים - זה לא אומר שאי אפשר, אבל זה בהחלט מעלה את החשש הסביר, שבניגוד, למשל, לרפואה, במדעי החברה מובהקות+עוצמה+תיאוריה עדיין לא מספיקים כדי להחליט על גורל השערת האפס. 12) (זה אמור להיות 8-א) ברוב התחומים במדעי החברה לא נהוג לדווח על העוצמה של המבחן הסטטיסטי, דבר שמעלה אפילו תהיות נוספות בנוגע להסתמכות על מובהקות רגע - אני ממשיך עוד מעט
השרשור ההוא תפח למימדי ענק שקשה לעקוב... ורציתי ממילא להכינס אליו לרגע לתת משהו שהוא אולי סיכום יותר מאשר הבעת דעה לגבי מה שהועלה. התזאי בדימוס כמו גם המאמר המצויין של כהן שהפנה אליו נוקטים בגישה מאד מאד "מיליטנטית" ומתנשאת, שפוסלת את כלמה שנעשה עד כה בלי הנד עפעף. זה כמובן כל כך מקומם כל כך קיצוני עד שקשה לרגע לחשוב ברצינות על הטיעונים שהם מעלים ואיך להתמודד איתם. גם מהצד השני זה אותו דבר... הצד של מדעי החברה כל כך מתגונן, שלא לומר מקובע, בתוך השיטות המקובלות, עד שאין שום מוכנות לדון באמת במגבלות של השיטה... הרי אולי אי אפשר לזרוק לפח 60שנות מדה"ח, אבל שנה שנתיים מתוכם (במצטבר) ואולי יותר אפשר לזרוק לפח בגלל שיטות מחקר לא יעילות. לא היה מזיק לכל צד לרדת קצת מהעץ הגבוה שלו. אז הנה הסיכום שלי לטענות. אני ממספר אותן, כך שאם טעיתי או יש לכם ביקורת על אחת מהטענות שלי - נוכל למקד את הדיון. 1) הטיעון הבא אינו נכון מבחינה לוגית/וסטטיסטית: א. אם X נכון, אזי ההסתברות ש Y יקרה נמוכה מאד ב. Y קרה לכן (ג): ההסתברות של X נמוכה מאד. בזה אני מסכים אם התזאי שלנו. אפשר למצוא דוגמאות נגדיות למכביר לטענה הזו. זו טענה מתמטית בתורת ההסתברות שאינה תקפה. לא חושב שצריכה להיות מחלוקת על הסעיף הזה. 2) ההגדרה של מובהקות סטטיסטית היא ההסתברות שהנתונים קרו בהינתן השערת האפס (יהיה יותר מדויק לומר, ההסתברות שהמבחן הסטטיסטי בו משתמשים ושנסמך על הנתונים קיבל ציון "גבוה מספיק כדי לדחות השערת האפס" בהינתן השערת האפס... אבל נראה לי שההתפלפלות הזו מיותר לדיון והגרסא הפשוטה יותר מובנת ומקובלת). 3) השימוש המקובל במובהקות הוא לטעון: המובהקות קטנה (נניח מ0.05) ולכן ההסתברות שהשערת האפס נכונה הוא נמוך. (ולכן הגיוני לקבל את האלטרנטיבה). 4) השימוש המקובל כפי שהוצג ב 3, זהה עקרונית למבנה הטיעון שהוצג ב 1 - ולכן איננו תקף לוגית. 5) לא כל מה שלא תקף לוגית הוא שגוי. לפעמים במקרה, ולפעמים בגלל סיבות אחרות המסקנה של טיעון לא תקף היא נכונה. אי התקפות אומרת רק שמההנחות אי אפשר להסיק את המסקנה. 6) זה שמההנחות י אפשר להסיק את המסקנה, לא פוסל את האפשרות שההנחות נותנות מידע חלקי לגבי המסקנה, ונראה לי שזה המצב גם במקרה של מובהקות סטטיסטית. 7) במקרה של טיעון המובהקות הסטטיסטית, הנתונים התאורטיים שחסרים הם ההסבתרות הא-פריורית של השערת האפס וההסתברות הא-פריורית של הנתונים. כמיטב המסורת של הסתברויות א-פריוריות במדעי החברה - זה דבר די סוביקטיבי ולא אמין ורוב מדעני החברה פשוט נמנעים מלחשוב על זה באופן הזה ומחפשים נימוקים אחרים שיעזרו להם להשלים את הפער הלוגי בטיעון המובהקות 8) כלי אחד שכזה הוא העוצמה הסטטיסטית של המבחן. במיוחד כשהשערת האפס וההשערה האלטרנטיבית משלימות זו את זה (ולכן סכום ההסתברויות האפריוריות שלהם הוא 1, וכך גם הפוסטריוריות שלהם) אפשר להציב במשוואות ולראות שהנתון היחיד שחסר עכשיו הא ההסתברות האפריורית של הנתונים. המסקנה המתבקשת מכך זה שהעוצמה של מבחן סטטיסטי מכילה אינפורמציה רלוונטית לשאלת ההסתברות שהשערת האפס נכונה. אבל צריך לזכור שגם עוצמה מאד גבוהה, עדיין לא מסירה את אי הוודאות בנושא להשערת האפס. היא מקסימום נותנת עוד קצת אינפורמציה. 9) כדי להשלים את החסר מנסים מדענים להשלים את התמונה עם טיעונים תיאורטיים, שמנסים לשלול הסברים אלטרנטיביים, ולהצדיק את דחיית/קבלת השערת האפס. 10) כאן כבר אפשר לחלק בין רפואה, למשל, לרוב מדעי החברה. בעוד ברפואה התאוריות וההסברים הנוספים לגבי "מה קורה שם" די מבוססים ודי מקובלים על מדענים (כי זה בעצם כימיה, וביולוגיה והסקת מסקנות לוגית מידע קודם) ולכן, בהתאם לאופי הניסוי והטיעונים הנלווים ניתן אולי לקבוע שנתוני המובהקות, יחד עם העוצמה ויחד עם השיקולים התאורטיים הרלוונטיים מספיקים כדי לקבוע החלטה סבירה (מנקודת ראות רציונלית) בנוגע לקבלה/דחייה של השערת האפס. 11) במדעי החברה, הוספת שיקולים תאורטיים והסתמכות עליהם היא בעייתית יותר - על רוב התיאוריות אין הסכמה רחבה, ולעתים קרובות יש תיאוריות מנוגדות אחת לשניה - מה שאומר שקשה לקבל אינפורמציה מהימנה משיקולים תאורטיים - זה לא אומר שאי אפשר, אבל זה בהחלט מעלה את החשש הסביר, שבניגוד, למשל, לרפואה, במדעי החברה מובהקות+עוצמה+תיאוריה עדיין לא מספיקים כדי להחליט על גורל השערת האפס. 12) (זה אמור להיות 8-א) ברוב התחומים במדעי החברה לא נהוג לדווח על העוצמה של המבחן הסטטיסטי, דבר שמעלה אפילו תהיות נוספות בנוגע להסתמכות על מובהקות רגע - אני ממשיך עוד מעט