בהקשר הזה אין מספר קסם של 30.
אם אתה רוצה לבדוק האם מטבע מסוים מוטה לצד מסוים, אז אם זרקת 30 פעמים וקיבלת ב- 17 מהם פלי, וב- 13 עץ, צריך מדגם יותר גדול כדי לקבוע אם יש הטייה או לא, אבל אם קיבלת בכל ה- 30 פלי, אז אפשר לקבוע בוודאות שיש הטייה כיוון שהסבירות שזה יצא באקראי היא זניחה.
התשובה לשאלה עד כמה (לא האם אלא עד כמה) מדגם בגודל מסוים מספיק, קשורה גם לתוצאות שמתקבלות. מה שחשוב זה גודל האפקט, והוא מושפע גם מגודל המדגם אך לא רק. כמובן אפשר להוכיח ששיטה א' יעילה יותר משיטה ב' ברמת וודאות מאוד מאוד גבוהה, אך ההבדל ביעילות עדיין לא יהיה משמעותי, כך שהדברים יותר מורכבים.
המספר 30, זכור לי כ-"מספר קסם" בהקשר של ההבדל בין סיגמה-n לסיגמה (n-1) (הסטייה הממוצעת מהממוצע במדגם, אל מול הסטייה הממוצעת מהערך "האמיתי". שם הערך 30 הוא ערך ריאלי והוא נבחר בשל היותו ריאלי, וכן מספר עגול (היה אפשר לבחור 33, אבל בחרו במספר עגול).
השאלה השנייה שחשוב להבין בהקשר של מה שכתבת זה למה אתה קורא אמין. הרבה פעמים אני רואה שמתייחסים בביטול למחקרים שלא נעשו בתנאי Gold standard (כלומר קבוצת ביקורת וקבוצת בדיקה שנבחרו באקראי, ומחקר שבוצע בסמיות כפולה, וכדומה). מחקרים כאלו שבהם גם יש מיצוע על גורמים אחרים שמשפיעים. הם בדרך כלל מחקרים רחבי היקף והם נועדו להוכיח או להפריך.
אבל בין הוכחה להפרכה יש הרבה באמצע. מחקר שמוכיח (טענה מסוימת) הוא מחקר שתוצאותיו משאירות סיכויים זניחים בלבד שהטענה שגויה. מחקר שמפריך הוא מחקר שתוצאותיו משאירות סיכוי זניח שהטענה נכונה. אבל בחיים שלנו אנחנו כל הזמן מקבלים החלטות בתנאי אי וודאות, ושם מעניין אותנו לא רק הוכחות או הפרכות, אלא ראיות. ראייה מחזקת = הראיה שמגדילה את הסיכוי של הטענה להיות נכונה. ראייה מחלישה=ראייה שמקטינה את הסיכוי.
בסופו של דבר אנחנו אמורים לשקול סיכונים מול סיכויים בכל אחת מהאופציות ולקבל החלטה בתנאי אי וודאות, ואז כל מחקר - גם עם סטטיסטיקה נמוכה ושאינו עומד בתנאי תקן הזהב, יכול לעזור בקבלת ההחלטות. גם מחקר קורלטיבי (וקורלציה לא מראה בהכרח על כיוון סיבתיות) מהווה ראיה לסיבתיות, ואפשר להוכיח את זה מתמטית. השאלה עד כמה היא חזקה תלויה בפרטים הקטנים.
לגבי העניין של 3 דוגמאות (חיי היום יום שהזכרת) - כאן צריך מאוד להיזהר מראיות אנקדוטליות. כל הזמן אנשים רגילים עושים את הטעות הזאת, הפוקוס שלהם הוא על ראיות שמחזקות את האמונה שלהם (אפקט האישוש/כשל האישוש/הטיית האישוש/confirmation bias) ואז הם ימצאו עוד ועוד דוגמאות שמחזקות את הטענה שלהם (והעולם שלנו מספיק גדול כך שנמצא ראיות אנקדוטליות לכמעט כל טענה כללית שאנו מאמינים בה).
אין שום קושי להביא דוגמאות ל-לא שלושה, אלא הרבה יותר יהודים (בוודאי כמה מאות) שרצחו. אם אתחיל לתת כאן דוגמאות - לא אסיים. האם זה מוכיח שהיהודים הם רוצחים? כאשר אנשים מאמינים שהיהודים הם רוצחים, הם ישימו לב במיוחד לדיווחים על יהודים שרצחו, (אפקט הפוקוס כמו שדניאל כהנמן קרא לזה), ואז זה יראה להם כתופעה רגילה שגרתית אצל יהודים. זה קיים בכל האוכלוסיות.
בסופו של דבר כל מחקר יש להבין על כל הפרטים שרשומים בו - גם הפרטים הכי קטנים, כמו איך נבחר המדגם.
