שיטות מחקר כמותיות

[22ק ו ס ם]

אבל למה אתה מסתמך על מי שעושה טעויות?

בכל מקצוע יש אנשים שעושים טעויות, אז מה? אני מכיר הרבה מאוד חוקרים במדעי החברה שיודעים להשתמש מצוין בכלים סטטיסטיים. הכלים הם אותם כלים. תוכנה היא לא בן אדם וצריך לדעת איך להפעיל אותה. אתה מצפה ממנה משהו שלא קיים. חוקרים יכולים להשתמש באותה תוכנה ולבדוק למשל את השארית או הטעות ולראות איך היא מתפלגת. זו סתם דוגמא לבדיקה של הנחת היסוד. זה לא מצריך שום ידע מעמיק בסטטיסטיקה אלא סתם יישום של ידע שאמור להיות ברשותם. יש דרכים אחרות שמאפשרות לך לדעת אם המודל מתאים, אבל אתה הוא זה שצריך לדעת את התוכנה כי התוכנה היא רק גולם. הרי באותה מידה למישהו יכול להיות ידע מקיף במתמטיקה והוא לא יישם אותו בפועל.

 

[tulkin]

אני לא מסתמך על אנשים שעושים טעויות

אבל אני, לצערי, מגלה לא מעט כאלה במקומות שלא הייתי מצפה שיעשו טעויות. כיוון שהטענה שמדובר באנשים טפשים, שלא יודעים או לא למדו ולא הפנימו לא מתקבלת על הדעת, וכיוון שיש לי תחושה שלא מדובר בתופעה זניחה - זה גורם לי לשאול את עצמי למה זה קורה. אם אני רואה מאמר של שניים מהחוקרים המובילים בתחום מסויים, מתפרסם בז'ורנל שידוע בדקדקנות שלו בפרטים, מפרסם מאמר שמכיל scatterplot שממנו ברור לחלוטין שהמודל הוא לא לינארי, ובכל זאת הם משתמשים במודל לינארי בלי לדון לרגע בבעייתיות של זה, או בלי לעשות טרנספורמציה שתסדר את זה... אז זה גורם לי לחשוב. קודם כל זה גורם לי לחשוב שאני לא יודע מספיק. שכן זה מוזר. אז אני הולך ושואל ומתייעץ ומגלה שאני צודק (גם זה קורה לפעמים)...ואז אני חושב... מדובר לפחות ב 5 חוקרים מעורבים (2 מחברים,לפחות 2 בודקים ועורך) ואף אחד לא עלה על דבר שעליתי עליו בקריאה ראשונה? וגם יצא שאף אחד אחר בסמינר לא עלה על הטעות הזו...זה מוזר.. ולא מדובר בחוקרים קיקיוניים... אלא בחוקרים שפירסמו הרבה מחקר כמותי מעולה לפני ואחרי.... וזו דוגמא קיצונית שנתקלתי בה. היו כמובן פחות בולטות ממנה, אבל לא פחות מוזרות. זה אומר דרשני. וקשה לי לקבל כפשוטה טענה (סתמית בעיני) כמו יש חוקרים טובים ויש חוקרים לא טובים. זה פשטני ולא מסביר כלום. מה שנראה לי הרבה יותר סביר הוא שמסתובבות במערכת טעויות מערכתיות. פרדיגמות שגויות. בסופו של דבר, למשל באותה דוגמא קיצונית, לכל קורא בר דעת ברור שההשערות של המחקר נכונות. התאוריה והארגומנטציה שמאחוריהן כל כך מתאימות. הנתונים, על פניו, נראים מבטיחים וטובים ותומכים בהשערה... תכנון הניסוי מעולה שלא לומר מבריק. אז מאיפה מגיע הניתוח הקלוקל? לא יודע. אין לי תשובה.

 

[22ק ו ס ם]

זה קורה כי אנשים מזלזלים בסטטיסטיקה נקודה

אבל אין לזה שום קשר לשיטות הסטטיסטיות כשלעצמן. במחקרים בפסיכולוגיה אני רואה שימוש נרחב בשיטות סטטסיטיות שונות אז יכול להיות שזה יותר נפוץ בדיסיפלינות אחרות השימוש השגוי. הטענה המקורית בשירשור הייתה שנדרש ידע מתמטי מעמיק במתמטיקה כדי לעסוק בניתוחים סטטיסטיים וזה פשוט לא נכון. הרי אם אנשים לא מנצלים את הידע שכן קיים במדעי החברה אז למה להרחיק לכת ולדרוש מהם למידה עוד יותר עמוקה? להרבה אנשים יש רתיעה מסטטיסטיקה, רתיעה שהם סוחבים במשך שנים. אני חושב שזה יותר קיים בדור הקודם. ב20 שנה האחרונות הייתה התפתחות כל כך אדירה בכוח החישובי והיום סטודנטים לומדים הרבה קורסים שזה פחות משמעותי. חלק מזה גם קשור לעובדה שלא כל האנשים עוסקים במחקר, וכשהם סוף סוף עוסקים בזה, הם ישתמשו בשיטות סטטיסטיות פשוטות יחסית כי פשוט שכחו את מה שלמדו.

 

[tulkin]

אני שמח שאתה חושב שההסבר לזה כל כך פשוט

אבל קשה לי לקבל את הטענה הזו. היא לא מתקבלת על הדעת, וראיתי מעט מאד חוקרים שמזלזלים במה שהם עושים.

 

[22ק ו ס ם]

הם לא מזלזלים במה שהם עושים

הם מזלזלים בסטטיטיקה וחושבים שידע בסיסי יספיק להם. במקרים רבים אגב הם צודקים. אפקטים חזקים יראו בשיטות סטטיסטיות פשוטות יחסית. השיטות המתוחכמות נועדו לתופעות פחות בולטות ולדקויות. לא כולם מתעניינים בהם. הבעייה המרכזית שאני מוצא היא שחוקרים לא עוסקים בסטטיסטיקה ביום יום ולכן יש נטייה לשכוח הרבה דברים. הם ננעלים על שיטות מסוימות שהם תמיד משתמשים בהם ולא חוקרים שיטות חדשות. אין שום היגיון וצורך שהם ילמדו מתמטיקה ברמה גבוהה כי חצי שנה אחרי שהם ילמדו את זה הם ישכחו את זה. מה שחשוב זה שיהיה להם את הידע הבסיסי ושהם יכירו בקיומן של טכניקות שונות כדי שיוכלו לגשת לספר המתאים או למומחה כאשר יצטרכו להשתמש בהם. אין שום בעייה ואולי אפילו רצוי לא להיות מומחים בכל דבר.

 

[tulkin]

הטענה שלי היא

שנדרש ידע רב ורגישות רבה על מנת להבין מה הניתוחים הסטטיסטיים אומרים. ידע מתמטי נרחב (או לחילופין ידע סטטיסטי נרחב) נותנים את הידע והרגישות הנדרשים. רוב הקורסים שאני מכיר בשיטות מחקר כמותיות נותנים הרבה הרבה פחות. אפשר כמובן לפתח את אותה רגישות גם בלי לדעת אלגברה לינארית, אבל יותר קל עם לדעת.

 

[22ק ו ס ם]

זה לחלוטין לא מעשי וגם לא יעיל

הזכרת קודם SEM. לא הרבה חוקרים מכירים את הנושא אז אתה רוצה שהם ילמדו את המתמטיקה של זה? אני למשל למדתי אלגברה ליניארית ועוד הרבה קורסים אחרים במתמטיקה ואני יכול לומר לך שהם לא עוזרים לי בכלום כשאני עושה ניתוחים סטטיסטיים. שוב, נחמד אם אנשים היו יודעים הרבה דברים אבל קודם כל שידעו את הבסיס הלא מתמטי של הניתוחים הסטטיסטיים זו כבר תהיה התקדמות גדולה.

 

[תזאי בדימוס]

זה כמו שתגיד

כי פיסיקאי לא צריך להבין במתמטיקה, אלא הוא יכול לפנות למתמטיקאי מומחה. ישנם חוקרים שידעו סטטיסטיקה, כמו הפסיכולוגים דניאל כהנמן ועמוס טברסקי. הפלא ופלא, כאשר כהנמן מימש את מה שהוא יודע בסטטיסטיקה במחקרים שלו, הוא לבסוף קיבל את פרס נובל (אם כי בכלכלה). גם אותם מיעוט אחרים במדעי החברה, אשר יודעים סטטיסטיקה ואשר לא זכו בפרסי נובל כמו מייל וכהן, תרמו תרומה אדירה למדעי החברה ולפחות הסיטו את הרכבת מהתרסקות מוחלטת. לכן אני חולק עליך כי מדובר בתחום נפרד. אם מישהו רוצה לעשות עוד מאותו דבר כמו שעשו ב-60 השנים האחרונות הוא יכול להמשיך לפנות לסטטיסטיקאים מומחים.

 

[22ק ו ס ם]

היה איזה פיסיקאי אחד, לא רע בכלל

קראו לו איינשטיין שנעזר במתמטיקאים לפיתוח תורת היחסות שלו. יש הבדל בין להבין מתמטיקה או סטטיסטיקה לבין לייצר לעצמך את הכלים הסטטיסטיים המתאימים. כנהמן לא השתמש בשום כלים סטטיסטיים יוצאי דופן ולא היה לו ידע מיוחד בסטטיסטיקה אז אני לא מבין מה אתה בדיוק מנסה לומר (מה עוד שאתה סותר את עצמך, כי אתה טוען כל הזמן שלא השיגו שום דבר משמעותי במדעי החברה בכלים סטטיסטיים רגילים והנה ההוכחה שכן).

 

[avshalomat]

אני מסכים התיאורויותשל כהנמן

פשוטות מאוד מבחינה מתמתטית הגדולה שלו היא בהבנה עמוקה איך פועלת התפיסה של אנשים בקשר לתיאורים.

 

[תזאי בדימוס]

תגובה גם ל-avshalomat

ראשית, הלוואי שסטודנט במדעי החברה ידע סטטיסטיקה כמו שאינשטיין ידע מתמטיקה. ועניין כהנמן ממחיש עד כמה חשוב שאנשים במדעי החברה יבינו מה עם עושים ולא יסתמכו רק על עבודות של סטטיסטיקאים. אחד הגילויים הראשונים שכל כהנמן וטברסקי היו בכך שהם הבינו כי גם אנשים מקבוצת הפסיכולוגיה המתמטית לא בדיוק מבינים את הדברים הבסיסיים בסטטיסטיקה והסתברות ובפרט בכל הקשור למשמעות של אותו p-value. המאמר הראשון שלהם בעניין היה מאמר שנקרא" BELIEF IN THE LAW OF SMALL NUMBERS http://www.compositesconsultants.com/Other/SmallNumbers.htm לאחר מכאן, ב-1973 במאמר אחר: Kahneman, D., & Tversky, A. (1973). On the psychology of prediction. Psychological Review, 80, 237-251 הם כתבו: "The failure to appreciate the relevance of prior probability in the presence of specific evidence is perhaps one of the most significant departures of intuition from the normative theory of prediction" כן, אותה הסתברות אפריורית שמופיע בחוק בייס ושהסברתי כמה חשוב לדעת אותה וכמה אינפורמציה אדירה היא כוללת בתוכה וכמה אבסורד ישנו בהוקוס פוקוס של הפי ואליו שמתעלם ממה. רעיון של טברסקי וכהנמן שוכלל במאמר המפורסם שלהם ב-SCIENCE, לכשל לוגי שהם כינו אותו הזנחת השער הבסיסי (השער הבסיסי הוא המקבילה בגישת השכיחות להסתברות להסתברות האפריורית בגישה הבייסיאנית). מכאן עולה דבר מרתק - ההישגים המרשימים ביותר של הפסיכולוג הראשון שזכה בפרס נובל הוא שהוא הראה כיצד פסיכולוגים לא בדיוק מבינים מה הם עושים. התמיכה הגדולה ביותר לדבריו הינה העובדה ששיטת המחקר ששימשה במשך יותר מ-60 שנה ואשר משמשת עד היום במדעי החברה, לוקה בכשל הזה עד עצם היום הזה. וכן, הוא לא השתמש בשיטות סופר מתוחכמות בסטטיסטיקה אבל הוא הבין את הדברים הבסיסיים הסטטיסטיקה. הוא כמובן לא היה הראשון שהבין את זה. למשל כבר ב-1965 פורסמם מאמר: Edwards, W. 1965. Tactical note on the relation between scientific and statistical hypotheses. Psychological Bulletin 63:400-402 . אבל הוא לא התעלם ממאמרים שבאותה תקופה לא זכו להתייחסות. הוא לא אמר, "אני אלך כמו העדר". הוא לא אמר, ככה רוב המדענים עובדים וכך גם אני עובד. כהנמן וטברסקי הם מדענים אמיתיים שהטילו ספק בעבודות של רוב האחרים ולכן הם גם הגיעו להישגים מרשימים. אתה מדבר בהודאות שלך על המדע המצוי. אני מדבר על המדע הרצוי.

 

[22ק ו ס ם]

אתה קראת את המאמרים שלהם?

טברסקי וכנהמן לא יוצאים כנגד הסטטיסטיקה אלא כנגד ההטייה הפסיכולוגית שיש לאנשים בסטטיסטיקה נאיבית. הם יוצאים בעיקר נגד התופעות הפסיכולוגיות שגורמות לאנשים להעריך סיכויים וסיכונים בצורות שונות והם משתמשים בכלים מתמטיים שהיו ידועים גם בזמנם. התרומה שלהם היא להבין למשל שאנשים תופשים סיכוי של אחד למיליון כמו סיכוי של אחד למיליארד באותה צורה, או שאנשים סובלים מכשל המהמר כי חושבים שהרולטה מתקנת את עצמה וכו'. אין כאן שום ביקורת על שיטות המחקר במדעי החברה ואם תסתכל למשל על הניסויים שהם ביצעו הם השתמשו בשיטות סטנדרטיות בדיוק כמו כל פסיכולוג אחר (כולל השימוש במובהקות סטטיסטית).

 

[תזאי בדימוס]

היה איזה פיסיקאי בשם ריצ'ארד פיינמן

שמתמתיקאים מנסים עד היום לתת ביסוס מתמטי פורמלי למתמטיקה שהוא פיתח ב-1948, לצורך האלקטרודינמיקה הקוונטית (מה שנקרא רנורמליזציה - הוא הפחית אין סוף מאין סוף כדי לקבל תוצאה פיסיקלית מדידה). האלקטרודינמיקה הקונטית נחשבת לתורה המדעית הכי מדויקת עד עצם היום הזה. היא חוזה את הסחת למב באטום המימן עד ספרה 12 אחרי הנקודה ובשנים האחרונות גם מצאו שיטות ניסיוניות למדוד הסחה שכזאת במעבדה. מפנה אותך שוב לניוטון שהמציא את החשבון הדיפרנציאלי בשביל הפיסיקה. ושוב, הלוואי שאנשים במדעי החברה יבינו סטטיסטיקה כמו שאינשטיין הבין מתמטיקה.

 

[the new L]

אני חושד שזו אגדה אורבנית

שכן יש מושגים בגאומטריה דיפרנציאלית שקרויים על שמו של איינשטיין, שלמיטב ידיעתי הוא פיתח. האם אתה יכול להצביע על מתמטיקאי שפיתח מתמטיקה עבור אינשטיין על פי בקשתו?

 

[avshalomat]

אני אעקוץ אותך קצת

ואמר שעדיין שעם כל ההבנה המעמיקה שלך במתמתיקה עדיין לא הבנת מה הבעיה להסתדר עם משכורת מינימום הווה אומר שחשוב להבין את הנסיבות הספיצפיות של המחקר ומה המשעויות ולפעמים חיקרה לעומק תיאורטי באה בחשבון של הבנה של אותה מציאות, אתה לא מצפה מכל מהנדס מכונות להבין קוונטים, פיסיקה ניוטונית מספיקה לו בהחלט.

 

[the new L]

אגב, לא זכור לי

שטענת אחרת. אתה טענת, במידה מסויימת של צדק שאין יציבות בעבודות שכר מינימום, אבל אני לא זוכר שהפרכת את החישוב הפשוט שלי שהראה שבאמת זוג שמרוויח שכר מינימום יכול לחיות מכך בצורה סבירה.

 

[avshalomat]

קבל הפרכה

זוג בבאר שבע לתקופת הזמן הנוכחי ובלי ילדים יכול לחיות בצורה סבירה משכר מינימום, HAVING SAY THAT צריך לחיות בבאר שבע ולא כל הזוגות יכולים לחיות בבאר שבע, וגם אם הייתה הגירה משמעותית לבאר שבע (בהנחה שיהיו משרות לכולם)רמת המחירים הייתה עולה משמעותית. דבר נוסף שיש לקחת בחשבון שברמת גידול הילדים זה הרבה יותר מסובך (החל ממטפלת ועד הוצאות רפואיות שמחוץ לסל חוגים וכן הלאה)

 

[the new L]

באר שבע היא לא עיר יקרה

יחסית לרוב הארץ. כן, רוב הארץ. רוב תושבי מדינת ישראל לא חיים בגוש דן. אין ספק שמשפחות שאינן אמידות לא צריכות להתגורר בגוש דן (=באיזור הכי יקר בארץ)

 

[avshalomat]

זה לא מה שאמרתי

אם כולם יעברו לבאר שבע, אז----> היא תתייקר,מחוץ אלור המרכז קשה למצוא עבודות טובות מעבר לזה קשה למצוא מרכז עירוני עם גישה למספר רב של עבודות (יחסית) כמו באר שבע במחירים של באר שבע, הברירה היא או לחיות בישוב מבודד (ואז צריך אוטו ולנסוע המון לעבודה) או לחיות יחסית במרכז ושלם מחיר יקר, בשום מקום חוץ מבאר שבע לא תמצא דירות זולות כל כך, חיפה יש ירושליים השפלה בכולם רמות המחירים גבוהות יותר. אגב לפי מה שאני ידוע רוב הישראלים כן חיים בגוש דן המורחב (חדרה עד גדרה)

 

[avshalomat]

מצד שני כדי לאזן

אני כן חושב שאין חובה להרבה יותר קורסי מתמתיקה ופיזיקה למדעי החברה.