בעקבות הדיון הלוהט עם "קוסם"

Philip Jr

New member
תשובה

זו דוגמא קלאסית למחקר שמשתמש במתודולוגיה של priming ו - ״מגלה״ תופעה לפיה אם תחשוב על פרופסור לפני מבחן אינטליגנציה תצליח יותר מאשר אם תחשוב על אוהד כדורגל. התוצאות ה - ״סקסיות״ של המחקר לא משתחזרות, ומבט יותר רציני במתודולוגיה והסטטיסטיקה המוצגת במחקר מראה שאכן יש בו כשלים רציניים מאד. דוגמא אחת (מיני רבות לאחרונה) של בעיות קשות בתחומים שונים של המחקר הפסיכולוגי.
 

אורןr

New member
את זה הבנתי...

מה שלא ה בנתי באיזה צד אתה...

 

Philip Jr

New member
איזה צדדים יש?

אני בצד שלא מתכוון לעשות מחקרים כאלו, ולא עושה אותם עכשיו. אני בצד שחושף את המידע המלא ממחקר למי שמבקש לשחזרו או לבחון את התוצאות. אני בצד שלא משתמש במדגמים של 30 אנשים וטוען שמצאתי אפקט עצום בניסוי שמראה משהו מאד counterintuitive ומגניב. זה עונה על השאלה?
 

22ק ו ס ם

New member
שוב, אתה מבטא חוסר הבנה בסיסית של הנושא

אפשר למצוא אפקטים גדולים גם במדגם של 10 אנשים. מה שחשוב הוא מה גודל האפקט בפועל וככל שהאפקט הממשי הוא גדול יותר, כך נדרש מדגם קטן יותר. בנוסף, גודל המדגם לא אומר לנו דבר על יחידות הניתוח הסטטיסטי. יכול להיות מדגם של 10 אנשים שכל אחד מהם עבר 20 מדידות שונות מה שאומר שיש לך 200 יחידות ניתוח רלוונטיות.
 

Philip Jr

New member
תגובה

קוסם,

מהיכרות רבת שנים עם הפורום הזה שוכניו הם בעיקר מועמדים לתואר ראשון בפסיכולוגיה, או סטודנטים לתואר ראשון בפסיכולוגיה, עם כמה מבקרים קבועים בשלבים מקצועיים מתקדמים יותר. סביר להניח שרוב הנמצאים עדיין בשלבים די ראשוניים של הלימודים עם בכלל, ולכן לא התעסקו עם הסוגיות שהעלנו כאן בדיון הקודם ופה בדיון הזה.

מעבר לזה לא מדובר בפורום שמרכז עיסוקו בביקורת מקצועית על מחקר, אלא בנושאים שונים הקשורים בלימודי הפסיכולוגיה, ולעיתים גם מחקרים מעניינים בתחום.

לכן ומסיבות אחרות (כמו חוסר זמן בתוך שבוע של מבחנים, בדיקת עבודות ופרויקטים מחקריים שונים) אני נוהג לפשט את תשובותיי ולקצרם, ולנסות לתת מענה לשאלות ששאלו אותי (לא אותך). אתה (שוב) משקיע את כל מאמציך (לפחות לאחרונה) בניסיון להדגים איפה אמרותיי שגויות.

אני לא זקוק להסברים על משמעותו של גודל אפקט, ועל שיטות לניתוח סטטיסטי, ואם אזדקק להעשרה מעבר לידע שכבר יש לי (תופתע - הוא רב) יש לי למי לפנות, אני לומד באוניברסיטה מצוינת ועם מנחה שנחשב למומחה בשיטות מחקר בתחומי.

יש לציין שמה שכתבתי על "אפקט עצום" היה מבוסס בין השאר על אמרותיו של HAL PASHLER (חוקר נהדר) על המחקר המדובר, שהופיעו בקישור שצרפתי:

But Hal Pashler, a cognitive psychologist at the University of California, San Diego — a long-time critic of social priming — notes that the effects reported in the original papers were huge. “If effects were that strong, it is unlikely they would abruptly disappear with subtle changes in procedure,” he says.

אנא אל תנסה לבסס את עליונותך האינטלקטואלית באמצעות פגיעה אישית באחרים, אני לא עושה זאת לך.
 

22ק ו ס ם

New member
אמירה שגויה היא אמירה שגויה

אין דרך אחרת לעקוף את זה. אין כאן שום פישוט, אלא יצא בהצהרה גורפת שהיא פשוט שגויה ומטעה וזה גרוע ביותר בעיניי ממי שמנסה כביכול לקדם את התחום לעבר מחקרים טובים יותר. במקום להודות בשגיאה שלך ולנסות לתרץ אותה בכל מיני תירוצים לא רלוונטיים אתה מנסה לתקוף אותי אישית ולהסיט את הדיון מהתוכן הממשי. אני מוצא את זה די דוחה ולא ממש אקדמאי.

אני לא יודע מי קורא כאן בדיוק אבל אני חושב שאתה מזלזל יותר מדי בקוראי הפורום. יש כאן מספיק אנשים שמבינים בסטטיסטיקה, ובכל מקרה, לומר משהו לא נכון הוא פשוט לא ראוי בלי קשר למי קורא את הפורום או לא. אני לא מנסה לבסס שום עליונות אינטלקטואלית אלא לתקן שגיאות שאתה מפיץ פה ובתגובות ענייניות לגופו של הנאמר, וזה בניגוד אליך ששוב ושוב מנסה לתקוף אותי ואחרים בהתקפות אד הומינם במקום להגיב עניינית ולהודות שמה שאמרת שגוי ביותר.

זה לא פורום פרטי שבו "מותר" כביכול רק לאדם אחד לענות. ברגע שאתה פותח דיון או מפרסם תגובה אז כל אחד יכול להגיב אליה ואני אמשיך להגיב לדברים שנראים לי חשובים ושמוצגים בצורה שגויה ומגמתית.
 

Philip Jr

New member
בהצלחה עם זה!

אתה טוען שאני שוגה, מגמתי, תוקף. אני טוען שאתה שוגה. כשיהיה לי את הזמן והרצון אמשיך לבקר פה ולהציג את המחקרים האחרונים בתחומים האלו האחרים, של גדולים ממני וגם ממך. אם תרצה לפרשם לבטח תעשה זאת, אבל אני מניח שאדלג על פרשנויותך - בריונות על כל פניה לא עושה לי את זה.
 

22ק ו ס ם

New member
האם לא אמרת משהו שגוי לגבי הקשר בין גודל אפקט

לגודל המדגם? האם הגבת עניניית להערה שלי? כי אם כן, אני לא ראיתי כזו מעבר לבריונות מצידך לתקוף אותי ואת כל העולם ועוד להיות מאוד יהיר לגבי הקוראים בפורום שכביכול הידע שלך עליהם נעלה.

אדרבה, אני אשמח שתציג מחקרים שונים וכשתציג אותם, אפשר יהיה להתייחס אליהם. אני לא מתייחס לדברים היפותטיים אלא ההתייחסות שלי הייתה נקודתית ועניינית לטענה הגורפת שלך שמבטא לטעמי חוסר הבנה בסיסי של משמעות האפקטים במחקרים. אם זו הדרך שלך לקבל ביקורת עניינית אז צפויים לך קשיים באקדמיה.
 

sense9

Member
מנהל
על מה הויכוח?


האפקט זה כמה ההבדל בין המצבים גדול,וגודל המדגם קובע כמה אנחנו בטוחים בתוצאה.
שניהם חשובים. ברור שיכול ליהיות לך אפקט ענקי גם ב10 אנשים.
אני לא כ"כ יודעת איך הכמות של המדידות קשורה למשהו, יכול ליהיות לך אפקט ענקי עם עם מדידה אחת לכל בן אדם ו10 אנשים. לא?
 

22ק ו ס ם

New member
גודל המדגם הוא גורם אחד במשוואה

ולא בהכרח הכי חשוב. מה שחשוב הוא גודל האפקט בפועל (שאותו לא תמיד יודעים כמובן) והשונויות של הקבוצות המושוות. נניח יש שתי קבוצות שרוצים להשוות את האינטליגנציה הממוצעת ביניהן. נניח לקבוצה אחת יש ממוצע 110 ולשנייה 90, ושהשונות הפנימית בכל אחת מהקבוצות קטנה. כלומר, אם ניקח מדגם מקבוצה א' עם הממוצע 110, אז כל מי שילקח מהקבוצה הזו יהיה בעל אינטליגנציה שנעה נניח בין 105-115. ולקבוצה עם הממוצע 90, הטווח עומד על 85-95. במקרה כזה, מספיק לקחת מדגם קטן מכל קבוצה כדי להראות שיש הבדלים בין הקבוצות וזה יהיה ממצא עקבי מאוד. כלומר לדעת שגודל מדגם הוא 30, לא אומר לנו כלום לגבי האפשרות למצוא הבדלים אמיתיים וגם אי אפשר לקבוע שגודל האפקטים קטן בהכרח.

במחקרי fMRI עושים הרבה פעמים מדידות חוזרות לאותו נבדק, מה שאומר שבעצם המדגם בפועל שמשמש לניתוחים הסטטיסטיים הוא גדול הרבה יותר. הנה מאמר שצירפתי בדיון למטה שמראה שבמקרים רבים אפילו גודל מדגם של 12 הוא מספק למחקרי fMRI כדי למצוא אפקטים אמיתיים בעוצמת מבחן של 80% למרות שמבחינה מעשית במקרים רבים צריך מדגם כפול (ועדיין קטן למדי בהשוואה למחקרים בתחומים אחרים). פשוט ההבדלים בסריקות מוח הרבה פעמים בולטים כל כך שלא צריך הרבה נבדקים.
 

sense9

Member
מנהל
בגדול זה נכון.

אבל אם תקח מדגם קטן מדי אתה *כן* עלול לקבל כתוצאה שהקבוצה שנעה בין 105-115. עם IQ *יותר קטן* מ 85-95
כי הקבוצה שנעה בין 105-115 לא באמת נעה בין 105-115 אלא היא בין אינסוף למינוס אינסוף.
טועה?

אבל ללא ספק: "גודל המדגם הוא גורם אחד ולא בהכרח הכי חשוב"
וללא ספק:"ייתכן אפקט קטן במדגם גדול ואפקט גדול במדגם קטן".
 

22ק ו ס ם

New member
מה זאת אומרת לא באמת נעה?

אם המדידות מהימנות אז אין סיבה לחשוב שיתקבלו מספרים מחוץ לטווח הזה (כמובן אם זה הטווח של הקבוצה). מה שיכול לקרות זה שיהיה לנו למשל מדגם של רק אנשים עם 105, ולעומת זאת מדגם מהקבוצה השנייה עם אנשים בקצה העליון של 95, מה שעדיין יוליד הבדל ברור בין הקבוצות אבל גודל האפקט יהיה קטן ממה שהוא באמת.

בכל מקרה, הנקודה המרכזית היא שצריך לקחת בחשבון את מכלול הגורמים בכל מחקר בנפרד ולא לצאת בהצהרות גורפות לגבי תחומים שלמים.
 

sense9

Member
מנהל
מקווה שאני לא מטעה, אבל

עד כמה שאני מבינה, מה שאתה קורא לו טווח זה *לא* מינימום/מקסימום, אלא "ממוצע פלוס מינוס סטיית תקן"

תחת ההנחה של התפלגות נורמאלית - בכל קבוצה יש בערך 68.2% שנמצאים בטווח, ו0.2% שנמצאים מחוץ לטווח הכי מחמיר שקיים (3סטיות תקן מהממוצע).
לדוגמא-2 קבוצות:
אחת עם, 1000 אנשים עם IQ=0 ועם 1 עם IQ=100 (ממוצע 0 סטיית תקן בערך 0 [ובדיוק 3] וטווח 3- עד 3)

השניה עם 1000 אנשים עם IQ=100 ועם 1 עם IQ=0 (ממוצע 100 סטיית תקן בערך 0 [ובדיוק 3] וטווח 97 עד 103)

אם נקח מדגם לא מייצג של אדם 1 אפשר (בסיכוי של 1 למליון בדיוק) לקבל את התוצאה שהIQ בקבוצה 2 קטן יותר, וגם(בסיכוי של בערך 2 ל1000) לקבל את התוצאה ששני הקבוצות עם אותו IQ.

אם נקח מדגם מייצג של 1000 אנשים בכל קבוצה אז יכול להיות שברמת ודאות של 100% נקבל שקבוצה 2 יותר גבוהה מקבוצה 1
גודל האפקט הוא ענקי במקרה הזה.
 

22ק ו ס ם

New member
אני בכוונה מדבר על טווח מצומצם

שאין בו חפיפה בין הקבוצות כדי להדגים את העיקרון. בסופו של דבר, תמיד יש טווח לתשובות במבחן כלשהו, אז כדי להראות מה שרציתי לומר צימצמתי אותו בכוונה. לא אמרתי אגב שהוא בהכרח נורמלי למרות שIQ כן מתפלג נורמלית. אם זה קצת קשה לדמיין, תחשבי על קבוצה של אנשים שהם נורמליים ויש להם טווח של IQ מ70 ועד 130 ב99% מהמקרים, ומשווים אותם לקבוצה של אנשים עם פיגור שכלי עם IQ ממוצע של 50 וטווח של 20-80. אז למרות שיש חפיפה קטנה בין שתי הקבוצות, ברוב מוחלט של המקרים מספיק מדגם קטן מכל קבוצה כדי לדעת שהן שתי קבוצות מובחנות.
 

sense9

Member
מנהל
אוקיי...

פשוט בד"כ, בעיקר באוניברסיטה,מדברים על התפלגות נורמלית..
כל נוסחא שאתה משתמש בה פחות או יותר מניחה התפלגות נורמאלית...

בכל מקרה, אכן נשמע הגיוני הקטנה של המובהקות על חשבון הטווח - אבל אני לא מוצאת נוסחא שמדברת על דבר כזה. יש כזו?
 

22ק ו ס ם

New member
לא כל דבר דבר מתפלג נורמלית

ויתכן אפילו ששום דבר לא מתפלג נורמלית בצורה טבעית (ולא כזה שעבר נירמול). זו הבעייה עם חלק מלימודי הסטטיסטיקה שקצת מרדדים את השיח. בכל מקרה, לא ממש הבנתי על איזו הקטנת מובהקות את מדברת ומה הקשר שלה לטווח.
 
למעלה