האם אפשר לסמוך על קוד שנכתב על ידי בינה מלאכותית? זו השאלה המרכזית שעולה ממחקר חדש שפורסם בנושא בידי וינברג וחבריו, אשר בוחן את יכולות הקידוד של ChatGPT 4.0 Pro בתחום המחקר הכמותי. המחקר פורסם בכתב העת Health Economics Review ומציע ניתוח מעמיק של יכולות הבינה המלאכותית לייצר קוד לצרכי מחקר כמותי בפייתון, R ו-Stata.
עם התפתחותם של מודלים גדולים לשפה כמו ChatGPT, הפכו כלים אלו לחלק בלתי נפרד מעבודתם היומיומית של סטודנטים, חוקרים ומדעני נתונים. רבים כבר משתמשים בכלים אלו ליצירת פונקציות בפייתון, איתור ותיקון שגיאות, אוטומציה של משימות חוזרות ותרגום קוד בין שפות תכנות שונות. אולם, המחקר הנוכחי אינו מסתפק במשימות פשוטות אלו, אלא מתמקד ביכולת של ChatGPT ליישם שיטות כלכלתיות מורכבות.
וינברג ועמיתיו בחרו להתמקד בשלוש שיטות מקובלות למחקר כמותי: הבדלים בהבדלים (Difference-in-Differences), משקלות טיפול הפוך (Inverse Probability Treatment Weighting) וניתוח אי רציפות ברגרסיה (Regression Discontinuity). השיטות הללו דורשות לא רק הבנה טכנית, אלא גם ידע מתודולוגי ותכנון מדויק של המודלים.
במחקר נעשה שימוש בערכות נתונים ציבוריות ובסדרות בעיות מתוך הספר "Causal Inference: The Mixtape" של סקוט קנינגהם, אשר ידוע בקרב חוקרים כלכליים. המחקר בחן את יכולות ChatGPT ליצור קוד המייצר תוצאות מדויקות בסטנדרטים מתודולוגיים גבוהים.
בנוסף, המחקר מעניק תשומת לב מיוחדת לשפת Stata, אשר רבות מהשיח הציבורי על כלים לעזר בקידוד מתמקדת בשפות פייתון ו-R. Stata, לעומת זאת, עדיין נמצאת בשימוש נרחב בתחומי הכלכלה והמדיניות הציבורית, כך שהכללתה במחקר מוסיפה לתוקף ולהיקף הממצאים.
ממצאי המחקר מצביעים על כך ש-ChatGPT מצליח לייצר קוד מדויק יותר בפייתון ו-R לעומת Stata. הדבר נובע, ככל הנראה, מהשימוש הנרחב יותר והקוד הציבורי הרב יותר הקיים בשפות אלו. עם זאת, החוקרים מזהירים מפני הסקה גורפת מדי על סמך תוצאות אלו, שכן מדובר במחקר מקרה ולא בבדיקה רחבת היקף.
המחקר כלל גם הערכת ביצועים על סמך חמישה מדדים: דיוק, יעילות, תקלות ביצוע, עריכה, וקונסיסטנטיות. הממצאים מראים כי ChatGPT מצליח להגיע לתוצאות מדויקות ביעילות יחסית גבוהה, אך עדיין יש להמשיך לבדוק ולשפר את התוצאות בתנאים שונים.
שינוי נוסף שנצפה בעקבות שילוב הבינה המלאכותית בעבודה היומיומית הוא המעבר לעבודה בסביבות פיתוח מודרניות כמו VS Code, המציעות שילוב קל עם כלים כמו ChatGPT ו-GitHub Copilot. מעבר זה מעיד על שינויים עמוקים בתהליכי העבודה ובבחירת הכלים והשפות.
המחקר מראה כי בינה מלאכותית יכולה להאיץ תהליכים ולהפוך את העבודה לכמותית ליעילה יותר, אך מדגיש כי הפיקוח האנושי והוודאות המתודולוגית עדיין חיוניים להבטחת דיוק ואמינות התוצאות. השילוב בין כלים חדשניים לידע מקצועי הוא המפתח להצלחה בעידן החדש של בינה מלאכותית.