איך לנתח תוצאות A/B בצורה נכונה

דף הבית » מרכז הידע » איך לנתח תוצאות A/B בצורה נכונה

אם אני צריך לסכם את כל הנושא במשפט אחד: אני לא שואל רק “מי קיבל יותר המרות?” – אני בודק אם המבחן תקין, אם הפער לא מקרי, ואם הוא מוסיף כסף בלי לפגוע במדדים אחרים.

בפועל, ניתוח A/B נכון נשען על 4 שאלות קצרות:

האם המבחן תקין?
אני בודק פיצול תנועה, מעקב אירועים, גודל מדגם ומשך ריצה.
מה המספרים אומרים?
אני מסתכל על שיעור המרה, lift, RPV, וגם על p-value / הסתברות לנצח ורווחי סמך.
איפה האפקט קורה?
אני מפרק לפי מובייל/דסקטופ, מקור תנועה, ו-משתמשים חדשים מול חוזרים.
מה עושים עכשיו?
אני מחליט אם להשיק, להאריך, לחדד את ההשערה, או לעצור.

הנקודה הפשוטה היא זו: עלייה של 15% בשיעור המרה נשמעת טוב, אבל אם היא פוגעת ב-RPV, בשיעור נטישה או במהירות טעינה – זה לא ניצחון.
אותו דבר גם להפך: תוצאה “ניטרלית” בכלל יכולה להסתיר הצלחה חזקה במובייל והפסד בדסקטופ.

מה אני לוקח מהמאמר הזה?

לא עוצרים מבחן מוקדם רק כי ראיתי מובהקות
לא בוחרים מדד ראשי אחרי שכבר ראיתי תוצאות
לא מסתפקים בממוצע כללי
כן מתרגמים את התוצאה ל-₪ בחודש
כן מתעדים כל מבחן כדי לא לחזור על אותן טעויות

בקיצור, המטרה שלי היא לא “למצוא מנצח”. המטרה היא לקבל החלטה נקייה: להשיק, לבדוק שוב, לשפר, או לבטל.

4 שלבים לניתוח A/B נכון: מאימות המבחן עד קבלת החלטה

שלב 1: לוודא שהמבחן תקין לפני שקוראים את התוצאה

אחרי שמגדירים את המדדים, לא רצים ישר למספרים. קודם בודקים שהניסוי עצמו תקין. רק אחר כך יש טעם לקרוא את התוצאה.

כאן עוברים משלב ההגדרה לשלב הבדיקה: האם אפשר לסמוך על המבחן?

הגדרת מדד ראשי, מדדי תמיכה ומדדי שומר

לכל מבחן A/B צריך להיות מדד ראשי אחד. זה המדד שקובע מי ניצח. ברוב המקרים זה יהיה שיעור המרה, הכנסה למבקר (Revenue Per Visitor), או שיעור הגשת ליד.

לצדו שמים מדדי תמיכה. הם לא מכריעים, אבל הם עוזרים להבין למה המדד הראשי זז. למשל: שיעור קליקים (CTR) או ערך הזמנה ממוצע (AOV).

ויש גם מדדי שומר. כאן הרעיון פשוט: לוודא שהשיפור במקום אחד לא יוצר נזק במקום אחר. שיעור נטישה, שיעור החזר כספי או מהירות טעינה (LCP) הם דוגמאות טובות. אם גרסה B מעלה המרות אבל מאטה את הדף, זה לא שיפור עסקי.

קטגוריית מדד	דוגמאות	תפקיד
ראשי (OEC)	שיעור המרה, הכנסה למבקר, שיעור הגשת ליד	מכריע מי ניצח
תמיכה	CTR, שיעור הוספה לסל, AOV	מסביר למה המדד הראשי זז
שומר	שיעור נטישה, שיעור החזר כספי, מהירות טעינה (LCP)	מוודא שהשיפור לא פוגע באזורים אחרים

בדיקת פיצול תנועה, דיוק מעקב, גודל מדגם ומשך מבחן

לפני שנכנסים לניתוח, יש ארבע בדיקות שחייבות לעבור:

פיצול תנועה: אם תכננתם חלוקה של 50/50 וקיבלתם 60/40, יש SRM והמבחן לא תקין. את הפיצול כדאי לבדוק כבר אחרי 24–48 השעות הראשונות. זו בדרך כלל הבדיקה הראשונה שמסמנים בטבלת האימות.
דיוק מעקב: צריך לוודא שאירועים כמו רכישה, הגשת טופס וקליק נרשמים כמו שצריך בשתי הגרסאות. אפילו אירוע אחד שמוגדר לא נכון יכול לעקם את כל התמונה.
גודל מדגם ומשך מבחן: עצירה מוקדמת של מבחן היא מלכודת קלאסית. הסטנדרט המקובל הוא לפחות שבועיים, ועדיף 2–4 שבועות מלאים, כדי לכסות דפוסי תנועה שונים וגם לאפשר ללקוחות שצריכים עוד זמן להשלים החלטה.
התאמה ל-MDE: גודל המדגם צריך להגיע למספר שחישבתם מראש לפי Minimum Detectable Effect (MDE).

טבלת אימות תוצאות לפני ניתוח מעמיק

בדיקת תקינות	יעד	תוצאה בפועל	סטטוס
פיצול תנועה (SRM)	50% / 50% (±0.5%)	49.8% / 50.2%	✅ תקין
גודל מדגם	15,000 משתמשים לגרסה	15,200	✅ תקין
משך מבחן	14–28 ימים	21 יום	✅ תקין
מעקב אירועים	100% דיוק	אומת ב-QA	✅ תקין
שומר: שיעור נטישה	שינוי של עד ±5%	ירידה של 2%	✅ תקין
שומר: מהירות טעינה	LCP מתחת ל-2.5 שניות	2.1 שניות	✅ תקין

אם כל השורות בטבלה מסומנות כתקינות, אפשר לעבור לשלב 2: קריאת המספרים.

שלב 2: לקרוא את המספרים נכון

אחרי שאימתתם שהמבחן תקין, מגיע הרגע לפתוח את הדשבורד ולקרוא את התוצאות. הרבה אנשים מסתכלים ישר על שיעור ההמרה וממהרים להכריז על מנצח. זו טעות די נפוצה. אחרי שהמבחן עבר אימות, צריך לקרוא שלושה מספרים שבפועל מכריעים את התמונה: CR, lift ו-RPV.

חישוב שיעור המרה, עלייה יחסית והשפעה על הכנסות

יש שלושה מספרים שצריך לחשב בכל מבחן:

שיעור המרה (CR): מספר ההמרות חלקי מספר הסשנים. למשל, 300 רכישות מתוך 10,000 סשנים = 3%.
עלייה יחסית (Relative Lift): [(CR_גרסה_B - CR_גרסה_A) / CR_גרסה_A] * 100. אם גרסה A המירה ב-3% וגרסה B ב-3.45%, העלייה היחסית היא 15%.
הכנסה למבקר (RPV): סך ההכנסות חלקי מספר הסשנים.

המספרים האלה חשובים, אבל הם לא שווים הרבה בלי הקשר עסקי. נניח שאתם רואים עלייה יחסית של 15%. זה נשמע טוב, אבל מה זה אומר בפועל? אם ההכנסה החודשית עומדת על ₪150,000, שיפור כזה מוסיף בערך ₪22,500 בחודש. כאן כבר הרבה יותר קל להבין אם מדובר בשינוי ששווה לרדוף אחריו.

פירוש מובהקות, רווחי סמך וגודל אפקט

מובהקות סטטיסטית אומרת שהפער שראיתם בין הגרסאות כנראה לא נוצר במקרה. ברוב המקרים מסתכלים על p-value נמוך מ-0.05, ובדרך כלל גם על עוצמת בדיקה של 80%. אבל זה רק החלק הראשון. לא מספיק לדעת שיש הבדל. צריך להבין כמה ההבדל גדול, ועד כמה אפשר לסמוך עליו.

רווח הסמך (Confidence Interval) נותן את טווח הערכים שבו כנראה נמצאת ההשפעה האמיתית. אם הרווח רחב מאוד, למשל +2% עד +28%, עדיין יש הרבה אי-ודאות. קשה לבסס על זה החלטה. אם הרווח צר יותר, כמו +13% עד +17%, התמונה הרבה יותר ברורה.

ואז מגיעה השאלה הכי מעשית: האם האפקט הזה שווה את המחיר? שיפור של 0.3% בשיעור ההמרה יכול להיות מובהק סטטיסטית, אבל אם צריך להשקיע הרבה שעות פיתוח, QA והטמעה, ייתכן שזה פשוט לא משתלם. כאן ה-MDE שהוגדר מראש הופך למדד הבדיקה העסקי.

פרשנות תוצאות בגישה תדירותית מול בייזיאנית

אותו נתון יכול להיראות אחרת לגמרי, תלוי בשיטת הדיווח. לכן חייבים לקרוא את הפלט לפי השפה של הכלי שבו אתם עובדים. המטרה כאן היא לא להתווכח איזו שיטה עדיפה, אלא להבין נכון מה המספרים אומרים.

מאפיין	גישה תדירותית (Frequentist)	גישה בייזיאנית (Bayesian)
מה בודקים	האם הפער נובע ממקריות?	מה ההסתברות שגרסה B עדיפה על A?
מדד מרכזי	p-value (יעד: מתחת ל-0.05)	הסתברות לנצח (Pr(B>A); יעד: מעל 95%)
איך הכלי מציג את התוצאה	רווח סמך (Confidence Interval)	רווח אמינות (Credible Interval)
פרשנות עסקית	"הפער אינו מקרי"	"יש 95% סיכוי שגרסה B תניב תוצאות טובות יותר"

חשוב לעצור כאן על נקודה קטנה אבל חדה: בגישה Bayesian, גם 80% סיכוי לנצח עדיין אומר שיש 20% סיכון לנזק. זה כבר לא נשמע כמו ניצחון בטוח.

שלב 3: לפלח את התוצאות ולחבר אותן למציאות הקמפיין

אחרי שאישרתם שיש אפקט, מגיעה השאלה הבאה: איפה בדיוק הוא קורה.

ממוצע כללי הוא רק נקודת פתיחה. לפעמים תוצאה שנראית ניטרלית, או אפילו שלילית, מסתירה הצלחה ברורה בפלח קהל מסוים. לכן צריך לפרק את הנתונים לפי קהלים ולפי ההקשר שבו המבחן רץ. אחרת, קל מאוד לקבל החלטה על סמך ממוצע שמחליק החוצה קהל חשוב.

פילוח לפי מכשיר, מקור תנועה וסוג קהל

כדאי לבדוק תמיד שלושה פילוחים קבועים: מכשיר, מקור תנועה וסוג משתמש.

לדוגמה, גרסה B יכולה לנצח אצל גולשי מובייל ב־15% ולהפסיד בדסקטופ ב־10%. על פניו, זה נראה כמו מצב מעורב. אבל אם משתמשי הדסקטופ הם הקהל עם השווי הגבוה ביותר לעסק, ייתכן שהשקה חלקית היא המהלך הנכון. במילים פשוטות: ניצחון כולל לא אומר שחייבים להשיק לכולם.

עיתוי, מבצעים וחגים

גם פילוח טוב עלול להטעות אם המבחן התרחש בזמן לא רגיל.

בישראל, שישי-שבת וחגים משנים את דפוסי ההתנהגות, ולכן צריך לקרוא את התוצאות דרך העדשה של עונתיות ומבצעים. אם באותו זמן עלה ניוזלטר, התחיל קמפיין חדש או השתנה משהו בדף, קשה לדעת מה בדיוק יצר את התוצאה. בלי בידוד של המשתנים, אי אפשר לשייך את השינוי לגרסה אחת בביטחון.

עכשיו בודקים אם אותה תמונה נשמרת גם כשחותכים את הנתונים לפילוחים שונים.

טבלת פילוח: לזהות מנצחים ומפסידים נסתרים

הטבלה הבאה מראה איך אותו מבחן יכול להיראות אחרת לגמרי, תלוי באיזה פילוח מסתכלים:

פילוח	גרסה	מבקרים	שיעור המרה	עלייה יחסית	מובהקות סטטיסטית	מדד שומר (שיעור נטישה)
כולל	B	20,000	3.2%	+2%	65% (נמוך)	40%
מובייל	B	12,000	4.5%	+15%	98% (ניצחון)	38%
דסקטופ	B	8,000	1.2%	-10%	92% (הפסד)	45%
משתמשים חדשים	B	15,000	3.5%	+5%	80% (ניטרלי)	41%
משתמשים חוזרים	B	5,000	2.3%	-12%	96% (הפסד)	48%

הנקודה פה די פשוטה: ההחלטה הנכונה נשענת על הפלח שבו נוצר הערך הגבוה ביותר בפועל. פילוח לא רק חושף מי ניצח, אלא גם מראה איפה גרמתם נזק בלי לשים לב.

שלב 4: להפוך את הניתוח להחלטה ולתהליך שחוזר על עצמו

אחרי הפילוח, השאלה כבר לא מסתכמת ב"מי ניצח". השאלה היא מה עושים עכשיו. ברגע שהבנתם איפה התוצאה נוצרה, צריך לתרגם אותה להחלטה אחת ברורה שאפשר לפעול לפיה.

בחרו את הצעד הבא: השקה, הרצה מחדש, חידוד או עצירה

יש כאן ארבעה מהלכים עיקריים, וכל אחד מתאים למצב אחר:

השיקו כשהתוצאה מובהקת, מדדי השומר יציבים, והאפקט מספיק גדול כדי להצדיק מהלך.
האריכו או הריצו מחדש כשהמדגם קטן מדי, או כשהתוצאה פשוט לא חד-משמעית.
חדדו את ההשערה למבחן הבא כשהמבחן הפסיד בסך הכול, אבל ניצח בפלח ברור. זה לא כישלון; זה רמז טוב לאיטרציה הבאה.
עצרו כשמדדי השומר נפגעים, גם אם ההמרה עלתה.

"החלטה טובה נשענת על מדד ראשי, מדדי שומר וגודל אפקט – לא על תחושת בטן."

אם רוצים שההחלטות האלה יחזרו על עצמן בצורה מסודרת, צריך גם לזהות את הטעויות שיכולות להרוס את הניתוח.

תעדו תובנות, טעויות נפוצות וההשפעה העסקית

כדאי לתעד בכל מבחן את ההשערה, טווח התאריכים, המדד הראשי, הפילוחים, התוצאה, ואת ההשפעה העסקית בשקלים. התיעוד הזה חוסך בדיקות כפולות, עושה סדר, ומקצר את זמן הלמידה.

הנה הטעויות שחוזרות שוב ושוב בניתוח A/B, ומה עושים כדי לא ליפול בהן:

טעות נפוצה	השפעה על התוצאות	איך מונעים
הצצה מוקדמת (Peeking)	יותר חיוביות שגויות	ממתינים לגודל המדגם המתוכנן – לא עוצרים רק כי הכלי מציג מובהקות
מדגם קטן מדי	תוצאות שמונעות ממקריות, לא מהתנהגות אמיתית	מחשבים גודל מדגם נדרש לפני ההשקה
בחירת מדדים בדיעבד	מסקנות מוטות לטובת הגרסה שרוצים לקדם	מגדירים מדד ראשי אחד לפני שהמבחן מתחיל
התעלמות מבעיות מעקב (SRM)	נתונים מוטים בגלל פיצול תנועה שגוי	בודקים את חלוקת התנועה 24–48 שעות אחרי ההשקה

סיכום: רשימת בדיקה לניתוח תוצאות A/B נכון

בסוף כל מבחן, עברו על אותה רשימה קבועה. זה נשמע פשוט, אבל דווקא הדברים הפשוטים הם אלה שנופלים בין הכיסאות:

אימות: גודל מדגם, SRM, ומעקב תקין
מדד ראשי: האם הוגדר מראש
אפקט: האם בדקתם מובהקות, רווח סמך וגודל אפקט
פילוח: מכשיר, מקור תנועה וסוג משתמש
ערך עסקי: תרגום התוצאה לשקלים
תיעוד: השערה, תוצאה והחלטה

FAQs

איך מחשבים MDE לפני המבחן?

כדי לחשב את ה-MDE לפני שמתחילים את המבחן, קודם מגדירים מהו השיפור המינימלי שבאמת שווה משהו לעסק. למשל, עלייה של 8% בשיעור ההמרה.

אחר כך משלבים את ה-MDE עם הנתונים שכבר יש לכם, רמת המובהקות ועוצמת המבחן, כדי לחשב את גודל המדגם לכל וריאציה. כאן צריך איזון: MDE קטן מדי ידרוש מדגם גדול מאוד, ו-MDE גדול מדי עלול לגרום לכם לפספס שינויים שיש להם משמעות.

מתי כדאי להשיק רק לפלח אחד?

כדאי להשיק ניסוי A/B לפלח קהל מסוים כשרוצים להבין טוב יותר איך קבוצה מוגדרת מתנהגת – למשל גולשים ממקור תנועה מסוים, מאזור גיאוגרפי מסוים או מסוג משתמש מוגדר.

כך אפשר לוודא ששתי הגרסאות מוצגות לקהל שאפשר להשוות ביניהם, והתוצאות נעשות משמעותיות ומדויקות יותר. אבל יש כאן קאץ': פילוח יתר עלול להקטין את המדגם, ואז לפגוע במובהקות הסטטיסטית.

איך מתרגמים תוצאות A/B לרווח חודשי?

כדי להפוך תוצאות של מבחן A/B לרווח חודשי, מתחילים מהדבר הכי פשוט: בודקים בכמה שיעור ההמרה השתפר בין גרסה א' לגרסה ב'.

אחר כך לוקחים את שיעור השיפור הזה ומחילים אותו על נפח התנועה החודשי. כלומר, מחשבים כמה המרות נוספות השינוי הזה עשוי לייצר מתוך מספר המבקרים שמגיעים לאתר בכל חודש.

בשלב הבא מכפילים את אחוז השיפור במספר המבקרים החודשי ובשווי הממוצע של עסקה או ליד. התוצאה נותנת הערכה ישירה של תוספת ההכנסות הצפויה.

במילים פשוטות: אם יותר אנשים ממירים, ואותו נפח תנועה נשאר קבוע, אפשר להעריך די בקלות כמה כסף נוסף השינוי הזה עשוי להכניס בכל חודש.

לא יודעים איך להתחיל?
תנו לנו לעשות את העבודה!

אהבתם את הכתבה?
שתפו לחבריכם!

כתבות נוספות
שיעניינו אתכם