מה זה A/B Testing?
A/B Testing (בדיקת A/B) היא שיטה שבה מציגים שתי גרסאות שונות של אלמנט (דף נחיתה, כותרת, כפתור CTA, מחיר) לקהלים שונים, ומודדים סטטיסטית איזו גרסה מביאה יותר המרות, קליקים, או כל מדד אחר שהגדרתם.
מונחים קשורים: CRO, UX, Product-Market Fit, Analytics, Landing Page
מה זה A/B Testing בפועל
בפועל, A/B Testing דורש שאלה אחת, מדד אחד וחלוקה אקראית של מבקרים בין הגרסאות. מריצים מספיק זמן ומספיק תנועה כדי שהתוצאה לא תהיה מקרית, ורק אז מחליטים איזו גרסה להשאיר.
כדי לקבל תוצאה אמינה, צריך להגדיר מראש את ההשערה, את המדד העיקרי ואת גודל המדגם. אחרי הניסוי משווים את הגרסאות לפי הנתונים ובודקים אם ההפרש גדול מספיק כדי להיות משמעותי ולא מקרי.
בעבודה בפועל, שמרו רשימה של ניסויים עם תאריך, השערה ותוצאה. אחרי כמה חודשים תראו מה סוג השינויים שעובד אצלכם, וזה שווה יותר מכל מדריך כללי.
דוגמה
חנות אונליין בודקת שתי כותרות בעמוד מוצר. מחצית מהמבקרים רואים כותרת שמתמקדת בחומר ומחצית כותרת שמתמקדת בשימוש. מודדים כמה מהם הוסיפו לעגלה. רק אחרי שמגיעים לנתונים מספיקים בוחרים את המנצחת.
כדאי לתעד כל ניסוי, כולל מה נבדק ומה למדנו, גם כשאין מנצחת. תוצאה שלילית היא מידע שימושי שחוסך חזרה על אותה טעות.
מתי זה חשוב לכם
ניסוי טוב דורש משמעת, ולא כל החלטה צריכה אותו. הוא שימושי בעיקר כשאתם נמצאים באחד מהמצבים הבאים.
- כשיש לכם מספיק תנועה כדי להגיע למסקנה
- כשיש ויכוח על ניסוח, עיצוב או מחיר ורוצים להכריע לפי נתונים
- כשאתם משפרים דף שכבר יש בו תנועה והמרות
- כשיש כמה רעיונות לשיפור ורוצים לדעת איזה מהם באמת עובד
המקום הנפוץ ביותר להתחיל בו ניסויים הוא Landing Page ממוקד.
הקפידו שהחלוקה בין הגרסאות תהיה אקראית ושכל מבקר יראה תמיד את אותה גרסה. אחרת התוצאות מתבלבלות ואי אפשר לסמוך עליהן.
טעויות נפוצות
- לעצור את הניסוי מוקדם כי גרסה אחת נראית מובילה
- לשנות כמה דברים בבת אחת ולא לדעת מה פעל
- להריץ ניסוי באתר עם מעט מדי מבקרים
- לבדוק רעיון שהמבקרים לא רואים כי הוא נמצא בתחתית הדף
התחילו משינויים שמשפיעים על המדד המרכזי, כמו כותרת, הצעה או כפתור, ולא על פרטים קטנים. הבדלים גדולים קל יותר לזהות.
בסוף, ניסוי נכון נותן לכם ביטחון להחליט. הוא מחליף ויכוחים בנתונים, בתנאי שמתכננים אותו מראש ומכבדים את התוצאה.
שאלות נפוצות
כמה זמן להריץ ניסוי?
מגדירים מראש משך וגודל מדגם, ומריצים לפחות מחזור שבועי שלם כדי לתפוס הבדלים בין ימי השבוע.
מה אם אין מספיק תנועה?
עדיף לשפר לפי מחקר משתמשים והיגיון, ולהשאיר ניסויים לדפים שיש בהם נפח.