A/B test רע = ידע כוזב. עברנו על 20+ tests – הנה כל הטעויות שראינו.

מתי לעשות A/B Test

יש שינוי משמעותי במוצר. יש קונפליקט דעות בצוות. יש metric ברור שרוצים לשפר.

אל תעשו: לשנות צבע כפתור. Small changes דורשים דגימה ענקית. Not worth it.

הגדרת Hypothesis

Bad: ‘נשנה את הכפתור וניראה’.

Good: ‘אם נשנה את הטקסט מ-Sign Up ל-Get Started, נראה עלייה ב-signup rate של 5% לפחות כי המילים פחות threatening’.

מבנה: If [change] then [outcome] because [reasoning].

Sample Size Calculation

לא לרוץ test בלי לחשב sample size. אחרת – לא תדעו מתי לעצור.

כלי: Optimizely Sample Size Calculator, Evan Miller’s calculator.

Input: baseline conversion (e.g. 5%), MDE (Minimum Detectable Effect, e.g. 10% relative change), statistical significance (95%).

Output: כמה users לכל variant.

Statistical Significance

95% זה standard. 99% ל-decisions קריטיים.

אבל: significance לא בהכרח importance. עלייה סטטיסטית של 1% – לא בהכרח שווה effort.

הטעויות הנפוצות

Peeking: לבדוק תוצאות באמצע ולעצור מוקדם. False positives.

Not enough sample: לרוץ 3 ימים ולהחליט. Weekly variance is a thing.

Multiple tests running: A/B test אחד יכול להשפיע על אחר. Sequential או isolated.

אין guardrail metrics: signup עלה אבל retention ירד. אתם הפסדתם.

Guardrail Metrics

Primary metric: מה שרוצים לשפר.

Guardrails: metrics שלא רוצים שיירדו. Revenue, retention, satisfaction.

אם primary עולה אבל guardrail יורד – לא מפרסמים.

Tools

Full featured: Optimizely, VWO, Adobe Target. יקרים ($500-1000/month).

Startup friendly: PostHog (חינם עד 1M events), GrowthBook (open source).

Built-in: Vercel (Edge Config), Cloudflare (Workers).

Iteration Speed

MVP: 1 test בכל שבוע. Focus.

Growth: 2-3 tests parallel. יש infrastructure.

Scale: 20+ tests parallel. Team dedicated.

מבוסס על פרויקטים אמיתיים

המדריך הזה מבוסס על עבודה עם:

• Podd
• Platforma365

קריאה נוספת

אם המדריך הזה עזר לכם, אולי תרצו לקרוא גם על עיצוב UX/UI – המדריך המקיף שלנו לתחום.