چگونه می توانید این تکنیک را به کار بگیرید و در مورد مفاهیم مرتبط با آن به طور دقیق و کامل توضیح دهید؟
بسیاری از ما یا چیزی در مورد تست A/B شنیده‌ایم و یا آن را به کار گرفته‌ایم که یک تکنیک بسیار کاربردی در تمام صنایع از داروسازی گرفته تا توسعه نرم افزار می‌باشد که از آن برای مقایسه یک نمونه از محصول در مقایسه با سایر انواع آن به کار گرفته می‌شود. با انجام این تست شما متوجه می‌شوید که آیا نظریات شما در مورد ویژگی‌های جدید یا تکمیل ساختار یک محصول درست است یا نه و اگر چنین است تا چه حدی؟
من به دو دلیل مطالبی را در مورد این تست نوشته‌ام، اول برای جمع‌آوری اطلاعات در مورد ریاضیات و آمار موجود در روند انجام تست و بعد تثبیت ادراکات شخصی خودم در مورد این مفاهیم. من به هیچ وجه یک کارشناس آمار، احتمال یا ریاضیات نیستم بنابراین از شنیدن نظرات و اصلاحات شما خوشحال می‌شوم.
این پست به هیچ وجه فراتر از مبانی اصلی آمار و ارقام، تنظیم و تجزیه و تحلیل تست های A/B یا تست‌های چند روشی نیست. اما در مورد چگونگی به کارگیری این تکنیک و توضیح مفاهیم مرتبط به آن به صورت کامل و دقیق صحبت می‌کند.
مراحل اجرای تست
مرحله ۱_ فرضیات
شاید اولین و مهمترین قدم داشتن یک ایده و جمع آوری اطلاعاتی است که از نمونه جدید محصول پشتیبانی می‌کند. هنگامی که شما با فرض و این باور شروع می‌کنید در واقع برای داشتن یک نسخه بهتر از محصول دست به یک نظریه پردازی گروهی زده‌اید. در بیشتر موارد باید مراقب سردرگمی‌های ناشی از ایجاد این تغییرات باشید. شما باید اطمینان حاصل کنید که یک تست چند روشی را به یک باره اجرا نکنید. در غیر این صورت متوجه نمی‌شوید که کدام تست جواب می‌دهد و کدام یک نه؟
مرحله ۲_ طرح آزمایشی
شما باید تعریف مشخصی از تست مورد نظر داشته باشید، مخاطب‌هایتان چه کسانی هستند؟ اهداف اولیه و ثانویه تست چیست و اثرات مورد انتظار چه چیزهایی هستند. اکنون با مشخص کردن موضوع تست و نحوه بررسی نتایج، آزمایش مورد نظرتان را تعریف کرده اید پس در واقع شما اوّلین قدم را برداشته اید.
مرحله ۳_ محاسبات حجم نمونه
این مرحله‌ایی است که شما باید بدانید که چه تعداد نمونه باید جمع‌آوری کنید تا به درستی تشخیص دهید این تست چه تاُثیری بر معیارهای کلیدی مورد نظرتان دارد. به عنوان مثال، آیا شما به ۱۰۰۰ بازدید کننده از سایت نیاز دارید و یا ۱۰۰۰۰؟ و با این موضوع متوجه خواهید شد که هدر مورد نیاز شما کدام است.
در اینجا به برخی نکات برای تکمیل این مرحله اشاره می‌کنم:
• آلفا یا سطح اهمیت، احتمالی است که تاُثیر تست انجام شده شما را مشخص می‌کند حتی اگر هیچ تفاوتی وجود نداشته باشد. به طور خلاصه احتمال می‌رود که تصمیم شما مثبت کاذب باشد اما شما می‌خواهید این احتمال کم باشد. بنابراین ارزش نمونه %۵ است.
• بتا یا قدرت آماری احتمال عدم تشخیص یک منفی کاذب است. و احتمالی است که شما می‌خواهید با کمک آن تاُثیر عملکرد تجربیات آزمایشگاهی را شناسایی کنید. البته اگر واقعا تفاوتی وجود داشته باشد. شما می‌خواهید این احتمال زیاد باشد، ارزش نمونه % ۸۰ است. به خاطر داشته باشید که سطح آلفا و بتا همواره باید برای هر تستی که انجام می‌دهید یکسان باشد.
اکنون دو فاکتور مورد نیاز شما به ترتیب زیر است:
• نرخ تبدیل متریک: این معیاری است که شما برای پیشرفت محصولتان به دنبال آن هستید (افزایش یا کاهش) و از این رو تست‌هایی را برای تاُیید نظریات خود انجام می‌دهید. شما باید به آن عدد معیار برسید قبل از اینکه به انجام تست فکر کنید.
• شما انتظار پیشرفت نسبی دارید و هیچ اشکالی ندارد که چنین انتظاری داشته باشید اما اگر فقط در حد یک حدس باشد.
بخش تجزیه و تحلیل ریاضیات نیز به این مساُله کمک خواهد کرد.
توجّه ! همینجا اهمیّت این ارزش را درک کنید، شما این تست‌ها را انجام می‌دهید امّا مراقب باشید که یواشکی به نتایج نگاه نکنید طوری که موجب بی توجهی به تصمیماتتان بشود. صبور باشید!
مرحله ۴_ اجرا و جمع آوری اطلاعات
اکنون شما فرضیه‌ها، ارقام، نسخه‌های طراحی شده، طول دوره انجام تست و حجم جمعیت آماری را در اختیار دارید پس الان وقت انجام تست است.
مرحله ۵_ مرحله تجزیه و تحلیل
شما تا الان صبور بوده‌اید و اکنون بسیار کنجکاو هستید تا ببینید که نظرات شما در مورد ویژگی‌های جدید و تکامل و پیشرفت محصول تا چه حدی کارآمد بوده است؟ اکنون زمان پی بردن به این مساُله است.
برای تحلیل به سادگی می توان از روش محاسباتی بیزین استفاده کرد. دلایل بسیاری برای استفاده از این روش وجود دارد. اکنون به راحتی نتایج به دست آمده از تست را چه مثبت و چه منفی در این فرمول قرار دهید. اینها فقط احتمالاتی هستند از اینکه چقدر امکان دارد در صورت تکرار تست نتیجه دوباره همین باشد. کاملاً مشخص است که راه حل واقعی برای سنجش میزان پیشرفت یک محصول به کارگیری آن محصول می‌باشد. اما انجام تست به شما می‌گوید که با چه احتمالی و انتظار چه چیزی را در دنیای واقعی داشته باشید.
حسابگر بیزین مبتنی بر تعیین دقیق مبانی اوّلیه تست است. این مبانی تنها یک توزیع احتمالی از تست، قبل از شروع آن است. به عنوان مثال، اگر شما ۱۰۰۰ نفر بازدید کننده داشته باشید و ۱۰۰ ثبت نامی پس منحنی توزیع احتمالی شما بیشتر از ۱/۰ می‌باشد.
در نتیجه انجام تست با متغییرهای گوناگون، شما اساساً از حسابگر می‌خواهید که نظریات پیشین شما را با توجه به داده‌هایی که به عنوان بخشی از مرحله انجام تست جمع آوری کرده‌اید تنظیم کند.
این مساُله استنتاج بیزین نامیده می‌شود و بر مبنای یکی از ساده‌ترین تئوری‌های احتمال است. قضیه بیزین به شما این امکان را می‌دهد که احتمالات موجود را مد نظر داشته باشید. بنابراین با استفاده از استنتاج بیزین، حسابگر احتمالات همه متغیرهای آزمایشی را تنظیم می‌کند.
البته هر چه تعداد نمونه‌های جمع آوری شده بیشتر باشد، اطمینان بیشتر و گستره ارزیابی کمتری خواهید داشت.
چه زمانی می توانم از تست A/B استفاده کنم؟
در واقع این یک تست کاربردی برای استفاده به عنوان ابزار در موارد زیر است:
• وقتی که شما اطلاعات کافی برای دانستن اینکه آیا نسخه جدید بهتر است یا نه در اختیار ندارید.
• وقتی که شما اطلاعاتی دارید امّا مطمئن نیستید که باید تغییراتی ایجاد کنید یا نه؟
• وقتی که شما می‌خواهید مطمئن شوید که این تغییرات موثراست میزان این تغییرات را تعیین خواهید کرد.
در نهایت نیز می‌توانید استادانه این تغییرات را برای پیشرفت بیشتر اعمال کنید.
نتیجه گیری
شاید در ابتدا تست A/B کمی پیچیده به نظر برسد اما واقعیت این هست که اگر اصول اولیه آن را بیاموزید به راحتی خواهید توانست به صورت حرفه‌ای آن را دنبال کنید.
منبع مقاله: uxdesign.cc
