白癜风治疗医院 https://yyk.39.net/bj/zhuanke/89ac7.html作为在各行各业中被广泛应用的工具，A/B测试一直以来都受到各大公司的重视。在过去的文章中我们曾介绍过Netflix网飞公司如何利用A/B测试算出火爆全网的电影海报图。A/B测试是优化网页最有效也最科学的工具之一。通过向同等人数的受众投放某个内容的两种版本，我们可以测试出哪个版本的表现最好。在营销行业，掌握A/B测试更是人手必备的重要技能，因为A/B测试可以用数据和科学的手段证明哪些改变可以为公司带来更高的转化率。
或许你和很多人一样都是刚开始接触A/B测试的新手，对A/B测试的实际操作有很多疑问。我们在Linkedin和其他社交网站上收集了有关A/B测试最常见的16个问题，希望可以帮你答疑解惑，让你少走一些弯路。
1.什么时候该用A/B测试？什么时候不该用？
A/B测试失败往往源自不够明确的测试目标，因此你必须对测试的对象有清楚的认知。A/B测试可以用来验证假设，比如向landingpage添加图片是否会提高转化率，用户更倾向于点击红色按钮还是蓝色按钮或者在标题中强调限时促销会带来什么样的影响等等。上述这些测试的对象都可以很容易被量化。但当假设过于模糊时，比如测试有多个元素的两个完全不同的设计，A/B测试就难以取得好的成效。除非两个版本中的一个取得压倒性优势，否则测试完全不同的设计不利于得出有力的结论，并且难以定位导致转化率变高的真正原因。
2.A/B测试几个版本比较合适？
假设经过一场brainstorming，你和你的团队对于landingpage的设计提出了四个设想。你可能想一口气同时测试四个版本来找出最优的版本，但是如上文所说，如果你一次测试多种元素就不是真正的A/B测试，反而还会使测试结果更加混乱。A/B测试的优点在于其结果简单明了。在这种情况下，我们建议分别运行两个测试，然后再进行第二次测试以比较出最优版本。
3.什么是多变量测试，它和A/B测试有什么区别？
A/B测试通常用于优化设计，测试单个元素改变的影响或者验证某一假设（如影响转化率的因素）。而多变量测试（multivariatetesting）往往会经历更长的时间，且用于较小的更改。多元变量测试会选取网站的许多元素，并测试这些元素的所有可能组合，以进行持续的优化。
Source：Condorly
如果你的需求是在短时间内获得有意义的结果，A/B测试是一种很好的测试方法。页面之间的更改非常明显，因此更容易判断哪个页面最有效。如果你的网站没有足够的流量，A/B测试也是一种很好的选择。多变量测试中要测试多个变量，因此一个高流量的网站才能通过多变量测试获得有意义的结果。
如果你有足够的网站流量，多变量测试可以用于对页面进行细微的更改，并了解某些元素直接如何相互影响。
4.什么是零假设（nullhypothesis）?
零假设（nullhypothesis）是一个统计学上的概念，指结果的任何差异都是抽样误差或标准偏差导致的假设。让我们用抛硬币来举个例子。尽管硬币落在正面的统计学几率是50/50，但有时实际抛硬币的结果可能是51/49。但是，掷硬币的次数越多，硬币落在正面的比例就越接近50/50。在统计学中，证明或否定假设的方式是拒绝零假设。拒绝零假设即将实验进行足够多次，从而排除偶然结果的影响。在统计学上也被称为达到统计意义。
5.进行A/B测试的页面至少要有多少访问量？
在测试A/B测试结果之前，你必须确保测试已经达到统计学上的显著性（statisticalsignificance），即有95%或以上的置信度（confidencelevel）。
许多A/B测试工具都内置了统计显着性。如果没有，你也可以参考互联网上的其他计算工具，如HubSpot。
Source：HubSpot
6.为什么测试的两个版本访问量不是50/50？
有时在A/B测试期间，两个版本的流量并不完全等同。这不等于测试有任何问题，只是受到了随机因素的影响。还是以抛硬币为例，抛到正反面的几率是50/50，但也会连续抛到三次反面。随着访问流量的增加，该数字应接近50/50。
7.我应该测试几个变量？一次性测试多个变量不可行，是因为你无法得出是哪个变量导致的结果。因此，尽管你可以对比两个页面效果的好坏，但是如果每个页面上有三四变量，你就无从得知为什么某些元素产生负面效果，也无法复制成功的元素。我们建议做一系列单变量测试，逐步优化到最有效的页面呈现。8.如果我没有控制组（control）怎么办？控制组是你要测试的landingpage或其他页面的现有版本。如果你想测试一个从未上线的页面的两个版本，你是没有控制组的。该怎么办呢？你可以选择一种版本作为控制组。选择与当前设计页面最相似的一个版本作为控制组，将另一组作为实验组。9.我该在什么时候用什么方式分析A/B测试结果呢？当你开始一项A/B测试且结果逐渐浮现，你可能已经按耐不住想知道对比的结果。但是测试的早期阶段不是开始进行分析的正确时间。你应该等到检验达到统计显着性，再着手进行分析。该测试是否最终证明或否定了你的假设？如果答案是肯定的，你可以开始进行总结。在解读测试结果时，应该把结果归因于所做的特定更改，并且确保更改和结果之间存在明确的联系，排除其他因素的影响。10.如果我不够信任测试结果怎么办？如果你不信任结果，并且排除了可能影响测试有效性的因素，最好的办法是再跑一次相同的测试。把第二次测试当作完全独立的测试，看是否出现类似的结果。如果相似的结果不断出现，你的结论会更加可信。11.除了样本量之外，还有哪些其他的效性（validity）陷阱？MECLABS在去年的webclinic上指出了样本量之外影响测试效性的因素。FlintMcGlaughlin博士提及了三个测试错误以及如何降低它们在测试中出现的风险，除去样本量之外，最常见的错误还包括：历史因素的影响：外界发生了某些事件，影响了测试结果，从而导致不利的bias。工具性影响：用于测试的软件中的错误会影响测试结果。Source：MarketingExperiments12.我应该多久进行一次A/B测试？不同的人看法不同，但是始终对网站进行测试和优化的大方向是正确的。你需要确保每次测试都有明确的目的，并且最终可以建设一个对公司和用户都有利的网站。但如果你同时运行多个测试，却并没有带来很好的回报，你需要重新考虑自己的测试策略。13.可以在网页之外应用A/B测试吗？当然可以，除了测试landingpage和网页，许多marketer也用A/B测试来测试电子邮件，PPC广告和calls-to-action。电子邮件：电子邮件测试变量包括邮件标题，个性化功能和发件人姓名等。PPC：对于付费搜索广告，你可以测试标题，正文，链接文本或关键字。CTA：对于CTA可以测试文字内容，形状，颜色或页面上的位置。14.我应该对homepage进行A/B测试吗？虽然是可行的，但对Homepage进行A/B测试很难得出有意义的结论。首先，Homepage的流量来源是多样的，有偶然访客，潜在客户也有客户。此外，Homepage往往也有较多的内容，难以界定哪一个元素驱使了访客的行为。最后，由于Homepage的访客多种多样，也会导致难以确定测试的目标。你可能把测试潜在客户到购买的转化当作测试目标，但是如果在测试过程中访问的样本主要是已经在平台购买过的客户而不是潜在客户，那么你原本的目标可能会发生变化。如果要测试主页，可以考虑仅测试CTA。15.开始A/B测试需要什么工具？最好的工具是专为A/B测试设计的工具，如HubSpot，Unbounce和VisualWebsiteOptimizer。如果你会敲代码，也可以用GoogleAnalytics下的ContentExperiments。它与传统的A/B测试略有不同，但如果你精通代码，不妨一试。16.A/B测试是否对SEO有负面影响？有人说A/B测试会影响搜索引擎排名，因为它可能被归类为重复内容，导致在搜索引擎的排名下降。在这里为大家辟谣：A/B测试并不会影响搜索引擎排名，Google的工程师MattCutt还建议进行A/B测试，来优化网站功能。如果你还有顾虑，可以向变更的页面添加“noindex”标签来阻止搜索引擎将网页编入索引。Source：GoogleSearchConsoleSupport以上就是A/B测试最常被问到的一些面试问题，因此理解和知道如何解决这些问题对于你拿下面试来说至关重要。而最有效的方式自然是亲自做过一个实际的A/B测试项目。如同拥有了肌肉记忆一般，如此一来，你对于A/B测试面试中的各种问题就都能迎刃而解！像Facebook、Amazon、Netflix这样每天都要进行A/B测试的大企业，在面试营销分析或产品分析的候选人时通常都倾向于有过实际操作经验的人。因此，如果你没有机会在工作中参与真实的A/B测试实验、学校又没有提供实操演练，但希望能为之后面试顶流大厂时积累A/B测试的真实项目经历，就来报名MarTechApe的《A/B测试企业级实操训练营》第六期吧！本周末就要开课啦！在《A/B测试企业级实战训练营》中，你将使用一手数据，在业内专家的指导下，从零到完整地操作A/B测试在工作环境中实施的每一步细节。深刻领悟A/B测试在各类真实场景下、在企业中经常遇到的用户数据不完善的情况下，是如何通过实验设计克服现实难关，实现科学实验分析的。《A/B测试企业级实战训练营》往期学员战绩：
1你将获得
真枪实弹的A/B测试项目实操，百万量级真实数据+五大应用案例，从零学会A/B测试的里里外外！
为你建立一个完整的、专业的、深度还原大公司的的A/B测试项目，让你在面试时可以自信展示自己亲自做的案例，成功拿下offer！
从0到真实操作A/B测试项目的全套流程：数据清洗、数据自动化处理、实验设计、实验执行、结果分析、报告展示。
经历真实工作场景中的、各大互联网科技公司里使用的A/B测试流程，以及适应不同商业场景的各类实验/准实验方法。学会工作中最重要的分析方法！
深度学习A/B测试实战中常见的测试陷阱及避免方法。
牢固掌握公司里A/B测试项目中的实际SQL与Python应用，为A/B测试搭建数据库、清理数据、创建数据集。
学会用Python自动化实现A/B测试，为你的老板提高%的工作效率！
接受系统的统计训练，打下坚实牢固的统计基础，彻底明白A/B测试的统计原理、分析方法、实验设计方法、抽样准则。
各大互联网、科技公司A/Btesting面试题解题步骤示范与详细解析。对互联网科技公司的深度剖析和指标介绍，让你自如面对各类面试考验！
专业的Bootcamp经历简历模版与认证证书，可以晒到LinkedIn等求职网站，大大提高面试邀请率！
福利升级：训练营以往只内推成功从训练营中毕业的学生。但在疫情期间，所有A/B测试实战训练营学员，均可获得全职或实习岗位的内推机会！
2训练营老师介绍
Emma老师
美国知名电商Wayfair高级商业分析专家
拥有多年电商A/B测试实战经验，及新人教授经验
精通AdvancedSQL,Python等数据分析工具
设计推出的A/B测试，为公司带来上千万美元的收入
Emma老师对学员知无不言，有问必答！无论是面试中遇到的问题，还是工作中遇到的困惑。
3训练营课程内容
整个Bootcamp历时8周，每周3小时课程，共计24小时课时。
周末线上实时授课，课后完成老师布置的作业，助教团队在班级群内随时答疑，直播录像永久回放。
五大课程模块：
A/B测试商业训练（案例、变量设计、测试计划）
A/B测试数据技能训练（数据源概况、SQL数据库建立、Python自动化分析）
A/B测试实验设计训练（A/B测试vs准实验、实验步骤、真实商业环境中的实验挑战）
A/B测试统计训练（统计分析、深度解析）
A/B测试面试训练
课程内容涵盖了A/B测试在各大互联网科技公司中的完整工作流程：
A/B测试统计基础与应用场景
A/B测试实验设计
A/B测试假设检验、变量选择、流量计算与实验周期计算
A/B测试各类应用场景中的实验变体与前后测实战分析
用SQL与Python完成A/B测试项目实战
A/B测试结果解读与高阶统计
结果展示
每位学员将有一套亲自做的A/B测试成果作品
每位学员获得A/B测试面试真题解题辅导
结课后，每位学员获得提升简历的IndustryProjectExperience完美描述，所有学员获得内推机会！
1.A/B测试商业训练
了解A/B测试在顶流科技公司中的各类应用场景
了解A/B测试适用的商业问题与它的局限
了解科技公司产品团队如何使用A/B测试
面对商业问题，如何设计有效的假设？
如何制定A/B测试的实验计划与执行框架？
2.A/B测试数据技能
搭建一个真实的A/B测试实验数据库
了解A/B测试中常面临的数据问题
用SQL对数据进行清洗与转制，完成样本选取、组别分配、变量选取等实验步骤，为A/B测试做好数据准备
用Python搭建A/B测试分析流程
学员在项目中重点使用SQL与Python，全方位了解A/B测试中涉及的数据库搭建、样本选取、实验组与测试组分配、变量选取等数据分析步骤。并且充分掌握用Python搭建A/B测试结果分析流程，实现A/B测试自动化，对真实工作中的A/B测试分析了如指掌。简而言之，项目后，你不仅将牢固掌握SQL与Python等最热门的数据分析软件，还将成为真正的A/B测试技术流，完全掌握A/B测试这项数据分析工作中最重要的技能。3.A/B测试实验设计
充分了解A/B测试的实验步骤
设立零假设与被择假设
确认实验指标，设计实验变量
根据指标类型确认统计检验方法
估算样本量，确定实验周期
置信区间与统计功效
A/B测试中的各类偏差
样本量不够或其他实验条件不满足时的实验设计
了解准实验与A/B测试的应用区别
为项目案例设计A/B测试实验
学员在项目中将透彻学习实验方法与实验设计。在这个环节中，将研究如何制定实验方案，以提高实验效率，缩小随机误差的影响，并使实验结果能有效地进行统计分析。学习在工作场景中如何用A/B测试等实验来提高用户激活/活跃/留存等关键的产品指标，提升产品功能表现，真正理解A/B测试的商业价值与业务地位。4.A/B测试统计训练
抽样技术
样本量与统计分布
统计测试的不同类型和指标（T测试,Z测试,Z分数,P值）
统计显著性
统计功效
置信区间
假设检验的两类错误等
学员在项目中将系统学习数理统计方法，为各类工作实战中的实验方法打下牢固的理论基础。学员所学习到的统计并不只适用于A/B测试，其实是所有数据分析方法的从基础到高阶的统计方法。只有为自己增添坚实的统计背景才能在各类分析方法中游刃有余。5.A/B测试面试训练在每周的课程后，所有学员将获得A/B测试面试训练。老师将对各大互联网、科技公司A/B测试面试题给出解题步骤示范与详细解析。确保课堂所学知识可以灵活应用到各类面试场景，助你自信面对A/B测试的所有面试考验！
4训练营学员作品
上完Bootcamp，有哪些作品可以展示呢？从数据库搭建、样本选取、实验组与测试组分配、变量选取、实验设计，到实验结果深度分析与PPT展示，学员的精致项目报告就是他们最好的训练营成果，这一份拿的出手的高品质项目，无论是LinkedIn还是面试展示，都会是脱颖而出的最佳帮手！部分学员作品展示：
5报名方式
长按
