举一个最简单化了的例子。假设一个电子商务网站的首页的顶部有一个各个部门争夺的推荐商品展示位，为了平息争议，网站部门进行了一次A/B测试。建立的A、B页面只是推荐位推荐的商品不同。测试结果如下表所示：A首页的bounce rate是60%，B首页是50%。假设两个页面分别迎来了1,000个访问，而且对于没有bounce掉的visit，购买其他非推荐商品的几率是一样的。A页面有600个访问bounce掉，剩下400个中有50个购买了A首页推荐的商品，20个购买了其他商品；而B页面有500个访问bounce掉，剩下的500个中有30个购买B首页推荐的商品，25个购买了其他商品。那么A页面的最终转化率是7%，而B页面是5.5%。

这种情况说明了A首页推荐的商品对那些喜欢这类商品的人来说实在太好销了（400人中80人购买），但其他的人则可能因为这个商品的影响而对这个首页兴趣下降（跳出率为60%）。A首页更好？抑或是不好？结论完全取决于你们自己的评判标准（例如加入其他的关键指标，比如产生的销售额或是利润）。但如果我们只是用Google Analytics的Experiments功能做了一个A/B测试，并且设置转化率为衡量标准，那么我们就只能得出结论——A首页好于B首页。但事实情况是，A首页并不见得比B首页更好，虽然它推荐的商品更受部分人追捧，但却降低了页面整体的表现，并影响了其他的销售机会。

因此我不是特别喜欢一赌定江山的单纯测试。我更想知道两个不同页面究竟引发了人们何种行为上的差异，以及为什么发生这样的差异。

研究测试区域（首页上被改动的区域）的点击率变化是最直观的观察人们因为首页改变而行为改变的指针。这个点击率的定义是：首页该区域链接被点击的次数（实际上是首页该区域链接被点击后打开页面的PV数）除以首页的访问数。一个区域发生变化后，若它自身的点击率显著提升，且其他区域的点击率并未明显降低，显然说明这个变化是有价值的。在下面的例子中，BCD三个新的首页分别对原始首页做了修改，同样区域内，内容不同，点击率也相应不同，而左侧的链接的点击率实际上没有发生明显变化，很显然D首页的效果最好。这个例子四个版本其实卖的是一种商品，但我们完全可以想象它分别推广的是四个不同部门的商品，各个部门的表现各有千秋，最终D部门在吸引人们注意力上胜出（测试区域的点击率最高）。