取名那件事
故事是这样的。
2016 年，字节要给那个 15 秒音乐短视频 App 起个正式名字。
网上流传过很多版本，最离谱的一个说是找大师算的。2021 年杨震原在火山引擎那个活动上专门辟了这个谣1。他说的版本是这样的。
团队拿了几个候选名字，每个名字配一套 logo 和 demo，用同样的预算、在应用商店同样的位置投放，看哪个名字下载量高。就是第 1 课那套，切几组，别的全一样，比一个数。
测出来，「抖音」排第二。
然后产品经理们拍板，选抖音。理由是，从长期认知的角度，他们觉得这个名字更站得住。
杨震原讲完这个故事，补了一句话，我觉得是整套课里最值得记住的一句之一。
AB 测试不一定是最好的评估方法，它不是万能的，但不会 AB 测试肯定是不行的。
你注意这个故事的结构。数据给了一个排名，人推翻了第一名。但人不是拍脑袋推翻的，是在看过数据之后，用一个数据量不到的维度，长期认知，去推翻的。第 3 课讲过，下载量是短期数，名字的认知是长期的，短期判官判不了长期的事。
这个故事在字节内部被反复讲，讲的不是「AB 测试很神」，也不是「人比数据准」，是这两样东西的关系。
万物皆可 AB
好，讲回这课的正题。平台有了，谁在开实验？
火山引擎对外讲这套东西的时候，用的词是「万物皆可 AB」2。产品功能要测，推荐算法要测，运营活动要测，推送文案要测，广告素材要测，连名字都测。第 4 课那个每天新增 4000 个实验的数，就是这么来的。
第 4 课还讲过 Libra 有可视化实验，运营在页面上拖一拖就能开。火山引擎卖 DataTester 的时候，把这个当卖点，说是给运营这种非技术人员设计的2。人人都是产品经理网站上有篇转载的文章，用的词是「人人都是实验官」3。
一线懂不懂，证据分几级
到这里我得诚实地说一下证据的边界，因为这正好是你问的那个问题，字节一线业务人员到底懂不懂 AB。
我能找到的正面证据就是上面这些。厂商自己说平台给非技术人员用，媒体转述说人人都是实验官，招聘的面经说运营岗要会数据分析4。这三条里，第一条是卖家的话，第二条是二手，第三条没有写明「要会 AB 测试」。
我没找到一份字节的 JD 原文上写着「必须会 AB 测试」，也没找到一篇一线运营自己讲「我怎么开实验」的第一手访谈。
所以这个问题诚实的答案是这样的。能证明的是，平台把开实验的门槛压到了运营能自己动手的程度，而且公司文化要求几乎所有改动都过实验，所以一线业务人员几乎一定在「用」实验。证不出来的是，他们是不是都懂第 1 课那三件事，对照组、随机、显著性。「会用」和「懂」之间有一段距离，平台替你算了显著性，你就不一定知道它在算什么。
这不是字节的问题，是所有把统计封装进按钮的平台都有的问题。我觉得反而可以反过来看，正因为平台替你算了，业务人员需要懂的不是算法，是第 1 课到第 3 课那些判断题在考的东西。分组随机了吗，判官选对了吗，护栏看了吗，好得反常的数先当 bug 查了吗。这些平台替不了你。
数据给排名，人做决定
回到抖音取名那件事，再看一遍。那群产品经理懂不懂统计我不知道，但他们做对了一件平台替不了的事，看完数据以后，知道这个数量不到什么，然后自己做了决定。
老板 A 说，名字这种事靠直觉，测什么测。老板 B 说，测出来哪个第一就用哪个，别掺人的意见。哪个更接近字节的做法？
C。字节的做法是先测，拿到数据，再由人在数据之上做判断，而且要说得清用哪个数据量不到的理由去推翻数据。A 是没尺子，B 是把尺子当判官。
这一课，字节的「万物皆可 AB」是真的，平台把门槛压到运营能自己开实验，所以一线业务人员几乎一定在用。但数据给排名，人做决定，抖音这个名字是第二名这件事，讲的就是这个关系。
万物皆可 AB产品、算法、运营、文案、素材、名字，都进实验
这一课的数字从哪来
- 抖音取名 AB 测试、「抖音」位列第二、产品经理从长期认知选择、杨震原否认算命取名、「AB 测试不是万能的，但不会 AB 测试肯定是不行的」：第一财经 2021-04-20、36氪、搜狐转载，多家独立报道一致。
- 「万物皆可 AB」口径、可视化实验「为运营等非技术人员设计」（厂商自述）：字节数据平台（cnblogs，2023-01）。
- 「人人都是实验官」：人人都是产品经理转载文章，二手。
- 商业化运营岗要求数据分析能力：WonderCV 面经，三方经验帖，未见 JD 原文写明 AB 测试。
- 「一线几乎一定在用、但证不出都懂」是从以上证据推出来的判断。张一鸣「同理心是地基、想象力是天空」一说未找到一手出处，本课不引。
下一课讲反面。人人都在开实验，隔一阵就要拿着实验数据过一次 OKR，这套东西放到抖音是神器，放到另一个业务上，变成了什么？
大数据给字节创造过奇迹，现在它成了诅咒。