拿真实数据判断 | 验证与迭代 | 做产品

拿真实数据判断

「我用着挺好的」「我朋友说不错」「我们用户数在涨」——这些都不算数据。判断一个产品行不行，只有一种东西算数：真实用户在真实场景下的行为记录。

你会遇到的现象

• 靠「自己人觉得」下结论，几个人觉得好就推上线

• 问卷收回来几十份，就当成规律往外推

• 功能上线了，但没有行为数据，说不清用没用、用到哪一步

为什么小样本不算数

小样本和自己人的感受，问题不在「不真实」，而在带偏——它们会顺着你想要的方向，给出让你舒服的答案。

• **自己人是「知道自己会用」的人。**你做什么他们都说好，因为他们支持的是你，不是产品。你需要的恰恰是那些「需要被说服」的人。

• **小样本的波动可以支撑任何结论。**三个人里有两个人点了某个按钮，你读出「六成」——可这只是掷了三次骰子。样本小到一定程度，数字反映的是运气，不是规律。

• **当面问出来的，是「他想让你听到的」。**人倾向于表现得配合、理性、乐于助人。他说「这个功能我很需要」，不代表他下个月真的会用。

• **投放带来的短期涨，不是产品的功劳。**涨跌要能归因。搞不清哪一环带来变化，涨了也无从复制。

什么样才算真实数据

同样是数字，有的算数据，有的只是噪音。判断标准有四条：

• **看行为，不看表态。**用户实际做了什么，比嘴上说了什么可靠得多。问「你需不需要」不如数「有没有人用、用了几次」。

• 看完整路径，不看单点。「浏览量涨了」没有意义，要看从进入到完成的整条链路里，人在哪一步停住。

• **样本要有量级。**至少能区分「波动」和「趋势」——个位数的样本，除了暴露问题，给不了结论。

• **是真实场景。**他自己用、没人在旁边盯、没有奖励诱导。测试环境、演示环境里的数据都不能算。

同一个人，说的和做的是两回事

他当面说的 「这个功能我很需要」

他上线后做的 一个月，用了 0 次

人倾向于表现得配合、理性、乐于助人——他说的是「他想让你听到的」。

三个人里有两个点了，你读出「六成」 ——但这只是掷了三次骰子。样本小到一定程度，数字反映的是运气，不是规律。

什么才算数据，四条筛子

看行为不看表态

看路径不看单点

样本要有量级

真实场景

自己人是「知道自己会用」的人。你做什么他们都说好——你需要的恰恰是那些「需要被说服」的人。

问卷能告诉你「他说他想要」，行为能告诉你「他到底用不用」。**两者配合可以，但问卷不能当行为数据用。**而没有埋点的功能，上线等于没上——把埋点当成功能的一部分，跟着一起验收。

没有数据怎么办

「我现在就是没有真实数据」——这是最常见的处境，也有对应解法：

• **先埋点，后上线。**没有埋点的功能，上线等于没上。把埋点当成功能的一部分，跟着一起验收。参见先埋点后上线。

• **先放一个小版本给真实用户。**小流量的真实行为，好过一百个自己人的感受。窄受众、最小版本，都是为了让真实数据早点来。参见最小切片。

• **别用问卷代替行为。**问卷能告诉你「他说他想要」，行为能告诉你「他到底用不用」。两者配合可以，但问卷不能当行为数据用。

• **先定要验证什么，再定看什么数。**北极星定下来之后，才知道哪些数值得埋、哪些数只是好看。参见指标体系怎么搭。

接着看

先埋点后上线 真实数据的前提是埋点。没埋点的功能，上线等于没上。

指标体系怎么搭 定好北极星之后，拆出哪些数值得埋、哪些数只是好看。

真需求与伪需求 用户嘴上要的，和用户真的会用，经常是两回事。