What is指标体系
百度百科的专业定义“评价指标体系是指由表征评价对象各方面特性及其相互联系的多个指标，所构成的具有内在结构的有机整体。”简单来说，就是将统计指标系统性的组织起来。指标体系是由指标和体系两部分组成。指标主要包括：用户数、次数、人均次数、时长、点击率、转换率、渗透率、留存率、成功率等；体系是由不同的维度组成，而维度是指人们观察、思考与表述某事物的“思维角度”，比如：区分不同模块来看用户数，这个模块就是维度。维度是指标体系的核心，没有维度，单纯说指标是没有任何意义的。根据产品灰度和上线的节奏来规划指标体系，如下图指标体系框架。
Why 指标体系
在没有指标体系的情况下，产品看数据遇到很多问题，这些问题都可以通过指标体系来解决：
How to规划指标体系
前期重要准备工作：不断体验产品，熟知产品的基本功能，明确产品的KPI目标和战略重点。按照以下三个步骤来规划整个指标体系：
其中“确认指标和目标是否匹配”也就是确认指标能否100%反映评估目标的变化，如果不完全匹配，则需要反过来修正评估指标，使其完全匹配；下面重点从产品规模质量、健康度、用户属性等6个方面来介绍如何“设计合适的评估指标”：
1、整体规模和实时数据监控
整体概况：依赖产品的核心功能以及KPI目标来制定，是对产品整体的监控，后面所有的指标均依赖此项展开。
关键漏斗：对关键概况指标做模块或者路径上的拆分。
实时数据监控：从整体概况中抽取最关键的1~2个指标来做按小时、按分钟监控。主要作用：在新版本发布后监控核心指标变化，便于及时发现版本问题回滚；某类重要活动上线之后的实时效果监控。之所以选择1~2个指标，是因为实时数据的统计对计算资源要求很高，通常选择最关键的指标来做监控，其他指标按天监控即可。
2、产品质量
这部分内容是从14年开始逐渐被产品重视起来，发现产品质量本身也会严重影响用户体验，质量差的产品容易被卸载/取关。质量监控是由各种成功率组成，基础指标包括：crash率、启动耗时、页面加载速度等，这些是每个产品必备的，另外根据产品功能会有其他成功率指标，如直播产品会有播放成功率、直播加载速度等；产品质量与用户自身的网络类型、运营商、机型强相关，所以以上指标的维度通常需要细分这三个维度来看。
1、留存和活跃度
通过留存率、活跃度(活跃天数/次数等分布)来监控产品的健康度，不同产品的监控周期不同，对于高频产品，留存率监控次留、3留、7留，活跃度按周来监控，如果按月来监控，当发现指标下降的时候用户已经流失了，错过了最佳挽留时机；对于低频产品，按月监控即可；可通过看用户的周活跃天数来判断该产品是高频还是低频，通常周活跃天数大于3，是高频产品，反之属低频产品。
2、成长体系
这部分内容仅适用于有增值包月功能的业务。包括vip到期天数分布、vip等级分布、特权使用度以及年费相关；
3、用户流动模型
结合用户生命周期，从新增、留存、回流、流失的角色转化来定义用户在产品中的流动，称之为流动模型；
当产品运营到一定的规模，必然要做精细化运营，即用户生命周期管理(CLM)，基于用户当前的行为状态，通过各类预测模型，对其进行精细化运营，来拉长用户生命周期。
这部分内容仅适用于独立app产品，因为独立app需要通过不同渠道去推广引导用户下载安装，不同渠道的用户质量差异比较大，所以需要分渠道来监控；平台资源产品不需要关注这块，如：手Q动态里面的平台资源产品。
监控方式主要是在上面讲到的概况和留存指标上扩展渠道维度。
梳理清楚产品的资源位，每个资源位的评价指标类似，即活动效果评估，包含两部分：
a）活动自身的pv、uv和点击率，以及渠道侧的发送、到达、点击整个链条数据；
b）活动给产品带来的价值，从新增、回流、留存上来评估;
画像和终端数据是用来详细描述用户本身的属性，明确使用产品的用户是什么样的人群，一方面可以指导产品的设计方向，如：产品设计的目标是针对25岁以上的成熟用户，但实际画像出来发现用户年龄主要集中在20岁以下，与设计理念不符，就得考虑功能设计是不是有问题，得改变方向；另一方面可以作为精细化推荐重要特征。画像的重要性不言而喻，但目前只有社交产品在这块建设相对完善；终端信息通过系统接口均可以获取到。
没有竞争就没有前进的动力。寻找自己的假想敌，对标规模和留存指标，以便评估产品的优势和劣势，不过这部分数据通常不易获取到。
规划完成后必须用以下四个准则来检验指标体系的合理性：
1、完备性：通过指标体系能够对产品的经营状况一目了然；比如产品现在增速如何，现状是否健康等；
2、系统性：通过指标体系能够粗略定位到数据波动的原因；比如活跃用户下降，通过指标体系能够拆解到大概原因；
3、可执行性：指标体系是可量化并实现的；
4、可解释性：所有指标的统计逻辑都是可解释的，容易被用户理解的；经验证明那些复杂不可解释的指标最终都会被淘汰；
Just do it指标体系可视化
在指标体系可视化过程中有几点需求注意：
1、数据上报环节要保证准确性和扩展性强。数据上报不准确，后面的链条做的再好都是无用功，需要开发和测试多方验证保证上报准确性；扩展性强是为了产品扩展功能的时候数据上报框架依旧可用，只需增加某些id即可。另外尽可能把用户的所有操作都做上报，包括操作成功和失败。
2、计算框架最好能够包括中间表建设。一方面使的指标计算逻辑很清晰，且由于中间表的复用性很强，指标计算可以节省大量计算资源；另一方面在后续问题分析过程中，使用中间表要比直接从原始流水简单很多。
来源：腾讯QQ大数据
更多阅读：
- 腾讯QQ大数据：BI方法论-数据体系建设之路
- 腾讯QQ大数据 ：从“增长黑客”谈数据驱动的方法
- 腾讯QQ大数据：从用户行为去理解内容-item2vec及其应用
- 腾讯QQ大数据：机器学习建模问题中的特征构造方法
- 腾讯QQ大数据：一种海量社交短文本的热点话题发现方法
- 腾讯QQ大数据：神盾推荐——MAB算法应用总结
- 腾讯QQ大数据：手Q游戏中心的个性化推荐实战
- 腾讯QQ大数据：视频打标签算法探讨
- 腾讯QQ大数据：用户增长分析——用户分群分析
- 用户增长分析——用户分群分析
- 腾讯QQ大数据：聚类算法如何应用在营收业务中——个性化催费的尝试
- 腾讯QQ大数据：神盾推荐系统的超大规模参数学习探究
- 腾讯QQ大数据：逻辑回归如何用于新用户识别与触达
- 腾讯QQ大数据：相关推荐之反浩克装甲
- 腾讯QQ大数据：Quicksilver快数据处理系统
2021-06-01 17:07:13
