您所在的位置：奇趣闻 >> 数码科技 >> 正文

网约车数据产品实战一：设计数据体系

2020-01-25 20:41:21 来源：网络整理作者：管理员

O2O领域自2011年开始，各个行业从早期的粗犷式攻城略地，到中期的稳中求胜，发展到如今的精耕细作。数据产品的价值随着行业的深度发展日益重要。

网约车作为O2O行业内的先行者，早已进入了数据驱动业务增长的阶段，本系列将基于“设计数据体系”、“搭建指标体系”、“可视化设计”三个阶段，呈现网约车行业数据产品从0到1的搭建实战（基于PowerBi）。

网约车数据产品实战一：设计数据体系

一、如何着手

初接到任务的时候，没有0-1数据产品经验的我还是很无从下手的。但静下心来仔细思考数据产品的本质，无外乎两件事情：提取指标、辅助决策。

高效、精准地提取出业务指标是数据产品的根基，因为巧妇难为无米之炊。而辅助决策则需要依赖一些可视化工具，市面上有很多：Tableau、PowerBi、FineBi等等，我们最终选择微软提供的PowerBi为我们提供指标可视化能力，接下来的难点便在于提取数据指标了。

二、从目标开始

数据体系作为指标体系的前置条件，其架构的稳定性和延展性决定了输出的指标数据能否满足业务方的各类应用场景，能否适应业务的横向拓展。以下罗列几点数据体系的设计目标：

「时效性」需获取高时效性的今日数据，用于生成实时指标，应用于看板、仪表盘等；
「不可变」历史数据（指今日之前的）产生的指标一经生成，不可更改。（由于实际业务场景中可能存在系统脏数据、接口超时等，造成业务原始数据变动。如在不同时间生成同一项指标，可能出现指标数据不吻合，带来财务核算的错误风险）
「灵活性」高速发展的业务形态会带来各种各样的统计指标，为此数据体系必须拥有较强的灵活性，将指标提取和指标数据读取进行解耦，避免牵一发而动全身。

三、确定整体架构

整体架构如下图所示（重点关注指标提取层）：

网约车数据产品实战一：设计数据体系

指标分为两大板块：

1. 实时指标

定义：今日实时产生的指标数据，如今日发单量、今日完单量、今日出车司机数等等。指标要求最少5秒一次刷新。

用途：制作实时数据仪表盘、战术大盘等。

方法：SQL语句提取指标，各个指标数据组装为json格式，每隔2-3秒post到PowerBi的流式数据集api。

2. 汇总指标

定义：包含今日和历史的业务指标，如昨日注册司机数、昨日活跃司机数、今日出车司机数等等。「汇总指标」包含了「今日指标」。

用途：制作多维度指标图表，如折线图、饼状图、组合图、核心指标表等。

方法：

今日的业务指标通过python中的pymysql模块进行读库和组装指标数据。一些简易指标可以直接通过SQL语句获取（同步上文中的实时指标）
历史的业务指标为每日凌晨2点，通过python脚本抓取前一日指标数据，存储到「周期性汇总指标表」，每条指标一行数据（如颗粒度为半小时的完单数指标，最终落在指标表中为48条数据）。后续通过SQL语句即可通过指标表读取到指标数据。

汇总指标中的历史业务指标是整个数据体系中最关键的部分，所有业务数据最终都会形成指标落到「周期性汇总指标表」

四、总结与探讨

几点经验

1、合理利用异步思想：本次历史业务指标的设计思路即为异步思想，将“指标提取”和“指标数据读取”进行解耦并异步处理；

2、领域间保持一致性维度：各领域的业务数据（如财务、资产、运营、客服等），虽数据源不同，但大多数可以通过相同的维度进行打通关联。如时间、城市等。

探讨几个问题

1、每天凌晨2点生产昨日的数据指标，意味着0~2点存在两个小时的空档期，此期间无法获取前一日的指标数据（因为获取实时指标和今日指标的脚本亦不会获取昨日数据）

2、文中的数据体系通过怎样的低成本优化，可以支撑更复杂的应用场景，如用户标签系统、运营策略实验系统等。（后续将更新专题文章探讨这一课题）

本文由 @Sean 原创发布于人人都是产品经理，未经许可，禁止转载

题图来自 Unsplash，基于 CC0 协议

显示全文

上一篇：炒茅台，成为了2020春节保留节目

下一篇：【新春有奖问答】区块链的应用与实现

为您推荐

向日葵传播种子的方法这些方法可以传播种子

【导读】向日葵传播种子的方法这些方法可以传播种子，下面是小编为你收集整理的，希望对你有帮助！向日葵不仅可以观赏食用，另外在工业方面也有一定作用，向日葵有很多种不同传播种子的方法，分别是自体传播、风体传播、水体传播、鸟类传播、哺乳类动物传播等，传播范围也是相当广泛。向日葵传播种子的方法1.自体......

发布时间：2023-06-01 17:01:05

《奥本海默》新预告泄露展示更多新角色

在很早之前发布首支官方预告后，人们关于克里斯托弗·诺兰自编自导的新片《奥本海默》愈加等待。而近日网上走漏出了一段长达 3 分钟的最新预告，其中展示了更多新角色，包含马特·达蒙、佛罗伦斯·皮尤和小罗伯特.........

发布时间：2023-06-01 16:03:25

纳摩盖吐龙:蒙古超巨型恐龙(长21米/长有钉状牙齿)

【导读】纳摩盖吐龙:蒙古超巨型恐龙(长21米/长有钉状牙齿)，下面是小编为你收集整理的，希望对你有帮助！纳摩盖吐龙是一种蜥脚类恐龙，诞生于7500万年前-7000万年前的白垩纪末期，体长最多可达21米，属于超巨型恐龙的一种，因为出土的四颗钉子状牙齿而被命名，第一批化石发现于蒙古国，因此也叫做蒙古纳摩盖吐......

发布时间：2023-06-01 16:01:04

日内瓦是哪个国家的首都：瑞士的一个城市(并不是首都)

【导读】日内瓦是哪个国家的首都：瑞士的一个城市(并不是首都)，下面是小编为你收集整理的，希望对你有帮助！我们知道地球对于人类来说是一个非常大的星球，因此地球上还有许多我们人类没能发掘的地方，而地球上的国家也是非常多的，日内瓦这个城市也是一个比较有名的城市，那么日内瓦是哪个国家的首都呢?它具体又在哪个地方......

发布时间：2023-06-01 15:01:04

《欢迎光临》播出近半，口碑稳中有升

本报记者李夏至由正午阳光出品制作的都市生活轻喜剧《欢迎光临》在北京卫视播出接近一半，口碑稳中有升。该剧讲述一个酒店门童和空姐的恋爱故事，看似多少有点悬浮的设定需要大量的生活细节与戏剧手段来弥补。对《.........

发布时间：2023-06-01 14:03:12

月球背面为什么去不了,月球背面到底有什么?

【导读】月球背面为什么去不了,月球背面到底有什么?，下面是小编为你收集整理的，希望对你有帮助！作为太阳系中最为特殊的天体，月亮总是以一面面向地球，从来没见过它的背面长什么样，这主要是由于月球的自转和公转周期相同。然而自人类登月成功以来，如今已经成功发射探测器到火星了，但却根本没有月球背面的消息......

发布时间：2023-06-01 14:01:04

朱一龙爆发式的哭戏，刷新演艺圈新水平，拭目以待

朱一龙主演的电影《峰爆》9月17日即将在各大电影院上映，这部属于灾难型的电影，里面没有过多装饰的场景和华丽的服饰。在灾难面前，个人是多么的渺小，他们帮助困难群众，为了保护家园逆行而上，在这期间产生的父.........

发布时间：2023-06-01 13:03:11

鸡胗怎么炒

【导读】鸡胗怎么炒，下面是小编为你收集整理的，希望对你有帮助！用料：小米椒，鸡胗，大蒜，盐，生抽，黄酒。步骤：1、鸡胗冷水下锅，煮变色了捞起切片。鸡胗要切花，一来好看，二来容易熟又保持了爽口感。2、切好的鸡胗加盐加黄酒加生抽腌制半小时以上。3、大蒜切成蒜蓉，小米......

发布时间：2023-06-01 13:01:03

周迅觉得何炅黄磊太像空巢老人

今日何炅晒出与黄磊的《向往的生活7》海报，何炅黄磊两人牵着小h小o画面很温馨夸姣的呢。可是有的网友却戏弄：“如同两个假笑空巢白叟”“孩子们都离开了，就剩俩老人了，能开心吗？”“这笑脸是p的吧？”这一季.........

发布时间：2023-06-01 12:03:13

十二金仙为什么入佛门十二金仙为凡人做出了什么贡献

【导读】十二金仙为什么入佛门十二金仙为凡人做出了什么贡献，下面是小编为你收集整理的，希望对你有帮助！十二金仙并没有全部板衣佛门，十二金仙中慈航道人，普贤真人，文殊广法天尊和惧留孙最终依了佛门，分别变成观世音菩萨，普贤菩萨，文殊菩萨以及惧留孙佛。这四人成佛是他们自己的选择，因为这四位金仙经历过封神的劫......

发布时间：2023-06-01 12:01:04