本文将企业大数据体系的构建分为六个层级,但并非是线性过程,每个层级之间或有基础关系,但并不是说一定要逐层构建。例如创业型公司,在缺乏数据研发实力的时候,多数会借助第三方平台进行数据上报与分析。
下面一张图,是本文的精华概括,后面一一展开与大家探讨。
一、数据基础平台
基础的数据平台建设工作,包含数据平台建设,数据规范,数据仓库、产品数据规范,产品ID,用户ID,统一SDK等。
很多公司的数据无法有效利用,就是缺乏统一规范,产品数据上报任由开发按照自己的理解和习惯上报,没有标准化的SDK和上报协议,并且数据散落在各个部门产品的服务器,无法构建结构化的数据仓库。
做数据平台的架构,很多人会理解为高大上的技术活,其实整个数据平台价值的体现,需要公司各个部门的配合,例如关键数据指标体系的建立,需要从各个部门业务指标进行提炼,并得到业务部门认可。常见的关键指标有:DAU、PCU、WAU、MAU、按天留存率(1-30日留存)、累计留存率(7日、14日、30日累计留存率),新增用户,有效新增用户,活跃转化率,付费转化率,收入指标,ARPU人均收入,渠道效果数据等。
下图是腾讯和阿里的数据平台架构。
阿里大数据业务架构:
阿里云梯分布式计算平台整体架构:
二、数据报表与可视化
在第一层级中,进行数据指标体系规范,统一定义,统一维度区分,就可以很方便的进行标准化可配置数据报表设计,直观的可视化输出设计,包括行为、收入、性能、质量等多种数据类别。
在PPT中以友盟、迅雷、百度、腾讯等公司的数据报表体系进行详细讲解。
腾讯数据门户
阿里数据地图
三、产品与运营分析
在建立数据平台和可视化基础上,对已有的用户行为、收入数据等进行各种分析,输出日报、周报、月报、各种专题分析报告。常见的数据分析工作如下:
1. A/B TEST进行产品分析优化;
2. 运用漏斗模型进行用户触达分析,如TIPS、广告等曝光到活跃的转化;
3. 收入效果监控与分析,包含付费转化率、渠道效果数据等;
4. 业务长期健康度分析,例如从用户流动模型、产品生命周期分析产品成长性和健康度;
5. 营销推广活动的实时反馈;
用户画像也是常见的数据分析方式,包括用户如性别、年龄、行为、收入、兴趣爱好、消费行为、上网行为、渠道偏好、行为喜好、生活轨迹与位置等,反映用户各种特征,以达到全面的了解用户,针对性的为用户提供个性化服务的目的,通常每半年做一次用户画像的专题分析。
下图是常见的数据分析思路:
常用分析工具:EXCLE,SPSS,SAS,Enterprise Miner,Clementine,STATISTICA。个人用的比较多的是:EXCEL和SPSS。
下图是SPSS常用的数据分析与挖掘方法:
四、精细化运营平台
基于数据基础上搭建的精细化运营平台,主要的平台逻辑多数是进行用户细分,商品和服务细分,通过多种推荐算法的组合优化进行商品和服务的个性化推荐。另外还有针对不同产品生命周期,用户生命周期构建的产品数据运营体系。
五、数据产品
广义的数据产品非常多,例如搜索类,天气预报类等等。这里主要讲狭义的数据产品,以BAT三家公司的数据产品为例进行分享。
截取几张PPT如下:
六、战略分析与决策
战略分析与决策层,更多的是跟很多传统的战略分析、经营分析层面的方法论相似,最大的差异是数据来自于大数据。
有很多企业错误的把“业务运营监控层”和“用户/客户体验优化层”做的事情放在经营分析或者战略分析层来做。傅志华认为“业务运营监控层”和“用户/客户体验优化层”更多的是通过机器、算法和数据产品来实现的,“战略分析”、“经营分析”更多的是人来实现。很多企业把机器能做的事情交给了人来做,这样导致发现问题的效率较低。
建议是,能用机器做的事情尽量用机器来做好“业务运营监控层”和“用户/客户体验优化层”,在此基础上让人来做人类更擅长的经验分析和战略判断。
在变化极快的互联网领域,在业务的战略方向选择上,数据很难预测业务的大发展方向,如果有人说微信这个大方向是通过数据挖掘和分析研究出来,估计产品经理们会笑了。从本质上来说,数据在精细化营销和运营中能起到比较好的作用,但在产品策划、广告创意等创意性的事情上,起到的作用较小。但一旦产品创意出来,就可以通过灰度测试,数据验证效果了。
相关推荐
分享一套大数据画像视频教程,名字叫——BAT大数据电商画像实战,很不错的课程,附源码课件,完整版,值得学习一下
2019最新BAT大数据面试题
一线互联网大厂大数据面试题库,大数据全栈学习【生态组件,技术栈,数据流,数据仓库,数据库,指标体系,血缘关系,元数据管理,数据质量,DataWorks,Hadoop,Spark,Flink,面试,笔记文档,实战练习、采集、存储...
2019大数据BAT面试题,资源较全,有参考答案
2016大数据技术大会,来自一线互联网(含bat)厂商顶级大学的大数据实践经验, 包含以下主题: 百度大规模推荐系统实践 京东数据库备份系统进化之路 腾讯大数据能力输出之路 基于图算法的跨设备受众识别 360...
收集整理了2018BAT大数据相关的面试题,供大家参考查看,如果因版本内容有差异,请及时联系我下架资源,谢谢。
2022年最新BAT大数据面试题.docx
BAT大数据面试题宝典,阿里、百度、腾讯的面试试题,去这几个公司面试的同学可以先学习下
与国家旅游局、中国旅游研究院、中国电信、BAT合作,丰富旅游大数据产品体系;中国联通为港中旅、中国国旅、中青旅、携程、同程、途牛等旅游企业提供信息化服务;中国联通作为智慧城市的技术使能者,承担着建设智慧...
大数据这么火,但是从业人员也多啊,需要好好琢磨一下,充分准备。把这份题目分享出来,给面试的程序员参考用。就设为最低分值吧,大家拿去。 题目示例如下: 15、MapReduce 中排序发生在哪几个阶段?这些排序是否...
目前来看,许多企业在大数据产业链里仅拥有一项或两项能力是完全不够的,只有 将大数据产业链融合连通才能催生更大的市场和利润空间。在大数据推动的商业革命浪 潮中,只有打通数据流通变现的商业模式,才能创造...
掘金大数据 作者:王晶 赵娜 来源:《齐鲁周刊》2017年第23期 无论是站在大数据前台的物流企业、电商企业、BAT、运营商等,还是关注大数 据发展的基础信息化业务的上市公司群体,"重仓"大数据的当前均在为未来布局,...
大数据工作面试练习题 2018最新BAT大数据面试题 Hadoop、kafka、HDFS、Spark、MapReduce 【内容大纲-共25道题目】 1、kafka的message包括哪些信息? 3 2、怎么查看kafka的offset? 3 3、hadoop的shuffle过程是? 3 ...
百度、阿里、腾讯是如何承载PB级别大数据的02数据库基本架构与日志的作用
bat 最基础的东西,看看就懂了。bat 最基础的东西,看看就懂了。bat 最基础的东西,看看就懂了。bat 最基础的东西,看看就懂了。bat 最基础的东西,看看就懂了。bat 最基础的东西,看看就懂了。
bat后台执行bat后台执行bat后台执行bat后台执行bat后台执行
大数据的典型行业应用包括:电力、交通、环保、银行、电信等,互联网厂商是大数据时代的先锋,也是DT时代最大的玩家,其中,各方面都处于领先地位的毋庸质疑是BAT三家。
bat脚本从FTP下载文件的方式(下载实践的完整实例)
bat文件在程序里面到时把它拷贝到D盘 bat是关机程序哦