设为首页收藏本站

绿色BI论坛商业智能大数据交流社区

 找回密码
 注册

QQ登录

只需一步,快速开始

查看: 121|回复: 0

华东解析|如何快速全面建立自己的大数据知识体系?

[复制链接]
发表于 2017-7-26 15:18:59 | 显示全部楼层 |阅读模式


很多人都看过不同类型的书,也接触过很多有关大数据方面的文章,但都是很零散不成系统,今天小编带大家从整体体系思路上,了解大数据产品设计架构和技术策略。

系统和体系思路

针对前端不同渠道进行数据埋点,然后根据不同渠道的采集多维数据,也就是做大数据的第一步,没有全量数据,何谈大数据分析;第二步,基于采集回来的多维度数据,对其各类数据进行结构化处理及加载;然后第三步,对于ETL处理后的标准化结构数据,建立数据存储管理子系统,归集到底层数据仓库,这一步很关键,基于数据仓库,对其内部数据分解成基础的同类数据集市;然后基于归集分解的不同数据集市,利用各类R函数包对其数据集进行数据建模和各类算法设计,里面算法是需要自己设计,个别算法可以用R函数,这个过程产品和运营参与最多;这一步做好了,也是很多公司用户画像系统的底层。最后根据建立的各类数据模型及算法,结合前端不同渠道不同业务特征,根据渠道触点自动匹配后端模型自动展现用户个性化产品和服务。

系统数据采集指标体系

建立数据采集分析指标体系是形成营销数据集市的基础,也是营销数据集市覆盖用户行为数据广度和深度的前提,数据采集分析体系要包含用户全活动行为触点数据,用户结构化相关数据及非结构化相关数据,根据数据分析指标体系才能归类汇总形成筛选用户条件的属性和属性值,也是发现新的营销事件的基础。

构建营销数据指标分析模型,完善升级数据指标采集,依托用户全流程行为触点,建立用户行为消费特征和个体属性,从用户行为分析、商业经营数据分析、营销数据分析三个维度,形成用户行为特征分析模型。用户维度数据指标是不同维度分析要素与用户全生命周期轨迹各触点的二维交叉得出。

用户为主建立数据采集维度

以用户为主线来建立数据采集指标维度:用户身份信息、用户社会生活信息、用户资产信息、用户行为偏好信息、用户购物偏好、用户价值、用户反馈、用户忠诚度等多个维度,依据建立的采集数据维度,可以细分到数据指标或数据属性项。

1、用户身份信息维度:性别,年龄,星座,居住城市,活跃区域,证件信息,学历,收入,健康等。

2、 用户社会生活信息维度:行业,职业,是否有孩子,孩子年龄,车辆,住房性质,通信情况,流量使用情况……

3、用户行为偏好信息:是否有网购行为,风险敏感度,价格敏感度,品牌敏感度,收益敏感度,产品偏好,渠道偏好……

4、用户购物偏好信息:品类偏好,产品偏好,购物频次,浏览偏好,营销广告喜好,购物时间偏好,单次购物最高金额……

5、用户反馈信息维度:用户参与的活动,参与的讨论,收藏的产品,购买过的商品,推荐过的产品,评论过的产品……


结构化处理及加载


数据补缺:对空数据、缺失数据进行数据补缺操作,无法处理的做标记。

数据替换:对无效数据进行数据的替换。

格式规范化:将源数据抽取的数据格式转换成为便于进入仓库处理的目标数据格式。

主外键约束:通过建立主外键约束,对非法数据进行数据替换或导出到错误文件重新处理。

数据合并:多用表关联实现(每个字段加索引,保证关联查询的效率)。

数据拆分:按一定规则进行数据拆分、行列互换、排序/修改序号、去除重复记录。

数据处理层从数据采集源读取业务数据,通过并行计算完成业务数据的处理逻辑,将数据筛选归并形成目标数据。

数据建模、用户画像及特征算法

提取与营销相关的客户、产品、服务数据,采用聚类分析和关联分析方法搭建数据模型,通过用户规则属性配置、规则模板配置、用户画像打标签,形成用户数据规则集,利用规则引擎实现营销推送和条件触发的实时营销推送,同步到前端渠道交互平台来执行营销规则,并将营销执行效果信息实时返回到大数据系统。

不同个性化行为

大数据系统结合客户营销系统在现有用户画像、用户属性打标签、客户和营销规则配置推送、同类型用户特性归集分库模型基础上,未来将逐步扩展机器深度学习功能,通过系统自动搜集分析前端用户实时变化数据,依据建设的机器深度学习函数模型,自动计算匹配用户需求的函数参数和对应规则,营销系统根据计算出的规则模型,实时自动推送高度匹配的营销活动和内容信息。

大数据系统在深度自学习外,未来将通过逐步开放合作理念,对接外部第三方平台,扩展客户数据范围和行为触点,尽可能覆盖用户线上线下全生命周期行为轨迹,掌握用户各行为触点数据,扩大客户数据集市和事件库,才能深层次挖掘客户全方位需求,结合机器自学习功能,从根本上提升产品销售能力和客户全方位体验感知。

文章来源于网络公开的关于大数据知识体系相关报道,由华东小编整理,版权归原创者所有,如有侵权请及时联系我们删除。



回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册

本版积分规则

关闭

站长推荐上一条 /1 下一条

手机版|使用帮助|绿色BI论坛商业智能大数据交流社区 ( 粤ICP备09215901号-2   

点击这里给我发消息

粤公网安备 44049102496016号

GMT+8, 2017-10-21 18:17 , Processed in 1.232403 second(s), 23 queries .

Powered by Discuz! X3.2

© 2001-2013 Comsenz Inc.

快速回复 返回顶部 返回列表