如何构建用户画像系统？看这一篇就够了！（建议收藏）.doc

现在大数据火热，所在公司想搭建画像系统，但自己对用户画像没有概念，对画像系统是怎样的架构，有哪些常见的功能等事项全然不知。解决问题需要一步一步来，想掌握画像体系可以先了解标签体系、OneID体系等基础内容。然后来细读各个大厂的画像系统是如何搭建的，如微博、百度地图、京东数科、腾讯、阿里等巨头公司的画像系统，正所谓“求其上者得其中，求其中者得其下”。取上再结合实际，才为正道。当然，此项梳理并不轻松，需耗费大量精力。接下来会按如下结构展开：1.V1.0：画像初级版，为画像系统雏形，选取了2015-2017年早期的画像版本，彼时部分公司的画像系统刚刚起步，各方面功能还未探索清楚，如百度地图画像系统、微博画像系统；2.V2.0：画像标准版，其基础功能完善，有了一定的分析能力，如神策画像系统、京东数科画像系统；3.V3.0：画像营销版，其进化为营销工具，助力业务增长，如腾讯广点通DMP、阿里达摩盘DMP；一、V1.0：画像初级版画像初级版，选取了2015年早期的画像版本，彼时部分公司的画像系统刚刚起步，各方面功能还未探索清楚。例如，百度地图的渠道画像系统的整体设计是，在数据分析/报表系统的基础上加上一些基础的画像元素，如性别、年龄、行业、所在城市等标签数据。此阶段发力于对各业务进行数据分析，如建设了dashboard、自定义报表、订阅，类似BI平台，但缺乏标签体系建设、缺乏洞察等模块，各个画像的功能做的比较浅。再到微博画像系统这，已经形成了画像基本形态，从数据采集、数据清洗，标签生成，到单用户画像、分群用户画像、API接口提供等。其功能模块相对来看较为完整，但洞察能力、标签体系建设能力还需继续增强。01、百度地图画像系统据相关资料报道，17年时，百度地图的市场占有率在45%-50%之间，未能覆盖全量用户，获取用户数据信息受到限制。因此，百度地图与华为、OPPO、vivo、小米、魅族等TOP手机厂商进行深度合作，允许其手机系统调用百度地图的LBS基础功能，从而换区数据共享的资源，用户画像系统在这个背景下产生。而此用户画像系统在预算评估、投放效果分析、经费节约、用户实施监测等方面提供有力数据支持。1.系统架构系统的整体架构包含：1.数据层：数据采集、数据清洗、数据库搭建、数据合成2.管理层：管理模块和个人中心a.管理模块：角色管理、用户权限管理、报表增删改查管理b.个人中心模块：登录设置、浏览设置、dashboard自定义设置3.展现层：导航模块和浏览模块a.导航模块：用户自行选择需求报表b.浏览模块：用户选择查看维度，自定义dashboard展示4.拓展层：a.收藏模块：用户通过点击收藏，对关注频率较高的页面进行收藏，方便在众多报表中快速找到自己关注的报表。b.邮件设置模块：用户选择关注的核心数据，每日定期将所选择的数据以报表形式发送至指定邮箱c.异常预警模块：主要面向管理员，对报表和数值设定阈值，当数值超过阈值时通过邮件等形式通知管理员，以便及时发现数据异常情况d.导出模块：Excel原始数据导出、图表导出2.产品功能如下图所示，渠道画像平台根据其面向的用户群的需求及特征可划分为，前装渠道、后装商店、厂商品牌、前后装对比等业务类模块。而每个渠道下，可进一步分析渠道质量、基础画像、用户行为。基础画像包含个人属性类数据，如性别分布、年龄分布、教育层次分布、消费水平分布等。通过城市用户分布热力图，可以直观了解各城市用户数量分布。02、微博画像系统微博画像系统基于微博的大数据，对微博全体用户进行刻画，可对每类用户进行数据分析。微博的用画像系统主要包含数据爬取模块、单个画像模块、批量画像模块、查询接口模块。1.数据爬取模块数据爬取模块主要是做数据采集和数据清洗，采集用户在开发者平台上填写的资料信息，进行接口调用品类的限制，并保持最新的用户数据，对数据进行清洗，提供用户基础信息及用户关系链的接口，方便各个系统进行调用。2.单个用户画像模块单画像模块主要分为标签生成、用户行为分析、关系链分析。a.标签生成标签生成模块顾名思义，主要功能是通过对数据的分析给用户打标签，即用户画像。标签主要分为三类，一是安全标签，二是聚类标签，三是统计标签。安全标签：描述账号是否异常，依据事先制定好的安全策略，分析异常概览。一是分析黑色产业链的整个流程，分析用户账号被盗之后的特点；二是分析用户的历史行为，来判断目前的用户行为异常的可能性。聚类标签：对聚类算法的结果进行分析和解释后得出的结论，主要使用的是K-mean聚类算法。统计标签：将各个指标进行统计分析之后，根据用户的分布，得出统计类标签。索隆：可见这是早期的标签体系，但从标签分类来看，缺乏清晰的分类逻辑。b.用户行为分析通过在一段时间内，观察用户行为的变化，进行用户状态的判断和未来行为预测。如用户登录时长、关注数、粉丝数、微博数、收藏数等指标。c.关系链分析用户的关系链可以很好的描述一个人，因此关系链分析也是画像的重点。此处主要分析用户好友的年龄，城市以及好友的关注数等指标。3.批量用户画像批量用户画像主要分为文件上传、结果统计及展示模块。a.文件上传文件上传模块，支持用户将需要分析的用户ID写在一个txt文件中，通过前端页面传到后台进行分析。文件中的每个用户ID使用换行分隔符隔开，原则上每个文件的大小不超过10M。b.数据统计及展示批量用户画像和单个画像的主要区别是，单个画像只需要描述单个用户，而批量画像则需要对多个用户信息进行统计分析。数据统计及展示模块主要使用highcharts实现，使用柱状图、饼状图、散点图进行数据可视化。独立分析指标：性别、关注数、粉丝数、微博数、收藏数联合分析指标：粉丝数、微博数、收藏数；关注数、微博数、收藏数；关注数、粉丝数、收藏数；关注数、粉丝数、微博数；c.查询接口接口模块同样是画像系统上十分重要，画像系统上创建的分群，可以以接口的形式供各业务系统调用。03、小结此处案例中的百度渠道画像系统还较为传统，在走BI的路子，相对来说微博画像系统已经更近一步有了单用户画像、分群画像、标签管理、接口等标准画像模块，不过标签体系和用户洞察做得不够深入。那接下来看看画像V2.0会有哪些进化。二、V2.0：画像标准版第二阶段的画像系统功能较为完备，初步实现为业务赋能，如神策画像系统、京东数科画像系统、腾讯广点通。1.京东数科画像系统，标准画像系统，提供较为标准的画像功能，包含标签市场、人群画像、人群管理、接口服务、标签管理等，可以将用户分群服务于其他各个业务系统。2.神策画像系统，分析类画像系统，则基于神策的数据分析基因进行用户分群、画像洞察相关的拓展，本质上是一个数据分析工具，其分析能力可进行借鉴。01、京东数科画像系统京东数科画像系统：提供基于用户标签、人群画像的统一数据开发与应用服务。辅助基于业务主体的营销、分析、识别、价值变现等目标场景的实现和服务拓展。1.标签市场标签列表中展示所有标签，对制定标签查看标签信息、标签值分布及标签的各项指标统计。2.人群画像/洞察支持对人群进行人群数量计算、基础画像分析、自定义画像分析，并分析两个人群之间的交叉情况、分析人群与其他标签关系。3.人群管理人群管理支持多种方式创建人群，并支持人群的信息设置，规则修改，保存后的人群可进行人群画像等操作。4.接口服务管理员可以在“权限管理”中管理用户的系统角色、标签使用权限；管理系统对接标签、任期内接口的权限。5.标签管理数据开发和管理员拥有标签管理的权限，进入页面后，可以查看对应标签的状态和信息，并且对标签进行“测试、下线、修改、删除”等操作。02、神策画像系统神策用户画像系统，是针对企业级客户推出的用户数据分析平台，提供探索用户特征及画像能力，完成对用户的识别、聚类和细分，并通过历史特征变化，查看用户全生命周期的演变过程，主要功能包含特征标签的加工生产，用户特征及画像分析，用户分群管理。1.用户标签管理a.创建标签用户创建标签的过程中，按符合用户的行为习惯的方式来进行创建即可。填写标签名称，设置清楚标签条件, 同时，创建标签需要提供标签的基础信息，主要包含：标签的显示名、标签名称、标签的分组、更新方式和备注等。b.管理用户标签支持标签的启用、停止、删除、重算、历史回溯、标签计算规则查看，标签的数据可视化呈现。2.用户分群管理a.创建用户分群支持按规则创建分群，或者是通过文件上传的方式创建分群。b.管理用户分群3.用户洞察分析a.单用户画像查看单个用户画像信息时，可以看到该用户全部属性，相当于一个人的个人简历，直扑眼前。b.群体用户画像通过选择对照组，可进行两个群组用户的画像特征对照分析。对照组默认为无，可选择用户分群或用户分群任一版本进行对照分析。查看TGI，TGI（目标用户群体指数）=目标用户群中某一特征的总用户数在总用户的占比/全量用户中具有该特征的总用户数在全量用户总用户数的占比*标准数100并且通过选择用户群画像模板，可直接将管理员预先设置的画像信息快速加载到画像分析结果中，同时可自行在其基础上进行画像信息的添加或删除。c.相似人群扩散通过智能算法，寻找与种子人群特征相似的【相似用户群】，针对相似用户群，可以进行针对性的运营策略。其中种子人群，可分为正向种子人群，即预测人群的结果是与正向种子人群相似的；负向种子人群，预测的人群的结果是与负向种子人群相悖的。4.系统设置包含单用户画像、群体用户画像、相似人群画像模板管理、功能权限及数据权限配置等功能。03、小结第二阶段的画像系统功能已趋近完善，标签体系已开始单独建设与管理，分析洞察能力也在不断加强，具备画像标准版功能。但当前阶段与业务的关系结合的还不够紧密，要想发挥出标签的业务价值，还需进一步强化与业务方的关系。三、V3.0：画像营销版到画像3.0，画像系统更像是一个营销工具，除了拥有完备的画像基础能力外，还能更贴近业务的进行营销洞察，个人觉得更符合营销版的是阿里的达摩盘。1.腾讯广点通DMP，广告类画像系统，是腾讯推出的数据管理平台，主要应用于智能广告投放，提供标签市场、用户分群、分群洞察等能力。2.阿里达摩盘DMP，营销类画像系统，是阿里妈妈推出的数据管理平台，提供标签市场、用户分群、分群洞察、营销学院等能力。01、腾讯DMP腾讯DMP数据管理平台是广告主实现自身数据增值的重要工具，能帮助广告主管理自己在腾讯系中的人群，更灵活地将第一方数据用于广告投放，以及再营销、动态商品广告、转化统计等应用。广告主也可以使用关键词、 LBS 等数据标签创建自己的目标受众。DMP 的Lookalike人群拓展功能，还能帮忙广告主在腾讯用户体系中寻找可能的新用户。1.数据接入用户会在网站、应用等场景发生一些行为，如浏览商品、收藏内容、完成关卡等。接入行为数据帮助了解用户在其网站或应用中采取的操作，继而利用这些数据进行广告营销活动。人群提取：广告主可根据其上传的用户行为数据，提取出符合特定条件的用户人群，用于广告定向等。假如广告主上报了一条“某用户某时刻在某应用内购买了价格300元的女装”的行为数据，那么，广告主可以在DMP中创建一个“最近7天，在应用内发生购买行为，商品类型是女装，商品价格>200”的行为人群。转化统计：广告主可把其上传的用户行为数据与广告进行关联，从而统计广告的转化效果。2.人群管理a.创建人群根据用户的需要，将人群按照不同的方式提取或划分，创建成不同性质的人群。人群分类又可分为自定义人群、拓展人群、组合人群三大类，下述划分几个小类。例如，客户文件，指客户将想要用于广告投放的用户ID以文件的形式上传。创建要求：当客户存在目标用户的QQ号、手机号、IDFA、cookie、MAC地址等信息时，方可创建人群。应用场景：可以将想要用于管理的用户ID等信息，以TXT文件或压缩包的形式上传到DMP，创建成功后即在DMP对这些用户进行拓展、组合、洞察分析和广告投放等。例如：某美妆品牌上传了注册会员的人群，对此人群定向投放品牌周年庆折扣活动的广告，大大提升了销售量和会员回购率；当用于智能拓展时，高质量的一手数据包，创建的种子人群能进行拓展，得到海量精准定位的潜在用户。支持的数据类型：b.人群管理用户在人群管理页面进行筛徐、编辑、授权、删除等操作。操作：点击下拉菜单，可对人群进行智能拓展、洞察分析、授权、删除等操作人群编辑：点击人群名称，进入详情页，可对人群名称和描述进行编辑，并查看该人群的具体信息、创建时间、来源和操作记录等信息搜索：按照人群名称或ID来搜索人群，随着输入人群会自动过滤删除：删除不需要的人群，释放人群配额，定期删除人群也更便于人群管理。例如：对于一些测试的人群，可将其删除。3.洞察分析每个人群的创建都是在一定条件下进行，有频繁与某些广告互动的人群，也有特定地点位置变动的人群，或者是客户提供的第一份数据创建的群等，洞察分析可以帮助客户更加细致全面的了解人群的属性、兴趣分类、关注点及地域特点等特征分布情况，这些特征可以用于优化广告创意，指导营销策略，为进一步制定投放提供参考依据。客户对人群的洞察越清晰，就越能准确的传达出品牌的产品信息、提高投放效率。例如：用户通过洞察分析得出，人群中男性占比较高，兴趣爱好属体育健康类居多，可根据这些信息修改出更符合用户特征的广告创意，投放时可筛选女性用品等可能导致低点击转化类别的广告，使得广告投放更具有针对性。并可导出生成报表。进行数据下钻，查看更深层次的洞察数据：4.标签广场标签广场包含两个模块：标签专区和热点人群。其中标签专区包含标签地图、专属推荐和行业推荐。标签地图：标签索引区，以树形结构展示所有定向标签。基础的人口学属性包含消费状态、生活方式和工作状态等几大类标签，点击标签可进入下一个页面查看具体的标签结构，进一步了解标签信息。为进一步提高操作效率，还有收藏夹的功能，用于存放用户感兴趣的标签，方便快速找到目标标签。当不知道选什么标签时，可查看专属推荐&行业推荐模块。临近双十一了，可以使用热点人群，热点人群是一个按营销场景推出的主题标签组合专区，会结合行业特征或节日主题，围绕一系列营销场景或时事话题进行组合。5.对接投放选择DMP中的人群，可对接至广告自助投放系统，进行广告投放。02、阿里达摩盘DMP达摩盘又称DMP，是阿里妈妈基于商业化场景打造的数据管理平台。商家通过达摩盘可以实现各类人群的洞察和分析，进行潜力客户的挖掘；通过标签市场快速圈定目标人群，建立个性化的用户细分和精准营销。不得不说，达摩盘的水很深，研究达摩盘的标签体系、系统后台、玩法几乎花了草帽小子2个月时间，越挖掘越有料，下边由草帽小子带你先从整体上了解达摩盘的系统构成。后续会出达摩盘标签体系、洞察、分群等各个模块的专题文章，感兴趣的朋友可以先关注公众号：一个数据人的自留地，进群交流。1.首页达摩盘首页主要包含店铺消费资产，可查看全部消费者、潜客、新客、老客的趋势；标签使用推荐、老客价值细分、店铺消费者流转等。2.洞察洞察模块主要包含人群画像分析、单品智能洞察圈人、店铺超级用户洞察圈人。例如当进行人群画像洞察时，需要选择对比的人群，对比不同人群的特征，如性别、年龄、行业、消费水平等数据的对比。3.标签随着越来越多商家拥有个性化人群运营诉求，围绕精细化人群定向中台定位，达摩盘基于大数据深度挖掘和分析，通过精细化人群赋能不同层级商家精准营销，满足商家在不同营销场景下的人群诉求，提升商家消费者运营效率。4.人群人群模块主要包含我创建的人群、合作方人群、第三方数据上传，可管理人群，支持按标签和人群组合创建分群，支持交并差各类组合创建分群。5.报表系统提供整体达摩盘人群投放效果概览，可自定义历史事件，查看整体投放效果，同时查案同行同层级投放平均数据，了解同行对比情况。查看不同渠道下，人群投放效果，查看投放趋势，同时提供基于广告曝光、达摩盘曝光、全店消费者三个维度下，提供人群流转分析，帮助商家全面评估人群构成。03、小结经过如上的对比可发现画像系统的功能大同小异，其核心在于其标签体系、洞察及营销应用能力。在建设时也可根据公司实际需要，从下至上进行建设。由于达摩盘功能甚多，此篇未做展开，下一篇会针对达摩盘进行剖析。