数据采集方案有几种,数据采集方法主要有哪些

编辑导读：数据采集是大数据的基石，用户在使用App、微信小程序等各种线上应用产生的行为，只有通过埋点才能进行采集。本文针对常见的埋点方案进行优劣势对比，并给出选型建议，希望对你有帮助。

数据采集是大数据的基石，用户在使用App、微信小程序等各种线上应用产生的行为，只有通过埋点才能进行采集。没有埋点，数据分析决策、数据化运营都是无源之水，巧妇难为无米之炊。但很多时候，“埋点”两个字却成了C端产品经理、数据产品、数据分析、数据开发等很多人不愿提及的痛。

曾遇到过，C端产品要出某一新上线功能的数据效果作工作汇报，找到数据分析或数据产品经理，数据同学问”你埋点了么?”，C端PM一脸懵逼，“埋点不是数据团队做的事情么?”。

在数据化运营时代，要做用户行为数据分析，都需要了解埋点的流程以及常见的几种埋点方案的特点与应用场景。

微信指数中，埋点的搜索热度甚至超过了数据分析，主要原因也是用户行为的数据分析必须要依赖于埋点的数据采集。埋点对于产品运营的主要作用包括：

1. 产品优化分析

粗放式运营时代，产品数据分析主要以宏观的DAU、MAU、订单数、营收等宏观指标为主。只要能了解业务整体的经营状况就差不多了。而精细化运营时代，每一次产品的改版，每一个页面按钮的使用情况，都需进行数据效果的分析。例如，通过漏斗分析，发现业务主路径用户流失的主要节点，针对流失严重的步骤，进行产品或运营策略的优化。

2. 洞察用户行为

通过对每个页面或页面元素的埋点，将用户的行为路径串联起来，可以清晰的洞察用户在产品内的行为路径。对于有多业务板块、多流量入口的业务，用户进站后的行为路径复杂多样，通过对用户浏览轨迹的统计分析，发现不同用户群体的使用路径，从而针对不同的路径设定差异化的产品策略。

3. 用户分群与精细化运营

根据用户属性、用户行为事件，实现用户的精细化分层能力，进一步对不同用户群体进行个性化的运营触达。例如，对浏览商品详情页多次，但却未下单的用户，推送促销红包，刺激转化。

4. 渠道策略优化

通过App的启动埋点，记录用户下载激活的渠道，通过站内的行为及转化数据，与站外广告投放归因数据结合，分析渠道的流量规模、渠道用户的质量(留存、客单价、复购力等)，流量大、质量高的渠道扩大投放量，反之则减少投入，提升营销的ROI。

在用户行为分析数据埋点中，最常用的模型是事件模型，该包括事件(Event)和用户(User)两个核心实体，同时还需要配合内容(Item)实体，才能做更多维度的分析。

1. 事件(event)

每一次浏览、页面按钮/元素的点击都是一个事件，管理事件时通常按照用户的行为路径以及业务流程，对事件进行分类管理，例如分为浏览事件、点击事件、以及系统事件等类别。

一次事件完整的数据结构构成如下：在什么时候，什么位置，做了哪些事情，使用产品为了达到什么目标，他是如何使用的等问题。在埋点开发时，要有能够标识唯一事件的ID标识、事件描述信息、以及事件的属性信息，事件的属性主要包括用户属性和内容属性。

2. 用户(User)属性

每一次事件对应一个独立的用户实体，用户的画像(profile)信息构成了事件最重要的属性信息，例如用户的设备属性、地域属性、性别、年龄等

3. 内容(Item)属性

事件的操作实体一般是内容或内容的集合，例如浏览某一页面，或某个商品，在埋点统计时，需要记录页面(page)、区块位置(Block)、元素(item)。

4. 埋点需求怎么提

例如，团购App新上线了金刚位，来进行不同业务品类的流量分发。金刚位内容可能不同用户看到的是不一样的，在实际分析时，平台运营侧，偏重于按照位置分析，看哪一个位置的点击效果好，而品类运营则会聚焦于内容哪一个品类的转化更好。埋点需求的关键要素包括：

• 事件名：点击金刚位
• 事件ID:clickjingangwei
• 事件类型：click
• 页面:首页homepage
• 区域：金刚区
• 元素：item位置、item内容
• 平台：微信小程序、APP(android、iOS)、PC
• 应用版本：8.0.1
• 用户属性：城市、设备机型等SDK可以采集的通用属性

以上仅做示例，实际上，每个公司的埋点模型定义的字段是不一样的，对于可以SDK默认收集的字段不需要提需求，仅对可以明确定义唯一事件的内容进行说明即可。

1. 代码埋点

代码埋点是最早的埋点方式，根据业务的分析需求，将埋点的采集代码加入到应用端。按照埋点实施方，又分为前端(客户端)埋点和后端(服务端)埋点两种类型。

1）客户端埋点

由前端开发手动定义数据采集时机、内容等将数据采集的代码代码段加入到前端业务代码中，当用户在前端产生对应行为时，触发数据采集代码。

优点：

• 按需埋点，采集数据更全面，几乎可覆盖所有数据采集场景
• 行为数据和业务数据可充分联合分析

缺点：

• 延迟上报，数据丢失率高(5%-10%)
• 需要客户端发版，用户端更新App
• 埋点开发工作量大
• 埋点流程需要多方协作，容易漏埋、错埋

适用场景：

全面分析用户在客户端的操作行为，对于一些电商交易类的产品，需要把行为和业务数据充分结合分析

2）服务端埋点

由服务端开发将埋点采集代码加入到后端服务请求中，当用户前端操作请求服务端数据时，按照约定规则触发埋点代码

优点

• 按需埋点，采集数据更全面，几乎可覆盖所有数据采集场景
• 行为数据和业务数据可充分联合分析
• 数据采集实时上报，准确性高，丢失率低
• 服务端更新，不需要客户端发版或用户更新版本

缺点

• 纯前端操作不触发服务请求的按钮点击无法采集数据
• 埋点开发工作量大
• 埋点流程需要多方协作，容易漏埋、错埋

适用场景：

对于一些非点击、不可见的行为，或者要获取用户身份信息、更多的业务相关的属性信息。如果前后端都可以采集到，优先后端埋点

2. 全埋点

全埋点也有称之为无埋点或无痕埋点的，主要是将埋点采集代码封装成标准的SDK，应用端接入后，按照SDK的采集规则自动化地进行数据采集和上报

优点：

• 接入SDK后，可自动采集数据，无需按需开发，节省开发成本
• 页面可见元素均可自动采集，数据更全面
• 埋点流程简单，业务使用埋点系统自助定义事件，新增埋点需求无需业务开发参与

缺点

• 动态页面或页面不可见行为数据无法采集
• 和业务强相关的属性信息采集困难
• 数据全部采集，数据存储压力大

适用场景：

业务场景简单，如工具、应用类的产品，或者业务发展初期，产品快速迭代需求比精细化分析优先级更高，只需要分析简单的PV、UV

3. 可视化埋点

默认不采集数据，当数据分析人员通过设备连接用户行为分析工具的数据接入管理界面，在页面可视化定义需要采集的位点后下发采集请求，采集代码生效

优点：

• 默认不上报数据，可视化圈选才按需触发埋点，节约存储和传输成本
• 业务可视化圈选，埋点操作简单方便

缺点

• 数据只在埋点圈选定义之后才有，历史数据无法回溯
• 只能覆盖基本的点击、展示等用户行为，和业务强相关的属性信息采集困难

适用场景：

业务场景简单，如工具、应用类的产品，或者业务发展初期，产品快速迭代需求比精细化分析优先级更高，只需要分析简单的PV、UV

从几种埋点方案的对比可以发现，没有一种方案是可以完美解决所有问题的。因此在实际选择时，要结合业务形态(强交易流程类的还是内容娱乐消费类)、企业发展阶段(发展初期，产品迭代需求强于全面的精细化分析需求)多个方面因素综合考虑。

目前最常用的方案是代码埋点 全埋点组合使用。即用全埋点统计App(小程序)内用户基础的行为事件的PV/UV等数据，用代码埋点补充全埋点无法覆盖的场景，最终实现全面的精细化用户行为分析。在数据产品方面，配套的需要有埋点管理系统的支持，将埋点工作流转、埋点信息管理平台化。

#专栏作家#

数据干饭人，微信号公众号：数据干饭人，人人都是产品经理专栏作家。专注数据中台产品领域，覆盖开发套件，数据资产与数据治理，BI与数据可视化，精准营销平台等数据产品。擅长大数据解决方案规划与产品方案设计。

本文原创发布于人人都是产品经理，未经作者许可，禁止转载。

题图来自Unsplash，基于CC0协议