爬虫接入规范

爬虫接入规范

修订历史

日期

修改说明

部门

修改人

2018.06.12

大数据中心

李永波

数据接入需求

基于数据采集需求，初步判断数据的接入源是否从业务数据库中获取。

联系技术研发部同事，请求数据源接入的位置参数，通过配置化方式达到将数据从业务系统拉取、装载到数据仓库贴源层的目的。

数据接入流程

1.与爬虫组和平台组进行沟通，确定提供数据的方式（数据库、文件、接口等），让需求发起人补充详细的数据口径，补充到需求要求里面，指定数据仓库组或平台组的一个人进行转发。

2.数据仓库组或平台组根据需求描述。跟数据源提供方（可以是需求发起方、也可以是技术研发部门）沟通，让其补充模板里的位置参数。

3.数据源提供方根据模板要求，提供位置配置参数。

4.数据仓库组或平台组根据已经得到的位置参数、需求数据指标等信息，设计接入模型和抽取参数。

5.数据仓库组或平台组在接入数据后，整理数据格式，制定清洗转换规则，并补充装载目标表信息。

数据源接入模板

需求要求（仓库组补充）

tapd需求单号：1002513

提起人：陈炳贵(Richard.chen)

需求单号内容：

？？？

提供数据方式：

数据库、文件、接口

详细的数据口径：？？？

位置配置参数（平台部补充）

配置参数

参数取值

服务器地址

必填

数据库端口

必填

数据库名称

必填

用户名

必填

密码

必填

表名

必填，test1

必填，test2

取数口径（sql或者文字说明）

选填，单表部分字段、多表关联的请填写。

接入模型字段（仓库组补填）

字段名

注释

字段类型

源表字段

必填

必填

必填

必填

必填

必填

必填

必填

抽取参数（仓库组补填）

配置参数

参数取值

抽数周期

每天

抽数时间

7:00

增量标识

1：全量，2：增量

数据日期格式

增量数据，需要提供数据日期格式，可选如下。

时间戳

Yyyymmdd

Yyyy-mm-dd

清洗转换规则（仓库组补填）

由仓库组补充，不限于数据清洗过滤、字段编码转换、敏感信息转换、接入阀值设置等等。

装载目标表（仓库组补填）

配置参数

参数取值

stg层表名称

必填

stg层表描述

必填

ods层表名称

必填

ods层表描述

必填

取数位置（平台组组补充，仓库组验收）

密码等验证信息私下提供。

数据库方式：

数据库连接方式：

表名：

字段名

注释

字段类型

必填

必填

必填

必填

必填

必填

文件方式：

服务器位置：ip：port

文件位置：

接口方式：

接口URL：