数据导入与预处理——实验2

目录

 前言

实验内容

任务一解答

 任务二解答

 方法一

方法二

 结果展示

工程文件

---

 

 前言

（免责声明=-=）自己做的，所以可能会有问题，还望指出（改过后会实时更新），同样方法不止博主的一种，有很多，大家仁者见仁（博主自己的方法感觉有点笨重，博主正在尝试学习和找到更加好的方法，找到后会更新的，同时后面也会更新说一下每一步究竟干了啥），最后如果想要ktr工程文件的，私信博主，有问题的也同样可以私信，点个赞谢谢了。

对于任务二，采用了两种方法，主要是针对Taiwan这个地区字段的处理，方法一是将country下的Taiwan改为了China(Taiwan)，而方法二是将conntry下的Taiwan改为了China，将district改为了Taiwan，city顺次改下去。我建议大家用方法一就OK了，简单且没问题，方法二有点复杂且可能会有拆分错误。

实验内容

1.某公司需要将各地分公司的客户信息进行汇总，现在已经搜集到两个分公司的客户列表：

 customer_info_1.txt customer_info_2.txt

两个文件的格式一致，包含以下字段：

"customer_id"： 客户号

"first_name"： 客户名

"last_name"： 客户姓

"email"： 客户电邮地址

"postal_code"：客户邮编

"addressinfo"：客户地址 （地址格式：stree;district;city;country）

"phone"： 客户电话

"create_date"： 客户信息创建时间

"last_update"：客户信息最后修改时间

公司要求将两个分公司汇报的名单进行汇总到一个文件，新的客户信息文件的格式要求如下：

1.文件格式：

使用;(分号)对字段进行分隔，文件名为abc_customer_info.txt

注意：abc为你的姓名的拼音首字母，如zhangsan的文件名为：zs_customer_info.txt.

2.字段格式：

3.将客户基本信息(customer_id,full_name,email,phone)导入客户数据库表

4.地理信息（country,city,district）去重后导入xml，json格式文件

根据以上需求，完成以下任务：

任务一： 数据分析，列出数据字段问题描述

任务二：使用Kettle开发数据转换，完成数据导入、转换与导出

任务一解答：

 任务二解答：

 方法一：

（1）总体设计

 

  （2）步骤设计

2.1 文本文件输入

 2.2去除重复记录（有一条重复哦）

 2.3字符串操作

2.4拆分字段

 

 2.5字符串替换

 

 2.6合并字符串

 

 2.7文本文件输出

2.8数据库表输出

记得先启动你的mysql服务，这里和实验一中的导出数据库表类似，不清楚就去看实验一

 

 2.9去重操作

2.10xml output操作

 

 2.11jison output操作

 

方法二：

（1） 总体设计

 （2）步骤设计

2.1 文本文件输入

 2.2去除重复记录（有一条重复哦）

 2.3字符串操作

2.4拆分字段

2.5合并字段

 2.6字符串替换

 2.7拆分字段

2.8字段选择

 

2.9合并字段

2.10文本文件输出

2.11数据库表输出

记得先启动你的mysql服务，这里和实验一中的导出数据库表类似，不清楚就去看实验一

 

 2.12去重操作

2.13xml output操作

 

 2.14jison output操作

 3.结果展示

结果展示的是方法二的结果

 

工程文件

中意灬.ktr