kettle使用笔记(hive,hbase性能测试篇)

2018-02-08 10:25:46来源:oschina作者:仔仔1993人点击

分享
注:老规矩不泄露公司信息

Mysql数据库连接


主机名或 IP 地址: xxxxx


端口: xxx


数据库:xxxxx


用户名: xxxxxx


保存密码:xxxxxx


6.1 mysql写入hive

(1)xxxx表


数据量:99万+


字段数:6


写入时间:3.7s


速度:26万+ 条/s


效果图见图6.1。



图6.1 xxxxxx表测试效果


(2)xxxx表


数据量:2116万+


字段数:6


写入时间:67s


速度:31万+ 条/s


效果图见图6.2。



图6.2 xxxxx表测试效果


(1)xxxx表


数据量:18439万+


字段数:6


写入时间:772s


速度:23万+ 条/s


效果图见图6.3。



图6.3xxxxx表测试效果

6.2 hive写到mysql(慢)

(1)xxxx表


取数流程:hive-hdfs-mysql


数据量:99万+


字段数:6


写入时间:42m59s


速度:386 条/s


效果图见图6.4。



图6.4 测试结果


6.3 mysql-hbase

(1) xxxxx表


数据量:32万+


字段数:64


写入时间:26m30s


速度:205 条/s


效果图见图6.5。



图6.5 测试效果


6.4 hbase-mysql

(1) xxxxxx表


数据量:32万+


字段数:64


写入时间:16m2s


速度:339 条/s


效果图见图6.6。



图6.6 测试效果


最新文章

123

最新摄影

微信扫一扫

第七城市微信公众平台