sqoop导入数据脚本

2019-01-02 14:18:42来源:作者:人点击

分享
sqoop export /-D mapred.job.queue.name=hive_user /--connect jdbc:mysql://${host}:${port}/${db} /--username ${username} /--password ${password} /--table ${table_name} /--export-dir ${hdfsdir}/dt=${dt}  /--update-key STUDENT_ID /--columns STUDENT_ID,STUDENT_NAME,ADDRESS,CREATE_DATETIME,UPDATE_DATETIME /--update-mode allowinsert /-m 1 /--verbose /--fields-terminated-by '/t'

 

以上脚本实现了从Hive中往MySQL对于一张学生信息表的更新。

  1. 由于MySQL表里有自增列ID,而Hive中没有,所以需要在输入参数columns指定所有的列。
  2. 由于MySQL表里有唯一键,所以在输入参数update-key指定更新键名称STUDENT_ID
  3. Hive和MySQL列名类型和名称应当一致或者符合对应关系,比如Hive的timestamp对应datetime。
  4. 更新模式使用--update-mode allowinsert。默认为onlyupdate

 

shellmysqlhivesqoop

相关文章

    无相关信息

微信扫一扫

第七城市微信公众平台