java项目中调用scala+spark+hive的环境依赖

2018-01-18 11:10:07来源:oschina作者:Sheav人点击

分享

本次例子主要是hisms系统中使用etl处理数据:


首先引入pom依赖:


jackson版本(spark1.6及以上版本版本需将Jackson 版本改为 2.4.4以上,否则报错:NoSuchMethodError: com.fasterxml.jackson.module.scala.deser.BigDecimalDeserializer):



com.fasterxml.jackson.core
jackson-annotations
2.7.4


com.fasterxml.jackson.core
jackson-core
2.7.4


com.fasterxml.jackson.core
jackson-databind
2.7.4


com.fasterxml.jackson.module
jackson-module-scala_2.10
2.7.4

spark相关依赖(需要加入org.codehaus.janino包):



org.scala-lang
scala-library
2.10.4


org.apache.spark
spark-core_2.10
2.2.0


org.apache.spark
spark-sql_2.10
2.2.0



org.codehaus.janino
janino


org.codehaus.janino
commons-compiler




org.codehaus.janino
commons-compiler
3.0.7


org.codehaus.janino
janino
3.0.7


org.apache.spark
spark-hive_2.10
2.2.0

再将hive所需的文件导入resources中:


core-site.xml hdfs-site.xml hive-site.xml

微信扫一扫

第七城市微信公众平台