【SPARK】应用Spark(jdbc)从MySQL载入和储存数据

访客4年前关于黑客接单906

文中最开始思路来源于 ,可是,发觉 出示的源码太年纪大了,Spark官方网从1.4.0早已舍弃原先的方式(包括:createJDBCTable,insertIntoJDBC等 ),取代它的的是 sqlContext.read().jdbc()和sqlContext.write().jdbc()方式。

源码文件目录以下,今日关键表明前边2个:

父新项目pom,界定了同用部件slf4j,spark版本号1.5.1,mysql5.1.32等

依赖包,主要是spark-core和spark-sql,也有mysql驱动器:

看源码:

大家为了更好地载入数据便捷检测,必须一个json文档,相近下边:

读取文件时,users.json必须与jar包在同一文件目录下,检测选用当地运行 *** :

在其中,编码中的这方面mode(SaveMode.Append)要需注意,这一促使每一次载入的数据是提升到数据表格中。不然会一直提 示:Exception in thread "main" java.lang.RuntimeException: Table users already exists.

装包,提交spark运行:

結果便是下边那样了:保存数据后结果

依赖包与储存数据基本一致,不会再表明。

看源码:

载入MySQL数据,这方面最重要:

再复印出去:

Spark运行程序流程,留意--driver-class-path mysql-connector-java-5.1.32.jar主要参数,必须把mysql-connector初始化上:

正中间运行省去了,把結果輸出:

微信平台微信服务号:sectong

全文详细地址:

【数据可视化】Zeppelin JDBC 数据可视化(WEB *** )

phpMyAdmin 4.8.0公布 根据Web的MySQL可视化工具

怎样在CentOS 7上安裝和安全性配备MariaDB 10

【数据可视化】Zeppelin Interpreter MySQL 感受之行

MySQL安全性配备

相关文章

中国数学家的小故事(关于我国数学家的小故事3篇)

中国数学家的小故事(关于我国数学家的小故事3篇) 祖冲之 10岁豪言,不求升官发财,只求得知宇宙之奥秘。 祖冲之是我国南北朝时期的数学家、天文学家。祖冲之的数学著作《缀术》记载了很多数学计算...

玩彩票一天赚一两千,24小时找黑客帮忙,在吗找黑客

三、进犯方针 20x020200 电磁波和GFSK制式的底子原理 #root(hd0,0)1,一个站点的根节点下存在crossdomain.xml文件。 比方:www.freeb...

怎样才能查对方的通话记录

. 万年青对孕妇有影响吗 孕妇触碰万年青会有事吗。现在很多家庭都会在家里养一些绿色植物,一来可以净化空气二来看着心情也更加舒畅,但是如果家里有备孕的妈妈或者是孕妇那就要注意了,有些植物是不适合养在...

淘宝上如何找黑客 39,伪装电脑黑客网站

一、淘宝上如何 39怎么找黑客 1、找网站接单一个人对一个能在很长一段时间内创造有用的软件有很好的理解。淘宝上如何 39登录遭遇在这里,你不依靠你的统治来建立一个地位和名誉,而不是依靠美丽或其他人想要...

冬天冰箱调到几档最合适(冬天冰箱应该调节高档还是低档)

  冬天冰箱调到几挡最好(冬天冰箱应当调整高端還是低挡)在日常日常生活,家用冰箱早已慢慢变成每家每户日常生活不可或缺的一种电器产品,乃至有一些家中一年到头全是开了电冰箱。那麼,你了解家用冰箱上边的挡位...

一丈是多少米(古代的一丈是现在的多少米)

一丈是多少米(古代的一丈是现在的多少米)

    1丈≈3.33米。丈是在中国特有的测量单位,在我们的日常生活中几乎不常见到丈这个单位的出现,在古代使用的情况比较多。在不同的时期丈的进制不一样,比如在汉代时期1丈=2.31厘米,而在宋...