【SPARK】应用Spark(jdbc)从MySQL载入和储存数据

访客4年前关于黑客接单884

文中最开始思路来源于 ,可是,发觉 出示的源码太年纪大了,Spark官方网从1.4.0早已舍弃原先的方式(包括:createJDBCTable,insertIntoJDBC等 ),取代它的的是 sqlContext.read().jdbc()和sqlContext.write().jdbc()方式。

源码文件目录以下,今日关键表明前边2个:

父新项目pom,界定了同用部件slf4j,spark版本号1.5.1,mysql5.1.32等

依赖包,主要是spark-core和spark-sql,也有mysql驱动器:

看源码:

大家为了更好地载入数据便捷检测,必须一个json文档,相近下边:

读取文件时,users.json必须与jar包在同一文件目录下,检测选用当地运行 *** :

在其中,编码中的这方面mode(SaveMode.Append)要需注意,这一促使每一次载入的数据是提升到数据表格中。不然会一直提 示:Exception in thread "main" java.lang.RuntimeException: Table users already exists.

装包,提交spark运行:

結果便是下边那样了:保存数据后结果

依赖包与储存数据基本一致,不会再表明。

看源码:

载入MySQL数据,这方面最重要:

再复印出去:

Spark运行程序流程,留意--driver-class-path mysql-connector-java-5.1.32.jar主要参数,必须把mysql-connector初始化上:

正中间运行省去了,把結果輸出:

微信平台微信服务号:sectong

全文详细地址:

【数据可视化】Zeppelin JDBC 数据可视化(WEB *** )

phpMyAdmin 4.8.0公布 根据Web的MySQL可视化工具

怎样在CentOS 7上安裝和安全性配备MariaDB 10

【数据可视化】Zeppelin Interpreter MySQL 感受之行

MySQL安全性配备

相关文章

谷歌的疯狂想法,让公司亏损了40亿

原题目《Google这些疯狂的想法,让公司亏损了40亿》,IT之家编写酌情考虑改动。 在高新科技圈里,“Moons...

马云说:京东将来会成为悲剧

 “京东将来会成为悲剧,这个悲剧是我第一天就提醒大家的,不是我比他强,而是方向性的问题,这是没办法的。你知道京东现在多少人吗?5万人!阿里巴巴是慢慢长起来的,现在才23000人。收购加起来是25000...

网上赚钱方法有哪些,分享网上赚钱的十种方法

网上赚钱方法有哪些,分享网上赚钱的十种方法

其实,网络赚钱,多数都是免费的。如果你也想利用网络赚钱,下面小编就以自己六年多的网上挣钱经验和大家谈谈。 在家上网赚钱,可以说已经很长时间了,只不过,这几年比较火而已。虽然很多人都在网络上赚到了...

怎么注销腾讯微博?注销详细步骤和方法

怎么注销腾讯微博?注销详细步骤和方法

一、注销微信账号 1.两周内不进行改密改绑等敏感操作 2.注销微信支付 ①零钱、理财通余额清零 ②解绑所有银行卡 ③还清微粒贷并关闭微粒贷 (关注微粒贷公众号,回复“关闭”) ④关闭收款...

冬天小孩手指脱皮是怎么回事(可能是4种常见的

冬天小孩手指脱皮是怎么回事(可能是4种常见的

手指脱皮一般都有季节性,多在春末及夏季炎热潮湿季节发生,常连续多年复发。除有轻微搔痒感外,其发病主要是由血虚血燥、皮肤失养、燥热生风所致,治宜养血润燥、疏风止痒。双手脱皮的常见原因有真菌感染引起的手癣...

育肥猪饲料的配方是什么(商品猪育肥后期4大饲料配方)

  商品猪养殖过程,我们主要分为5个阶段,分别是仔猪、小猪、育肥前期、育肥中期和育肥后期。而每个阶段猪所需蛋白含量都有区别,不过蛋白质只是一个参考,还有猪生长的必须米素:氨基酸、维生素、微量米素等。...