`

sparkJDBC mysql

 
阅读更多
import java.sql.DriverManager
import org.apache.spark.rdd.JdbcRDD
import java.util.Properties
import org.apache.spark.{ SparkContext, SparkConf }
import org.apache.spark.sql.Row
import org.apache.spark.sql.types.{ IntegerType, StringType, StructField, StructType }
import org.apache.spark.sql.DataFrame

object sparkJDBC {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("Simple Application").setMaster("local[*]")
    val sc = new SparkContext(conf)

    val url = "jdbc:mysql://localhost:3306/easyui"
    val MYSQL_CONNECTION_URL = url + "?user=" + "root" + "&password=";
    val sqlContext = new org.apache.spark.sql.SQLContext(sc)

    val usersDf = sqlContext.read.json("i:/4/users.txt")
    val sets = new Properties();
    sets.put("user", "root");
    sets.put("password", "");
    sets.put("driver", "com.mysql.jdbc.Driver");
    sets.put("overwrite", "false");
    val datas = sqlContext.read.jdbc(url, "zhao", "name", 1, 3, 1, sets)
    datas.foreach { v => println("name:" + v.get(0) + " age:" + v.get(1)) }

    usersDf.write.jdbc(url, "zhao", sets)
//    usersDf.insertIntoJDBC(MYSQL_CONNECTION_URL, "zhao", false);
//    usersDf.insertIntoJDBC(url, table, overwrite)
  }

}

 users.txt

{"name":"11","age":"12"}

 

分享到:
评论

相关推荐

    新版 MySQL DBA 高级视频 基于MySQL 5.7 MySQL 8.0版本.rar

    ├─新版MySQL DBA 课件ppt │ 第一课数据库介绍篇.pdf │ 第七课MySQL数据库设计.pdf │ 第三十一课percona-toolkits 的实战及自动化.pdf │ 第三课MySQL授权认证.pdf │ 第九课MySQL字符集.pdf │ 第二十一课MySQL...

    mysql数据库镜像安装包+教程(5.7版本)

    mysql5.7安装教程+mysql5.7镜像安装+mysql学习+mysql5.7镜像包 mysql5.7安装教程+mysql5.7镜像安装+mysql学习+mysql5.7镜像包 mysql5.7安装教程+mysql5.7镜像安装+mysql学习+mysql5.7镜像包 mysql5.7安装教程+mysql...

    mysql手册mysql手册mysql手册mysql手册mysql手册mysql手册mysql手册

    mysql手册mysql手册mysql手册mysql手册mysql手册mysql手册mysql手册mysql手册mysql手册mysql手册mysql手册mysql手册mysql手册mysql手册mysql手册mysql手册mysql手册mysql手册mysql手册mysql手册mysql手册mysql手册...

    mysql安装教程(保姆级)-mysql-8.0.32-winx64

    mysql安装教程(保姆级)---mysql-8.0.32-winx64 mysql安装教程(保姆级)---mysql-8.0.32-winx64 mysql安装教程(保姆级)---mysql-8.0.32-winx64 mysql安装教程(保姆级)---mysql-8.0.32-winx64 mysql安装教程...

    .Net/C#连接Mysql数据库Connector/Net MySql.Data.dll 8.20.0+6.9.12

    MySQL Connector/Net ...在项目中引用组件:MySql.Data.dll (记得复制到本地中选择为true / 或直接把MySql.Data.dll复制到debug文件夹下) 在代码中 using MySql.Data.MySqlClient; ......接下来这里就看你表演了。

    MySQL学生成绩管理系统设计实验报告

    MySQL学生成绩管理系统设计实验报告MySQL学生成绩管理系统设计实验报告MySQL学生成绩管理系统设计实验报告MySQL学生成绩管理系统设计实验报告MySQL学生成绩管理系统设计实验报告MySQL学生成绩管理系统设计实验报告...

    安装Mysql安装Mysql安装Mysql安装Mysql安装Mysql安装Mysql

    安装Mysql安装Mysql安装Mysql安装Mysql安装Mysql安装Mysql安装Mysql安装Mysql安装Mysql安装Mysql安装Mysql安装Mysql安装Mysql安装Mysql安装Mysql安装Mysql安装Mysql安装Mysql安装Mysql安装Mysql安装Mysql安装Mysql...

    MySql 5.1 参考手册.chm

    1.7.3. MySQL论坛上的MySQL社区支持 1.8. MySQL标准的兼容性 1.8.1. MySQL遵从的标准是什么 1.8.2. 选择SQL模式 1.8.3. 在ANSI模式下运行MySQL 1.8.4. MySQL对标准SQL的扩展 1.8.5. MySQL与标准SQL的差别 1.8.6. ...

    尚硅谷MySQL全套教程包含MySql核心技术篇和MySQL高级篇

    MYSQL教程 MYSQL教程MYSQL教程 MYSQL教程尚硅谷MySQL全套教程包含MySql核心技术篇和MySQL高级篇。数据库视频教程,全套视频教程。

    MySQL8中文参考手册 .chm

    MySQL参考手册。它的文件通过8.0.14 MySQL 8。它可以包括MySQL版本尚未发布功能的文档。关于哪个版本的信息已被释放,看到MySQL 8版本说明 MySQL集群是目前不在MySQL 8的支持。关于MySQL集群的信息,请参阅7.5、...

    MySQL中文参考手册.chm

    MySQL中文参考手册.chm 449kb <br/>0 译者序 1 MySQL的一般的信息 1.1 什么是MySQL? 1.2 关于本手册 1.2.1 本手册中使用的约定 1.3 MySQL的历史 1.4 MySQL的主要特征 1.5...

    win11安装mysql

    win11安装mysqlwin11安装mysqlwin11安装mysqlwin11安装mysqlwin11安装mysqlwin11安装mysqlwin11安装mysqlwin11安装mysqlwin11安装mysqlwin11安装mysqlwin11安装mysqlwin11安装mysqlwin11安装mysqlwin11安装mysqlwin...

    ASP.NET连接MYSQL的三种方法

     该组件为MYSQL为ADO.NET访问MYSQL数据库设计的.NET访问组件。  安装完成该组件后,引用命名空间MySql.Data.MySqlClient;  使用命令行编译时:csc /r:MySql.Data.dll test.cs 下载地址: ...

    C#连接MySQL需要的MySql.Data.dll,MySql.Web.dll

    C#连接MySQL需要的MySql.Data.dll,MySql.Web.dll,MySql.Data.dll,MySql.Web.dll是C#操作MySQL的驱动文件,是C#连接MySQL必要插件。

    MySQL Migration Toolkit 数据库转换工具

    MySQL Migration Toolkit 可以将任何数据源转换成mysql的数据,也可以将mysql的数据转换成其它类型的数据 MySQL Migration Toolkit 包括下列转换工具: Access-to-MySQL Access数据库转MySQL数据库 DBF-to-MySQL DBF...

    MySQL8中文参考手册 MySQL DBA必备

    MySQL参考手册。它的文件通过8.0.14 MySQL 8。它可以包括MySQL版本尚未发布功能的文档。关于哪个版本的信息已被释放,看到MySQL 8版本说明 MySQL集群是目前不在MySQL 8的支持。关于MySQL集群的信息,请参阅7.5、...

    linux下mysql的rpm安装包

    一、卸载原来的mysql: 卸载一: 输入: #rpm -qa | grep -i mysql 显示: mysql-libs-5.1.52-1.el6_0.1.i686 卸载方法: yum -y remove mysql-libs-5.1.52-1.el6_0.1.i686 卸载二: 输入: #rpm -qa | grep -i ...

    Mysql Helper 最好用的 MysqlHelper.cs (MySql.Data.dll)

    最好用的 MysqlHelper.cs,Mysql Helper 本人多次改进和调整,处理了MySql.Data.dll 中的多个bug导致的程序异常,执行快速,使用方便。【来自金花工具】

    mysql驱动jar 文件适用MySQL5.7

    mysql驱动jar 文件适用MySQL5.7,本人亲测可用适用ieda成功连接到数据库(mysql-connector-java-5.1.25.jar)

    学生信息管理系统(python+GUI+mysql).zip

    学生信息管理系统(python+GUI+mysql).zip,学生信息管理系统(python+GUI+mysql).zip,学生信息管理系统(python+GUI+mysql).zip 学生信息管理系统(python+GUI+mysql).zip,学生信息管理系统(python+GUI+mysql).zip,...

Global site tag (gtag.js) - Google Analytics