1. 程式人生 > >pyspark 將rdd 存入mysql

pyspark 將rdd 存入mysql

簡單來說:將rdd存入mysql需要先將rdd轉為dataframe,然後將dataframe存入mysql

以下是例子
相關配置不做贅述
首先需要擁有一個rdd , 我的rdd長這個樣子
在這裡插入圖片描述

然後把rdd轉成dataframe

from pyspark.sql import Row
emp = rdd.map(lambda p : Row(url=p))
df = spark.createDataFrame(emp)

最後將dataframe存入mysql

url="jdbc:mysql://192.168.14.90:3306/hy88?user=spider&password=111111"
df.write.jdbc(url=url,mode="append",table="com_url",properties={"driver":"com.mysql.jdbc.Driver"})