麻豆小视频在线观看_中文黄色一级片_久久久成人精品_成片免费观看视频大全_午夜精品久久久久久久99热浪潮_成人一区二区三区四区

首頁 > 學院 > 開發設計 > 正文

SparkSQL中DataFrame Operations操作(select、filter、groupBy、count)

2019-11-06 06:08:41
字體:
來源:轉載
供稿:網友

注意:此處用的spark version 1.6.0,版本不同,SparkSQL寫代碼時不太一樣,比如要查詢所有用戶,并且使每一位用戶年齡增加1.

spark 2.1.0寫法為:

df.select($"name", $"age" + 1).show()spark 1.6.0寫法為:
df.select(df("name"),df("age")+1).show()

1.創建DataFrame

val df = new SQLContext(sc).read.json("E://spark-2.1.0//spark-2.1.0//examples//src//main//resources//people.json")

2.查看DataFrame內容

df.show()

結果如圖所示:

3.查看Schema

df.PRintSchema()

4.Select操作

4.1 只查看姓名

df.select("name").show()

4.2 查看所有姓名、年齡

df.select("name","age").show()

4.3 查看所有姓名,同時使每個人年齡增加1

df.select(df("name"),df("age")+1).show() 

注意:不能寫成這樣:

df.select("name","age"+1).show()否則會報如下錯誤:
Exception in thread "main" org.apache.spark.sql.AnalysisException: cannot resolve 'age1' given input columns age, name;

5.Filter操作

查詢年齡大于21的用戶

df.filter(df("age")>21).show()

6.GroupBy操作

按年齡分組查看用戶

df.groupBy("age").count().show()

7.完整代碼

/**  * Created by RiverCode on 2017/3/6.  */object SparkSQLExample {  def main(args: Array[String]) {    val sparkConf = new SparkConf().setMaster("local").setAppName("spark SQL basic example")    val sc = new SparkContext(sparkConf)    val sqlContext = new SQLContext(sc)    val df = new SQLContext(sc).read.json("E://spark-2.1.0//spark-2.1.0//examples//src//main//resources//people.json")    df.show()    df.printSchema()    df.select("name").show()    df.select("name","age").show() // 可以//  df.select("name","age"+1).show() // 不可以cannot resolve 'age1' given input columns age, name;//  df.select($"name",$"age"+1)  // spark 2.1.0 這樣寫    df.select(df("name"),df("age")+1).show()  // spark 1.6.3    df.filter(df("age")>21).show()    df.groupBy("age").count().show()     }}

8.相關文章鏈接

Spark中DataFrame的schema講解:spark中DataFrame的schema講解

http://blog.csdn.net/rivercode/article/details/60604327

spark創建DataFrame:spark創建DataFrame

http://blog.csdn.net/rivercode/article/details/60596079


發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板: 欧美日韩一 | freexxxhd喷水 | 久久久久免费精品国产小说色大师 | 亚洲小视频在线 | 国产精品久久久久久婷婷天堂 | 日本在线播放一区二区 | 欧美亚洲国产日韩 | 91成人在线免费 | 国产一区二区三区视频在线 | 欧美成人精品一区二区男人小说 | 欧美成人午夜一区二区三区 | hd欧美free性xxxx护土 | 久久国产精品二国产精品中国洋人 | 5xsq在线视频 | 欧美日韩成人一区二区 | 国产成年人网站 | 国产精品久久久久久久久久电影 | 一级黄色电影网站 | 成人国产在线视频 | 亚洲第九十九页 | 青青国产在线视频 | 黄色伊人网站 | 婷婷一区二区三区 | 久久免费视频精品 | 国产欧美精品一区二区三区四区 | 亚洲网在线 | av电影网站在线 | 黄色av网站在线观看 | 日韩美香港a一级毛片 | 国产麻豆交换夫妇 | 91精品国产91 | 成人羞羞在线观看网站 | 黄网站免费观看视频 | 国产一区二区三区视频在线观看 | 国产精品久久久久av | 亚洲国产美女视频 | 渔夫荒淫艳史 | 久久久av亚洲男天堂 | 国产资源在线免费观看 | 精品一区二区三区中文字幕老牛 | 国产91丝袜在线播放 |