注意:此處用的spark version 1.6.0,版本不同,SparkSQL寫代碼時不太一樣,比如要查詢所有用戶,并且使每一位用戶年齡增加1.
spark 2.1.0寫法為:
df.select($"name", $"age" + 1).show()spark 1.6.0寫法為:df.select(df("name"),df("age")+1).show()1.創建DataFrame
val df = new SQLContext(sc).read.json("E://spark-2.1.0//spark-2.1.0//examples//src//main//resources//people.json")2.查看DataFrame內容
df.show()結果如圖所示:
3.查看Schema
df.PRintSchema()
4.Select操作
4.1 只查看姓名
df.select("name").show()
4.2 查看所有姓名、年齡
df.select("name","age").show()4.3 查看所有姓名,同時使每個人年齡增加1
df.select(df("name"),df("age")+1).show()
注意:不能寫成這樣:
df.select("name","age"+1).show()否則會報如下錯誤:Exception in thread "main" org.apache.spark.sql.AnalysisException: cannot resolve 'age1' given input columns age, name;5.Filter操作
查詢年齡大于21的用戶
df.filter(df("age")>21).show()
6.GroupBy操作
按年齡分組查看用戶
df.groupBy("age").count().show()7.完整代碼
/** * Created by RiverCode on 2017/3/6. */object SparkSQLExample { def main(args: Array[String]) { val sparkConf = new SparkConf().setMaster("local").setAppName("spark SQL basic example") val sc = new SparkContext(sparkConf) val sqlContext = new SQLContext(sc) val df = new SQLContext(sc).read.json("E://spark-2.1.0//spark-2.1.0//examples//src//main//resources//people.json") df.show() df.printSchema() df.select("name").show() df.select("name","age").show() // 可以// df.select("name","age"+1).show() // 不可以cannot resolve 'age1' given input columns age, name;// df.select($"name",$"age"+1) // spark 2.1.0 這樣寫 df.select(df("name"),df("age")+1).show() // spark 1.6.3 df.filter(df("age")>21).show() df.groupBy("age").count().show() }}8.相關文章鏈接
Spark中DataFrame的schema講解:spark中DataFrame的schema講解
http://blog.csdn.net/rivercode/article/details/60604327
spark創建DataFrame:spark創建DataFrame
http://blog.csdn.net/rivercode/article/details/60596079
|
新聞熱點
疑難解答