SparkRDD

环境配置 ​

使用java 1.8 作为SDK image.png

scala的版本设置为scala-sdk-2.12.18 image.png

使用scoop安装Spark-Hadoop3环境 image.png

maven设置 添加spark-core_2.12 image.png

代码创建 ​

首先在main/java下创建cn/dreambo/bigdata/spark/core/req目录存储项目文件 image.png|401

创建scala的object代码文件用于存储代码 image.png

代码具体 ​

连接spark image.png

从文件中读取数据 image.png

从actionRDD中统计点击数量 image.png

从actionRDD中统计下单数量 image.png

从actionRDD中统计支付数量 image.png

对统计的数量进行排序读取前十名 image.png

输出结果然后中断连接 image.png

结果展示 image.png

Flink部署
数据和处理的抽象