11 | Spark计算数据文件中每行数值的平均值

需求：计算数据文件中的数值的平均值

背景：

• 你有一个数据文件，其中包含一系列数值，每行一个数值，数值之间用逗号分隔。
• 你想使用Apache Spark分布式计算框架来读取数据文件中的数值并计算它们的平均值。

功能要求：

1. 通过Spark配置和上下文初始化Spark应用程序。
2. 从数据文件中读取数值，并将每行文本表示为一个RDD。
3. 将文本行中的数值提取出来，以便进行数值计算。
4. 计算所有数值的平均值。
5. 打印计算得到的平均值。
6. 关闭Spark上下文以释放资源。

输入：

• 数据文件，其中包含逗号分隔的数值。

输出：

• 控制台打印出的平均值。

package com.bigdata;

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import java.text.DecimalFormat;

public class CalculateMeanForEachLineWithSpark {
    public static void main(String[] args) {
        SparkConf conf = new SparkConf()
                .setAppName("CalculateMeanForEachLineWithSpark")
                .se
1
2
3
4
5
6
7
8
9
10
11