本地要先试一把批处理计算,Spark 官方怎么跑通 Quick Start?

本机想先跑通一把批处理计算,按 Spark 官方 Quick Start 把最小示例走一遍。不是完整数据平台教程,也不把集群部署、流式处理或机器学习一次铺开。

打开的总览页标题是 Overview - Spark 4.3.0 Documentation。正文写明 This documentation is for Spark version 4.3.0。它说明 Spark 可以在 Windows 和 UNIX-like 平台上运行,例如 Linux 和 Mac OS,前提是系统 PATH 里能找到 java,或 JAVA_HOME 指向一份已安装的 Java。页里列出的运行环境是 Java 17/21/25、Scala 2.13、Python 3.11+,以及已标记 Deprecated 的 R 4.0+。Spark 4.2.0 起把低于 25.0.3 的 Java 25 支持标成了 deprecated。自 Spark 4.0.0 起,调用 Scala API 时必须跟编译这份发行包所用的语言版本一致,也就是 2.13。这份总览把 Quick Start 写成对 API 的快速介绍,并标明 start here。发行包里还带了若干样本程序,Overview 给出的本机试法包括 ./bin/pyspark --master "local[2]"、./bin/spark-submit examples/src/main/python/pi.py 10,以及 ./bin/run-example SparkPi 10。

入门页的标题是 Quick Start - Spark 4.3.0 Documentation。要跟着做,先从项目网站下载一份打包好的发行版。文档写了:既然这次不用 HDFS,下载时选面向任一 Hadoop 版本的包都可以。Hadoop 本身不是这篇的主题,只是下载说明里的一句。教程会先在交互式 shell 里认识 API,语言可选 Python 或 Scala,然后再演示怎样写成独立应用。

页里还交代了 API 变迁:Spark 2.0 之前的主编程接口是 RDD,之后改成 Dataset——类型仍然明确,但底层优化更丰富。旧接口还在,细节见 RDD programming guide。文中强烈建议改用 Dataset,并指向 SQL 那份指南。

在解压后的目录里启动交互式环境,Python 用:

./bin/pyspark

若当前解释器里已经用 pip 装过 PySpark,也可以直接跑 pyspark。Scala 则是 ./bin/spark-shell。Overview 里还写了可用 --master 指定运行位置:local 是本机单线程,local[N] 则用 N 个线程,分布式集群则写 master URL。测试阶段建议先用 local。

Spark 现在的主抽象叫 Dataset,也就是一份有结构的信息集合,可以从 Hadoop InputFormats(例如 HDFS 文件)创建,也可以对已有的再做变换。Python 这边因为是动态类型,实现上都是 Dataset[Row],于是又出现带列名的 DataFrame。若用过 pandas 或 R 里的同类结构,会对得上这层概念。

用发行包里的 README.md 建一份表,在 pyspark 里是:

>>> textFile = spark.read.text("README.md")

然后可以对它做 action,或再变换出另一份表:

>>> textFile.count()
126
>>> textFile.first()
Row(value=u'# Apache Spark')

count() 是行数,first() 是第一行。Scala 示例旁边特意写了,README.md 会随时间改动,这些输出也可能和你本机看到的不一样,其他数字同样如此。再过滤出包含 Spark 的行:

>>> linesWithSpark = textFile.filter(textFile.value.contains("Spark"))
>>> textFile.filter(textFile.value.contains("Spark")).count()
15

转换和 action 可以串在一起。若要找单词数最多的那一行,Python 示例会用 pyspark.sql.functions 把每行拆开并算出 numWords,再 agg 求最大,页上的结果是 15。更接近 MapReduce 的写法是用 explode、groupBy 和 count 得到每个词的出现次数,再用 collect 拿回 shell。

如果同一份数据会被反复访问,可以把 Dataset 拉进集群范围内的内存缓存。对前面的 linesWithSpark 调用 cache(),再连续跑两次 count(),都会得到 15。页里也说,拿大约 100 行的文本来缓存看起来有点多余,但同一组函数可以用在大得多的数据上,甚至跨几十、上百个节点。交互式连到集群的做法写在 RDD programming guide 里。

离开 shell 之后,可以写成一份独立程序。Python 示例是 SimpleApp.py:用 SparkSession.builder.appName("SimpleApp").getOrCreate() 拿到会话,读取 YOUR_SPARK_HOME/README.md(要把占位路径换成实际安装位置),cache() 之后分别统计带 a 的行和带 b 的行。若在打包装应用,可以把 pyspark==4.3.0 写进 setup.py 的 install_requires。提交运行用:

$ YOUR_SPARK_HOME/bin/spark-submit \
  --master "local[4]" \
  SimpleApp.py

页上的示例输出是 Lines with a: 46, Lines with b: 23。已经用 pip install pyspark 装进当前环境的话,也可以直接 python SimpleApp.py。Scala 配 sbt、Java 配 Maven,也有对应的 SimpleApp,依赖坐标里会出现 spark-sql_2.13,版本同样是 4.3.0,最后都交给 spark-submit。页末还指向 examples 目录里的样本,例如 ./bin/spark-submit examples/src/main/python/pi.py,以及 ./bin/run-example SparkPi。本地最小示例走到提交一份自包含程序,就已经按 Quick Start 跑通了。集群怎么铺开留给部署说明,这里不展开。