spark大数据处理面试

本篇文章给大家分享spark大数据处理面试，以及spark大数据处理技术对应的知识点，希望对各位有所帮助。

简述信息一览：

• 1、史上最全大数据面试题,你有吗?
• 2、大数据面试题-Spark的内存模型
• 3、Spark面试教程

史上最全大数据面试题,你有吗?

编程模型方面 Spark基于批处理模型，它将连续数据流分解成微批处理，并在每个微批中执行操作。Flink则***用数据流模型，支持连续和有限数据处理。Flink提供DataStream API，类似于Spark RDD，但更注重事件顺序。数据处理模式 Spark Streaming在微批处理模式下，存在秒级延迟。

Hadoop的应用与优势 Hadoop擅长处理大量数据，其开源特性使其在企业环境中广受欢迎，尤其是在性能和经济性方面。 数据一致性检查与维护 fsck是HDFS的检查工具，用于检测数据完整性问题，确保数据一致性。

您对“大数据”一词有何了解？ 大数据是与复杂和大型数据集相关的术语。关系数据库无法处理大数据，这就是使用特殊工具和方法对大量数据执行操作的原因。大数据使公司能够更好地了解其业务，并帮助他们从定期收集的非结构化和原始数据中获取有意义的信息。

答案：完整性、准确性、一致性和及时性是数据质量的四大方面。完整性确保数据完整，准确性避免错误信息，一致性在大体系中保持数据统一，及时性确保数据价值。大数据场景篇 问题：找出1亿个整数中最大的10000个数 答案：全局排序内存不足，分治法和小顶堆是解决方案。

大数据面试题-Spark的内存模型

1、面试题来源：可1）Spark内存管理的结构；2）Spark的Executor内存分布（参考“内存空间分配”）堆内和堆外内存规划 作为一个JVM 进程，Executor 的内存管理建立在JVM的内存管理之上，Spark对JVM的堆内（On-heap）空间进行了更为详细的分配，以充分利用内存。

2、Spark运行模式包括Local、Standalone、Yarn及Mesos。其中，Local模式仅用于本地开发，Mesos模式在国内几乎不使用。在公司中，因大数据服务基本搭载Yarn集群调度，因此Spark On Yarn模式在实际应用中更为常见。Yarn Cluster与Yarn Client模式区别 这是面试中常见问题，主要考察对Spark On Yarn原理的掌握程度。

3、你在工作当中有遇到内存溢出问题吗？你是如何解决的？ 回答思路：先解释spark的内存模型，再分情况介绍不同情况下的解决方案。总体思想是根据内存模型找出不够的那一块内存，要么提升占比，要么整体增加。

4、Spark 6 之后默认为统一管理（UnifiedMemoryManager）方式，6 之前***用的静态管理（StaticMemoryManager）方式仍被保留，可通过配置 spark.memory.useLegacyMode=true 参数启用静态内存管理方式。下面我们介绍下两种内存管理模型的进化。

Spark面试教程

Spark运行模式包括Local、Standalone、Yarn及Mesos。其中，Local模式仅用于本地开发，Mesos模式在国内几乎不使用。在公司中，因大数据服务基本搭载Yarn集群调度，因此Spark On Yarn模式在实际应用中更为常见。Yarn Cluster与Yarn Client模式区别 这是面试中常见问题，主要考察对Spark On Yarn原理的掌握程度。

答案：Spark运行流程涉及任务提交、调度、执行和结果收集。应用通过SparkContext启动，创建RDD，然后通过一系列转换和行动算子执行计算任务，最后收集结果。面试题3：解释RDD在Spark中的定义。答案：RDD，即Resilient Distributed Dataset，是Spark的基本数据抽象，代表一个不可变、可分区的并行计算***。

运行流程概览如下：1）当程序提交后，SparkSubmit进程与Master通信，构建运行环境并启动SparkContext。SparkContext向资源管理器（如Standalone、Mesos或YARN）注册并申请执行资源。2）资源管理器分配Executor资源，Standalone模式下通过StandaloneExecutorBackend启动Executor。Executor运行状态会定期上报给资源管理器。

面试题来源：可1）Spark内存管理的结构；2）Spark的Executor内存分布（参考“内存空间分配”）堆内和堆外内存规划 作为一个JVM 进程，Executor 的内存管理建立在JVM的内存管理之上，Spark对JVM的堆内（On-heap）空间进行了更为详细的分配，以充分利用内存。

定位数据倾斜通常发生在shuffle阶段，通过检查任务执行情况、Stage状态和代码找出问题。常见的线索包括内存溢出任务、运行时间差异大以及数据Key分布不均。关键是要注意监控Spark Web UI和异常情况，查看是否存在shuffle算子导致的倾斜，如distinct、groupByKey等。

关于spark大数据处理面试，以及spark大数据处理技术的相关信息分享结束，感谢你的耐心阅读，希望对你有所帮助。