自我面试大数据分析题答案

接下来为大家讲解自我面试大数据分析题答案，以及大数据面试题及答案汇总版涉及的相关信息，愿对你有所帮助。

简述信息一览：

• 1、大数据(Hadoop)面试题及答案
• 2、基本的大数据面试问题和答案(50个)
• 3、大数据面试题-Spark的内存模型

大数据(Hadoop)面试题及答案

答案：MapReduce由Map和Reduce两阶段组成，Map阶段对本地磁盘输出排序数据，Reduce阶段对数据进行归并排序，数据按key分组后交给reduce处理。在Hadoop x中排序无法避免，Hadoop x可通过关闭相关配置避免。

准备好面试了吗？以下是Hadoop面试中可能出现的问题及答案。HDFS中的block默认保存几份？默认保存3份。HDFS默认BlockSize是多大？默认64MB。负责HDFS数据存储的是哪一部分？DataNode负责数据存储。SecondaryNameNode的目的是什么？帮助NameNode合并编辑日志，减少NameNode启动时间。

Sqoop：将一个关系型数据库中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。

Hadoop-HDFS HDFS架构与组件。 启动Hadoop所需进程。 HDFS数据存储特性与策略。 HDFS副本管理与配置。 HDFS默认BlockSize与优化副本数量。 HDFS容错与数据恢复机制。 数据节点故障时的处理。 NameNode宕机及SecondaryNameNode工作原理。 Hadoop HA实现与脑裂问题。 HDFS小文件处理策略。

大数据和Hadoop几乎是同义词。随着大数据的兴起，专门用于大数据操作的Hadoop框架也开始流行。专业人士可以使用该框架来分析大数据并帮助企业做出决策。注意： 在大数据***访中通常会问这个问题。 可以进一步去回答这个问题，并试图解释的Hadoop的主要组成部分。

基本的大数据面试问题和答案(50个)

答案：使用coalesce（）和repartition（）方法降低并行度，新增并行度为1的任务合并小文件。Flink篇 问题：Flink实现流批一体 答案：Flink通过一个引擎支持DataSet和DataStream API，实现计算上的流批一体。Kafka篇 问题：Kafka实现精准一次性 答案：0.11版本后引入幂等性，确保重复数据只持久化一条。

你自身的优点 这个问题不仅仅是在大数据面试当中常常被问，在各行各业的面试中都经常出现。所以面试者要尽可能说一些和工作相关的优点，比如“学习能力强”“能抗住压力”等，再举一个自己之前工作的例子进行证明，这会让面试官觉得很真实。

您对大数据一词有什么了解？ 大数据是与复杂和大型数据集相关的术语。关系数据库无法处理大数据，这就是为什么使用特殊的工具和方法对大量数据执行操作的原因。大数据使公司能够更好地了解其业务，并帮助他们从定期收集的非结构化和原始数据中获取有意义的信息。

大数据面试题-Spark的内存模型

1、面试题来源：可1）Spark内存管理的结构；2）Spark的Executor内存分布（参考“内存空间分配”）堆内和堆外内存规划 作为一个JVM 进程，Executor 的内存管理建立在JVM的内存管理之上，Spark对JVM的堆内（On-heap）空间进行了更为详细的分配，以充分利用内存。

2、Spark运行模式包括Local、Standalone、Yarn及Mesos。其中，Local模式仅用于本地开发，Mesos模式在国内几乎不使用。在公司中，因大数据服务基本搭载Yarn集群调度，因此Spark On Yarn模式在实际应用中更为常见。Yarn Cluster与Yarn Client模式区别 这是面试中常见问题，主要考察对Spark On Yarn原理的掌握程度。

3、你在工作当中有遇到内存溢出问题吗？你是如何解决的？ 回答思路：先解释spark的内存模型，再分情况介绍不同情况下的解决方案。总体思想是根据内存模型找出不够的那一块内存，要么提升占比，要么整体增加。

4、Spark 6 之后默认为统一管理（UnifiedMemoryManager）方式，6 之前***用的静态管理（StaticMemoryManager）方式仍被保留，可通过配置 spark.memory.useLegacyMode=true 参数启用静态内存管理方式。下面我们介绍下两种内存管理模型的进化。

5、从而避免资源的浪费。内存优化是指Spark会对内存进行管理和优化，尽量让每个工作节点的内存都得到充分的利用，从而避免内存不足导致的数据处理速度变慢的问题。总之，Spark是一个高性能、通用的大数据处理工具，它具有简单易用、高效可靠、可扩展性强等特点，被广泛应用于各种不同的应用场景中。

6、在面试中，不仅要熟悉这些概念，还要能清晰地阐述自己的经验，例如： 实战经验与问题准备 分享你的项目经验，强调成功案例，同时准备针对大数据分析、配置管理等的专业问题和答案。 选择和评估数据模型 根据项目需求，选择合适的数据模型，并解释数据评估流程的重要性。

关于自我面试大数据分析题答案，以及大数据面试题及答案汇总版的相关信息分享结束，感谢你的耐心阅读，希望对你有所帮助。