大数据数据处理面试

简述信息一览：

• 1、面试大数据时要怎么准备
• 2、大数据面试题汇总之Hadoop(MapReduce部分)
• 3、大数据面试题:Spark的任务执行流程

面试大数据时要怎么准备

优就业提醒大家，要尽可能说一些和工作相关的优点，比如“学习能力特别强”、“接受新事物的速度快”等，另外一定要举例子进行证明，让面试官觉得这个优点很真实。你为什么要学习大数据开发 其实这个问题只是面试官想要知道应聘者的态度而已。

简历 大家都知道面试一定要带简历，那么怎样才能制作出一份让面试官满意的简历呢。这里小编建议大家可以试试STAR法则，可以着重凸显出自己在数据分析项目中取得的成绩。另外简历一定要结合招聘要求来制作，与招聘要求的匹配度越高才更容易被hr发现，不要偷懒，用一份简历打天下。

自我简介：用一句话说明白自己的学历专业年龄工作经历等；2）我会什么：包括会用什么工具，懂得什么理论知识；3）我做过什么：介绍下项目的内容，通过什么手段，达到了什么成果。自我介绍的重点是在最短的时间突出自己的项目经历和技术水平，但也不用过于详细，留给面试官问问题的空间。

首先，我觉得面试官有责任保证面试过程是一次高效的交流。你要获取到你需要的信息，对面试者做全方位的考量；面试者也要获取到他需要的信息，面试官（若面试成功很大可能是自己的上级）的水平，公司技术要求水平，自己是否适合这家公司，公司是否需要自己。

大数据面试题汇总之Hadoop(MapReduce部分)

1、MapReduce数据倾斜产生的原因包括Hadoop框架特性和具体业务逻辑原因，解决方法可以从业务和数据方面进行优化，例如针对join产生的数据倾斜可以使用Map Join优化、针对group by操作可以调整参数以减少倾斜，以及针对count（distinct）等操作可以调整reduce个数或使用其他统计方法。

2、答案：MapReduce由Map和Reduce两阶段组成，Map阶段对本地磁盘输出排序数据，Reduce阶段对数据进行归并排序，数据按key分组后交给reduce处理。在Hadoop x中排序无法避免，Hadoop x可通过关闭相关配置避免。

3、Hbase：是一个分布式的、面向列的开源数据库，利用Hadoop HDFS作为其存储系统。Hive：基于Hadoop的一个数据仓库工具，可以将结构化的数据档映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。

大数据面试题:Spark的任务执行流程

当程序提交后，SparkSubmit进程与Master通信，构建运行环境并启动SparkContext。SparkContext向资源管理器（如Standalone、Mesos或YARN）注册并申请执行资源。2）资源管理器分配Executor资源，Standalone模式下通过StandaloneExecutorBackend启动Executor。Executor运行状态会定期上报给资源管理器。

答案：Spark运行流程涉及任务提交、调度、执行和结果收集。应用通过SparkContext启动，创建RDD，然后通过一系列转换和行动算子执行计算任务，最后收集结果。面试题3：解释RDD在Spark中的定义。答案：RDD，即Resilient Distributed Dataset，是Spark的基本数据抽象，代表一个不可变、可分区的并行计算***。

理解Spark的运行机制是关键，主要考察Spark任务提交、资源申请、任务分配等阶段中各组件的协作机制。参考Spark官方工作流程示意图，深入理解Spark运行流程。Spark运行模式 Spark运行模式包括Local、Standalone、Yarn及Mesos。其中，Local模式仅用于本地开发，Mesos模式在国内几乎不使用。

Spark的大数据处理流程是其高效性能的关键。首先，理解Spark的基本组件至关重要。ClusterManager，作为核心控制器，负责Standalone模式下的Master节点和YARN模式下的资源管理。用户提交的应用（Application）通过SparkContext的Driver进程启动，Driver负责任务的调度和资源申请。

Spark操作类型包括transformation、action与cronroller，分别实现RDD转换、执行与控制算子。设置参数如spark.sql.shuffle.partitions与spark.default.paralleli***调整默认task执行个数与集群资源管理。Spark Application在未充分获得资源时就开始执行job，可能导致资源不足问题。

shell脚本执行的步骤包括：加载spark环境参数、载入java、jar包等、调用org.apache.spark.launcher中的Main进行参数注入、监测任务执行状态。在任务提交后，shell脚本会构建cmd执行任务。

关于大数据数据处理面试，以及大数据面试题及答案汇总版的相关信息分享结束，感谢你的耐心阅读，希望对你有所帮助。