大数据技术概论笔记期末

今天给大家分享大数据技术概论笔记期末，其中也会对大数据技术理论的内容是什么进行解释。

简述信息一览：

• 1、《大数据》读书笔记
• 2、大数据与会计期末考试一般考什么
• 3、hadoop学习笔记一
• 4、大数据学习笔记2:现代数据湖之Iceberg
• 5、大数据产品的层级架构——从数据底层到业务应用(大数据产品笔记二)

《大数据》读书笔记

1、书中讲述了美国信息开放、数据技术创新、数据逐步开放的历史，例举了美国***如何通过大数据来治国：降低犯罪率、纠正***滥用、增加财务透明度，并展望了大数据发展的未来，他觉得中国和美国最大的区别就在中国习惯于说“差不多”，不善于用数字管理国家。

2、当看到一切皆可量化这句话，还是持一定的保留态度。因为，太过绝对。但似乎，这只是一种理念的传递，为了表达数据化的重要性而已。大数据视角，提供了看世界的另外一个角度，但绝不是唯一视角。

3、大数据模型探索：从整合到实践 数据建模是大数据旅程的关键，它旨在优化性能、成本和效率，消除冗余，提升数据质量。在《阿里大数据之路：第2篇 数据模型篇》中，我们深入探讨了这一领域的核心原理和阿里巴巴的实践经验。

大数据与会计期末考试一般考什么

大数据与会计专业的学生在大一结束时，会面临一系列期末考试。主要考试科目包括会计学原理、统计学和审计学。这些课程是会计专业学习的基础，涵盖了会计学的基本理论和实践技能。每一门课程都包含了一系列的学习内容，如会计报表的编制与分析、统计方法的应用、审计的基本流程等。

会计学原理和统计学审计学。大数据与会计期末考试考会计学原理和统计学审计学，嗾使本专业的知识。大数据或称“巨量数据”，是指规模巨大的数据集。

大数据与会计校考主要考察学生对于数据分析及统计学的掌握，同时也要求学生掌握基础的会计知识和技能。考试内容广泛，包括数据挖掘、数据预处理、机器学习、数据可视化等。学生需要能够运用会计原理和规范来处理企业的财务报表，理解税务和审计法规。

年河南自考大数据与会计专业的考试科目涵盖了多个方面，旨在全面培养学生的专业技能和知识水平。必考科目包括：《中国近现代史纲要》，这是了解中国近现代历史和文化的重要课程。《概率论与数理统计（经管类）》，此科目帮助学生掌握统计学的基本理论与方法，为数据分析奠定基础。

大数据与会计笔试考试涵盖了多个关键领域，以确保考生具备全面的知识和技能。首先，大数据相关知识占据了考试的一部分，包括数据***集、清洗、存储、处理和分析的技术。这些技术对于理解和应用大数据至关重要，尤其是对于会计专业人士来说，能够利用这些工具来提高决策效率。数据库管理是考试中的另一个重要部分。

hadoop学习笔记一

大数据是一个涵盖了数据处理技术、分析工具与平台的概念。在以Hadoop为代表的大数据技术框架上，人们能够执行各种数据分析任务。Hadoop和Spark是基础的大数据处理框架，它们支撑着实时数据处理、离线数据处理、数据分析、数据挖掘以及利用机器学习算法进行预测分析等技术的应用。

MapReduce是分布式计算框架，主要组成部分为Hadoop，用于编写并行处理大量数据的核心逻辑代码。数据在HDFS上存储，由Namenode和Datanode组成。Namenode管理数据请求和存储地址，Datanode储存数据，数据被切分成block块存储于多个节点。

ZookeeperZookeeper，作为分布式协调服务，为分布式应用提供关键的协调和配置维护功能，确保系统的稳定性和效率。它就像一个分布式文件系统，支持数据同步、发布/订阅和集群节点协调，广泛应用于服务注册、配置管理、分布式锁和队列等场景，是构建复杂分布式应用的核心组件。

大数据学习笔记2:现代数据湖之Iceberg

1、在大数据领域，Iceberg近期备受瞩目，我将结合个人理解分享一些关键信息和特点。首先，对于数据湖的基本概念，读者可以参考我之前的文章《大数据学习笔记1：数仓、数据湖、数据中台》来了解。现代数据湖的发展和业界趋势中，核心需求在于提供高效、灵活的数据存储和处理能力。

2、Iceberg的数据组织形式基于HDFS等文件系统，数据结构和元数据结构紧密相连。数据架构包括两个主要部分：data目录和metadata目录。数据文件以parquet或类似格式存储于data目录中的分区目录下。metadata目录则包含管理数据结构的元数据文件。Iceberg的元数据***用层次结构存储，核心有两层：snapshot层和manifest层。

3、数据湖是企业中全量数据的单一存储系统，其主要特性包括存储容量极大、以原始形式存储数据、可存储任意类型的数据以及具备多样化的分析能力。数据湖通常以对象块或文件的形式进行存储。相比之下，数据仓库存在开放性、对机器学习的支持、ACID事务支持及高效Upsert/Delete等方面的问题。

4、在Spark与Iceberg的整合查询操作中，通过DataFrame API能够加载Iceberg中的数据，这可以通过调用spark.table（Iceberg表名）或spark.read.format（iceberg）.load（iceberg数据路径）实现。

5、Spark与Iceberg整合查询操作详解 通过使用Spark的DataFrame API，可以加载Iceberg中的数据，操作如spark.table（Iceberg表名）或spark.read.format（iceberg）.load（iceberg数据路径）。每次向Iceberg表中commit数据都会生成快照，查询所有快照可使用_[库名].Iceberg表.snapshots_命令。

大数据产品的层级架构——从数据底层到业务应用(大数据产品笔记二)

1、结构化与非结构化数据 结构化数据为二维表形式，存储和使用便捷，如关系型数据库中的数据。非结构化数据包含图片、***、音频及json格式，如矢量图和json数据。json数据轻量级，便于查找，但结构不明确，汇总计算较复杂。

2、进一步深入，数据分层是大数据处理的基石。从原始数据（ODS）、经过处理的数仓层（DW）到最终的应用报表（APP），这样的架构设计（数据分层策略）简化了复杂业务场景，提供了清晰的依赖关系，减少了重复工作，助力业务洞察（数据分层应用，如监控转化率、日活月活，以及指导业务决策）。

3、大数据应用的第一阶段：辅助产品 最初的应用比较简单，就是用以辅助产品人员和市场人员做判断。过去的实体产品做一次调研很麻烦。比如饮料公司，调研人员要用各种方式观看他们喝饮料的场景和步骤。问卷是最常见的，但不准。

4、阿里巴巴在实践中，从Oracle到MPP架构的转变，表明ER模型在大规模环境中的挑战，最终转向了维度建模和MaxCompute平台。1 数据爆炸应对 面对海量数据，我们构建高效的数据模型体系，预防无序和重复，强化数据管理与一致性，构建统一的ODS、DWD和DWS层次结构。

关于大数据技术概论笔记期末，以及大数据技术理论的相关信息分享结束，感谢你的耐心阅读，希望对你有所帮助。