大数据技术原理与应用课程报告

xiaofei
大数据技术
2024-09-18 03:12:36
79

文章阐述了关于大数据原理技术笔记，以及大数据技术原理与应用课程报告的信息，欢迎批评指正。

简述信息一览：

1、普通二本生的我,如何斩获年薪11W的世界500强offer?
2、数据挖掘入门笔记——BIRCH聚类(一拍即合)
3、大数据学习笔记2:现代数据湖之Iceberg
4、【《大数据时代》读书笔记2】大数据视角下,一切皆可“量化”
5、python大数据分析多久(python大数据分析原理)
6、大数据的关键技术

普通二本生的我,如何斩获年薪11W的世界500强offer?

1、选城市城市很关键，如果是四五线城市，要想拿到过万的月薪，基本很困难。因为城市的平均薪资已经限制住了薪资空间。如果要想快速达到11W，就要盯着一二线城市，比如北上广深。选行业行业不同也会影响着薪资的多与少。比如同样是销售，卖房的销售就会比卖课程的销售赚得多。

2、暑假参加了一些志愿者活动；大二的寒假，我开始了我的第一份实习；相同的，暑假开始了第二份实习；大三，在没有课的时候，我会挤出一些时间，去做第三份的实习尝试，而在大三的寒假，我决定沉淀学习，所以我报了一个半个多月的微软线下课程；而最后一份实习，则是在大三的暑假。

（图片来源网络，侵删）

3、第四句：“让我再想一想，两点前答复您好吗？”比如，上司问你一个问题，你无法在短时间内作正确而且周全的千万别说“我不知道”，这是一种很没礼貌也不负责的态度。你可以委婉地提出让自己再考虑一下，这样不仅消解了不答的尴尬，也让上司觉得你是一个严谨稳重的人。

4、不过500强的外企更看重实力，如果你在这个岗位上表现的特别突出，学位证的问题可以破格。别怕，自信些，想想怎么解释如果被问到，如果入职时不问，以后就没啥问题的。

数据挖掘入门笔记——BIRCH聚类(一拍即合)

数据挖掘探索：BIRCH聚类算法的深度解析（一拍即合）在大数据时代，层次聚类的挑战在于合并与分裂策略的抉择和可扩展性。BIRCH算***是为了解决这些问题，它巧妙地融合了层次与其它算法，适用于海量数据和多类别场景，实现单次扫描下的快速聚类。

（图片来源网络，侵删）

BIRCH算法是一种高效处理大规模数据的聚类方法，特别适用于类别数量较多的情况。其核心在于构建一个层次化的聚类特征树（CF Tree），通过单次扫描数据集即可完成聚类。以下是对BIRCH算法原理、实现和应用的总结：1 BIRCH算法概述BIRCH算法通过层次方法对数据进行聚类和规约。

又称树聚类算法，透过一种层次架构方式，反复将数据进行分裂或聚合。典型的有BIRCH算法，CURE算法，CHAMELEON算法，Sequence data rough clustering算法，Between groups average算法，Furthest neighbor算法，Neares neighbor算法等。

其目的旨在发现空间实体的属性间的函数关系，挖掘的知识用以属性名为变量的数学方程来表示。聚类技术正在蓬勃发展，涉及范围包括数据挖掘、统计学、机器学习、空间数据库技术、生物学以及市场营销等领域，聚类分析已经成为数据挖掘研究领域中一个非常活跃的研究课题。

大数据学习笔记2:现代数据湖之Iceberg

在大数据领域，Iceberg近期备受瞩目，我将结合个人理解分享一些关键信息和特点。首先，对于数据湖的基本概念，读者可以参考我之前的文章《大数据学习笔记1：数仓、数据湖、数据中台》来了解。现代数据湖的发展和业界趋势中，核心需求在于提供高效、灵活的数据存储和处理能力。

目前开源的数据湖有江湖人称“数据湖三剑客”的 Hudi、Delta Lake和Iceberg Iceberg***定义：Iceberg是一个通用的表格式（数据组织格式），提供高性能的读写和元数据管理功能。 Iceberg 的 ACID 能力可以简化整个流水线的设计，传统 Hive/Spark 在修正数据时需要将数据读取出来，修改后再写入，有极大的修正成本。

SmartNews的数据湖架构师戚清雨在Flink Forward Asia 2022大会上分享了他们构建的高效数据湖实践，这一创新性策略分为五个关键环节：数据湖构建、Iceberg v1的挑战与解决方案、实时更新优化、Iceberg v2的革命性突破，以及未来展望。

【《大数据时代》读书笔记2】大数据视角下,一切皆可“量化”

1、数据化，不是数字化。前者，是指把现象转变为可制表分析的量化形式的过程；后者，指的是把模拟数据转换成用0和1表示的二进制码。在数字化时代来临之时，在脑海中对这两个概念有清晰概念十分重要。数据化的关注重点是在“I（信息）”上，而数字化则关注“T（技术）”。

2、量化一切，是数据化的核心，也是大数据时代的基石。当文字变成数据时，数字图书馆孕育而生；当方位变成数据时，GPS系统横空降世；当沟通变成数据时，Twitter家喻户晓。我们所有的行为、兴趣爱好甚至是情绪都在不知不觉中被记录，成为数据的组成信息。

3、大数据时代“价值捕手”道格拉斯·W·哈伯德在《数据化决策》一书中告诉人们，不论有形之物还是无形之物，一切皆可量化，同时，量化并非人们想像的那么复杂，它是一切决策的有益助手，甚至包括婚姻、感情、幸福。

4、首先，作者站在理论的制高点上，条理清楚地阐述了大数据对人类的工作、生活、思维带来的革新，大数据时代的三种典型的商业模式，以及大数据时代对于个人隐私保护、公共安全提出的挑战。其次，文中的事例贴近现实生活，贴近时代，令读者既印象深刻，又感同身受。此外，作者没有使用大量的专业术语，没有假装一副专业的面孔。

5、第二部分大数据时代的商业变革这是每个人都深有体会的：一切皆可量化；取之不尽，用之不竭的数据创新；数据、技术与思维的三足鼎立。全书最核心或者说我本人最想了解的答案就在这里了。搜索引擎，导航工具，微博，微信记录着我们一切的行为记录，我们的情绪起伏都能被量化。

6、大数据研究的一大驱动力就是商用，舍恩伯格在第二部分里讨论了大数据时代的商业变革。舍恩伯格认为数据化就是一切皆可”量化“，大数据的定量分析有力地回答”是什么“这一问题，但仍然无法完全回答”为什么“。因此，我认为并不能排除定性分析和质化研究。数据创新可以创造价值，这是毫无疑问的。

python大数据分析多久(python大数据分析原理)

1、大数据可以使用Python。为什么是python大数据？从大数据的百科介绍上看到，大数据想要成为信息资产，需要有两步，一是数据怎么来，二是数据处理。数据怎么来？在数据怎么来这个问题上，数据挖掘无疑是很多公司或者个人的优选，毕竟大部分公司或者个人是没有能力产生这么多数据的，只能是挖掘互联网上的相关数据。

2、基础6个月左右，有Java基础3个月左右。

3、课程包含HTML5大前端培训、JavaEE+分布式开发培训、Python人工智能+数据分析培训、全链路UI/UE设计培训、云计算培训、全栈软件测试培训、大数据+人工智能培训、智能物联网+嵌入式培训、Unity游戏开发培训、网络安全培训、区块链培训、影视剪辑包装培训、游戏原画培训、全媒体运营培训。

4、初学Python要多久才能入门？如果想从零基础到入门，能够全职学习（自学），那么一个月足够了。非全职（自学）的话这个时间就可能更长，如果是自学，从零基础开始学习Python大致需要半年到一年半的时间。如果有编程语言的基础，入门还是很快的，用Python语言写一些简单的应用大概需要2~3个月。