西瓜码农

成功需要脚踏实地，一步一个脚印

累计撰写 32 篇文章
累计创建 1 个标签
累计收到 0 条评论

目录CONTENT

精品分类

全部分类

最新文章

2024-05-11
Spark简介一、简介 Spark 于 2009 年诞生于加州大学伯克利分校 AMPLab，2013 年被捐赠给 Apache 软件基金会，2014 年 2 月成为 Apache 的顶级项目。相对于 MapReduce 的批处理计算，Spark 可以带来上百倍的性能提升，因此它成为继 MapReduce 之后，最
- 2024-05-11
- 0
- 0
- 0
- 编程技术
2024-05-11
Spark部署模式与作业提交一、作业提交 1.1 spark-submit Spark 所有模式均使用 spark-submit 命令提交作业，其格式如下： ./bin/spark-submit \ --class \ # 应用程序主入口类 --master \ # 集群的 Maste
- 2024-05-11
- 1
- 0
- 0
- 编程技术
2024-05-11
Spark累加器与广播变量一、简介在 Spark 中，提供了两种类型的共享变量：累加器 (accumulator) 与广播变量 (broadcast variable)：累加器：用来对信息进行聚合，主要用于累计计数等场景；广播变量：主要用于在节点间高效分发大对象。二、累加器这里先看一个具体的场景，对于正常的累计
- 2024-05-11
- 0
- 0
- 0
- 编程技术
2024-05-11
Spark弹性式数据集RDDs 一、RDD简介 RDD 全称为 Resilient Distributed Datasets，是 Spark 最基本的数据抽象，它是只读的、分区记录的集合，支持并行操作，可以由外部数据集或其他 RDD 转换而来，它具有以下特性：一个 RDD 由一个或者多个分区（Partitions）组成。对于 R
- 2024-05-11
- 0
- 0
- 0
- 编程技术
2024-05-11
Spark_Transformation和Action算子一、Transformation spark 常用的 Transformation 算子如下表： Transformation 算子 Meaning（含义） map ( func ) 对原 RDD 中每个元素运用 func 函数，并生成新的 RDD
- 2024-05-11
- 0
- 0
- 0
- 编程技术
2023-02-09
大数据开发知识点总结(二) 七、Sqoop实战 1 Mysql数据导入HDFS上. 1. 全量导入：将mysql表中全部数据都导入HDFS，如果HDFS中存在这个目录的话就会报错，默认存储的HDFS目录是 /user/root/XXX. bin/sqoop import (在sqoop的安装目录内，import表名是导入)
- 2023-02-09
- 0
- 0
- 0
- 编程技术
2023-02-09
大数据开发知识点总结(三) 十一、Spark 1.Spark介绍 1.1 什么是spark 基于内存的分布式计算框架只负责算不负责存 spark 在离线计算功能上类似于mapreduce的作用 1.2 为什么用spark MapReduce的缺点运行速度慢（没有充分利用内存）接口比较简单，仅支持Map Reduc
- 2023-02-09
- 0
- 0
- 0
- 网络技术
2023-02-07
大数据开发知识点总结一、HDFS 1.基本操作：查看所有命令 hadoop fs 1、查看所有目录及其文件 hadoop fs -ls / 2、hdfs文件系统创建目录 hadoop fs -mkdir /input（用于测试代码） 2.1、hdfs文件系统创建目录（批量） hadoop fs -mkdir -p /
- 2023-02-07
- 0
- 0
- 0
- 编程技术
2021-07-05
【孕期奶爸该做些什么】孕期奶爸注意事项8 现代社会 , 越来越多的男人把妻子孕期看作是夫妻两人必须共同面临、度过的历程。许多奶爸们不愿在胎儿的成长过程中缺席：从宝宝在妈妈的肚子孕育开始 , 他们就希望有参与的机会 , 对于宝宝的胎教 , 更是不愿意袖手旁观。孕期奶爸注意事项 8 奶爸最损害妻儿健康的 7 个不当之举怀孕是一个非常特殊的时
- 2021-07-05
- 0
- 0
- 0
- 日记杂谈
2019-03-30
彻底关闭Windows10自动更新 Windows10是微软新一代桌面操作系统，华丽的图标，扁平的界面，平滑的切换，给人一种舒适的操作体验。但是，新系统的问题也是层出不穷，尤其是更新以后，会出现许多莫明其妙的问题。那么，怎样能保持住稳定的系统版本，不让系统自动升级呢？只有彻底关闭Windows10自动更新，才能真正的解决问题，下面我来
- 2019-03-30
- 1
- 0
- 0
- 网络技术

查看更多