编程技术-西瓜码农

成功需要脚踏实地，一步一个脚印

累计撰写 32 篇文章
累计创建 1 个标签
累计收到 0 条评论

目录CONTENT

以下是编程技术相关的文章

2024-05-11
Spark简介一、简介 Spark 于 2009 年诞生于加州大学伯克利分校 AMPLab，2013 年被捐赠给 Apache 软件基金会，2014 年 2 月成为 Apache 的顶级项目。相对于 MapReduce 的批处理计算，Spark 可以带来上百倍的性能提升，因此它成为继 MapReduce 之后，最
- 2024-05-11
- 0
- 0
- 0
- 编程技术
2024-05-11
Spark部署模式与作业提交一、作业提交 1.1 spark-submit Spark 所有模式均使用 spark-submit 命令提交作业，其格式如下： ./bin/spark-submit \ --class \ # 应用程序主入口类 --master \ # 集群的 Maste
- 2024-05-11
- 1
- 0
- 0
- 编程技术
2024-05-11
Spark累加器与广播变量一、简介在 Spark 中，提供了两种类型的共享变量：累加器 (accumulator) 与广播变量 (broadcast variable)：累加器：用来对信息进行聚合，主要用于累计计数等场景；广播变量：主要用于在节点间高效分发大对象。二、累加器这里先看一个具体的场景，对于正常的累计
- 2024-05-11
- 0
- 0
- 0
- 编程技术
2024-05-11
Spark弹性式数据集RDDs 一、RDD简介 RDD 全称为 Resilient Distributed Datasets，是 Spark 最基本的数据抽象，它是只读的、分区记录的集合，支持并行操作，可以由外部数据集或其他 RDD 转换而来，它具有以下特性：一个 RDD 由一个或者多个分区（Partitions）组成。对于 R
- 2024-05-11
- 0
- 0
- 0
- 编程技术
2024-05-11
Spark_Transformation和Action算子一、Transformation spark 常用的 Transformation 算子如下表： Transformation 算子 Meaning（含义） map ( func ) 对原 RDD 中每个元素运用 func 函数，并生成新的 RDD
- 2024-05-11
- 0
- 0
- 0
- 编程技术
2023-02-09
大数据开发知识点总结(二) 七、Sqoop实战 1 Mysql数据导入HDFS上. 1. 全量导入：将mysql表中全部数据都导入HDFS，如果HDFS中存在这个目录的话就会报错，默认存储的HDFS目录是 /user/root/XXX. bin/sqoop import (在sqoop的安装目录内，import表名是导入)
- 2023-02-09
- 0
- 0
- 0
- 编程技术
2023-02-07
大数据开发知识点总结一、HDFS 1.基本操作：查看所有命令 hadoop fs 1、查看所有目录及其文件 hadoop fs -ls / 2、hdfs文件系统创建目录 hadoop fs -mkdir /input（用于测试代码） 2.1、hdfs文件系统创建目录（批量） hadoop fs -mkdir -p /
- 2023-02-07
- 0
- 0
- 0
- 编程技术
2018-11-21
C#调用虹软人脸识别AsfFace2.0实例虹软SDK推出了2.0版本，这个版本的所有API都集合在一个动态库里面，再通过引擎库调用，比1.2版本相对轻便了很多。小西瓜也迫不及待弄了一个新版本的C#实例，基于VS2013开发的,弄的过程中也遇到很多问题，不过通过论坛的一些大神的反馈和说明，几乎全部解决了，这次封装也有参考 dayAndnigh
- 2018-11-21
- 1
- 0
- 0
- 编程技术
2018-09-19
C#调用虹软人脸识别SDK研究上一篇文章 https://blog.xgcos.com/show/306.html 已经介绍了如何注册申请虹软的人脸识别SDK，也总结过虹软的SDK是VC++封装的，说明文档也都是VC++的调用方式，这対使用其他变成语言的小伙伴来说可能就遇到难题了。这篇文章最主要是介绍研究如何通过C#也能调用，并
- 2018-09-19
- 0
- 0
- 0
- 编程技术