大三寒假第十四天

目标:

1.今天开始做实验五

2.今天开始学习sparksql的相关内容

成果:

 

推荐这些文章:

大三寒假学习 spark实验报告2

实验 2 Scala 编程初级实践
1.计算级数
请用脚本的方式编程计算并输出下列级数的前 n 项之和 Sn,直到 Sn 刚好大于或等于 q 为止,其中 q 为大于 0 的整数,其值通过键盘输入。
 
例 如 , 若 q 的 值 为 50.0 , 则 输 出 应 为 : Sn=50.416695 。 请 将 源 文 件 保 存...

大三寒假学习 spark学习 针对集合的操作

列表的遍历:
  可以使用for循环遍历
  
  也可以使用foreach进行遍历
  
映射的遍历:
  映射遍历的基本格式:

for ( (k,v) <- 映射) 语句块

 
 
   也可以使用foreach来实现对映射的遍历:

  也可以用下面这种方式:kv._1相当于键,kv._2...

大三寒假第十五天

1.今天完成实验六

...

大三寒假学习 spark学习 Scala基本语法

Scala有两种类型的变量:

val 不可变 声明时必须被初始化,初始化后就不能再赋值
var 可变的 声明的时候需要初始化,初始化后可以被赋值

 
Scala的数据类型:
  
  和Java不同的是,在Scala中,这些类型都是“类”,并且都是包scala的成员,比如,Int的全名是scala.Int。对于字符串,S...

大三寒假学习 spark学习 Scala数据结构

容器(collection):
  Scala提供了一套丰富的容器(collection)库,包括序列(Sequence)、集合(Set)、映射(Map)等
  根据容器的元素的组织方式和操作方式,可以分未有序的无序的,可变的不可变的等不同的容器类别
  Scala用了三个包来组织容器类,分别是scala.collection 、sca...

大三寒假学习 spark学习 Scala控制结构

if条件表达式:
  
  支持嵌套
  
  有一点与Java不同的是,Scala中的if表达式的值可以赋值给变量
  
 
While循环:
  与java的while一摸一样没有太大的区别
 
   
  
for循环:
  基本语法:for(变量<-表达式) 语句块
  “变量<-表达式...

大三寒假学习 spark学习 RDD

设计背景:
  许多迭代式算法(比如机器学习、图算法等)和交互式数据挖掘工具,共同之处是,不同计算阶段之间会重用中间结果
  目前的MapReduce框架都是把中间结果写入到HDFS中,带来大量的数据复制、磁盘I0和序列化开销
 
  RDD就是为了满足这种需求而出现的,它提供了一个抽象的数据架构
  我们不必担心底层数据的分...

大三寒假学习 spark学习 Scala数据结构2

迭代器(Iterator):
  迭代器(Iterator)不是一个容器,而是提供了按顺序访问容器元素的数据结构。
  迭代器包含两个基本操作:next和hasNext。next可以返回迭代器的下一个元素,hasNext用于检测是否还有下一个元素
  
  Iterable有两个方法返回迭代器:grouped和sliding。然而,这些...

大三寒假学习 spark学习 spark

1.下载安装文件:
  Spark安装包下载地址: http://spark.apache.org
  进入下载页面后,点击主页右侧的“Download Spark”按钮进入下载页面,下载页面中提供了几个下载选项,主要是Spark release及Package type的选择,如下图所示。第1项Spark release一般默认选择最...

大三寒假第十六天(逻辑斯蒂回归分类器)

1.导入包

import org.apache.spark.ml.feature.PCA
import org.apache.spark.sql.Row
import org.apache.spark.ml.linalg.{Vector,Vectors}
import org.apache.spark.ml.evaluation.Mu...

文章标题:大三寒假第十四天
文章链接:https://www.dianjilingqu.com/832.html
本文章来源于网络,版权归原作者所有,如果本站文章侵犯了您的权益,请联系我们删除,联系邮箱:saisai#email.cn,感谢支持理解。
THE END
< <上一篇
下一篇>>