IT虾米网

Spark安装部署

sanshao 2022年06月19日 大数据 209 0
一 下载Scala和Spark
[root@master opt]# wget http://downloads.lightbend.com/scala/2.11.8/scala-2.11.8.tgz 
[root@master opt]# wget http://d3kbcqa49mib13.cloudfront.net/spark-2.0.0-bin-hadoop2.7.tgz
二 安装Scala
1 解压
[root@master opt]# tar -zxvf scala-2.11.8.tgz
2 配置环境变量
export SCALA_HOME=/opt/scala-2.11.8 
export PATH=$PATH:$SCALA_HOME/bin
3 测试
[root@master opt]# scala 
Welcome to Scala 2.11.8 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_152). 
Type in expressions for evaluation. Or try :help. 
scala>
三 安装Spark
1 解压
[root@master opt]# tar -zxvf spark-2.0.0-bin-hadoop2.7.tgz
2 配置环境变量
export SPARK_HOME=/opt/spark-2.0.0-bin-hadoop2.7 
export PATH=$PATH:$SPARK_HOME/bin
3 配置spark-env.sh
export JAVA_HOME=/opt/jdk1.8 
export PATH=$PATH:$JAVA_HOME/bin 
export SCALA_HOME=/opt/scala-2.11.8 
export PATH=$PATH:$SCALA_HOME/bin 
export SPARK_HOME=/opt/spark-2.0.0-bin-hadoop2.7 
export PATH=$PATH:$SPARK_HOME/bin
四 启动
[root@master sbin]# ./start-all.sh 
starting org.apache.spark.deploy.master.Master, logging to /opt/spark-2.0.0-bin-hadoop2.7/logs/spark-root-org.apache.spark.deploy.master.Master-1-master.out 
localhost: \S 
localhost: Kernel \r on an \m 
localhost: starting org.apache.spark.deploy.worker.Worker, logging to /opt/spark-2.0.0-bin-hadoop2.7/logs/spark-root-org.apache.spark.deploy.worker.Worker-1-master.out 
[root@master sbin]# jps 
4128 Jps 
4049 Worker 
3992 Master
 
五 测试
[root@master ~]# cat test.log 
hello go 
java 
c mysql 
[root@master sbin]# spark-shell 
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties 
Setting default log level to "WARN". 
To adjust logging level use sc.setLogLevel(newLevel). 
18/02/03 22:25:05 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 
18/02/03 22:25:08 WARN SparkContext: Use an existing SparkContext, some configuration may not take effect. 
Spark context Web UI available at http://192.168.0.110:4040 
Spark context available as 'sc' (master = local[*], app id = local-1517667907847). 
Spark session available as 'spark'. 
Welcome to 
      ____              __ 
     / __/__  ___ _____/ /__ 
    _\ \/ _ \/ _ `/ __/  '_/ 
   /___/ .__/\_,_/_/ /_/\_\   version 2.0.0 
      /_/ 
          
Using Scala version 2.11.8 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_152) 
Type in expressions to have them evaluated. 
Type :help for more information. 
scala> var file = sc.textFile("/root/test.log"); 
file: org.apache.spark.rdd.RDD[String] = /root/test.log MapPartitionsRDD[1] at textFile at <console>:24 
scala> file.collect 
res1: Array[String] = Array(hello go, java, c mysql, "", "") 
scala> var file = sc.textFile("hdfs://master/test.log"); 
file: org.apache.spark.rdd.RDD[String] = hdfs://master/test.log MapPartitionsRDD[3] at textFile at <console>:24 
scala> file.collect 
res2: Array[String] = Array(hello go, java, c mysql, "", "")
评论关闭
IT虾米网

微信公众号号:IT虾米 (左侧二维码扫一扫)欢迎添加!

Spark计算模型