怎么测试spark是否成功安装
答案:2 悬赏:0
解决时间 2021-02-21 07:54
- 提问者网友：浪荡羁士
- 2021-02-20 15:15
怎么测试spark是否成功安装
最佳答案
- 二级知识专家网友：我们只是兮以城空
- 2021-02-20 16:14
启动Spark集群，启动后的WebUI如下
启动Spark Shell
Web控制台查看shell的情况
把Spark安装目录“README.md”拷贝到HDFS系统上在Master节点上新启动一个命令终端，并进入到Spark安装目录下
把文件拷贝到HDFS的root文件夹下
观察一下Web控制台，会发现该文件已经成功上传到HDFS上
在Spark shell之下操作编写代码，操作我们上传的“README.md”
启动Spark Shell
Web控制台查看shell的情况
把Spark安装目录“README.md”拷贝到HDFS系统上在Master节点上新启动一个命令终端，并进入到Spark安装目录下
把文件拷贝到HDFS的root文件夹下
观察一下Web控制台，会发现该文件已经成功上传到HDFS上
在Spark shell之下操作编写代码，操作我们上传的“README.md”
全部回答
- 1楼网友：最后战士
- 2021-02-20 16:31
打开spark-shell， 然后里面有默认的sparkcontext， 直接用sc就可以使用
比如 sc.textfile(hdfs://....)
这样就可以使用spark-shell操作spark了
我要举报
如以上问答内容为低俗、色情、不良、暴力、侵权、涉及违法等信息，可以点下面链接进行举报！
大家都在看
推荐资讯