Mac上搭建spark開發(fā)環(huán)境-創(chuàng)新互聯(lián)
本文將介紹在Mac os上搭建Spark開發(fā)環(huán)境。
創(chuàng)新互聯(lián)公司-專業(yè)網(wǎng)站定制、快速模板網(wǎng)站建設(shè)、高性價(jià)比北湖網(wǎng)站開發(fā)、企業(yè)建站全套包干低至880元,成熟完善的模板庫,直接使用。一站式北湖網(wǎng)站制作公司更省心,省錢,快速模板網(wǎng)站建設(shè)找我們，業(yè)務(wù)覆蓋北湖地區(qū)。費(fèi)用合理售后完善，十余年實(shí)體公司更值得信賴。在安裝spark環(huán)境之前，需要確保配置相應(yīng)的java環(huán)境，jdk或者jre的版本需要在1.8.0版本以上。
(1)首先下載開發(fā)IDE，目前比較流行的IDE是IntelliJ IDEA,可以在官網(wǎng)下載使用，下載地址：https://www.jetbrains.com/idea/。
(2)Spark環(huán)境搭建：
mac上啟動(dòng)終端，使用brew install scala命令(brew是一個(gè)軟件包管理工具,類似于centos下的yum或者ubuntu下的apt-get)，進(jìn)行Scala的安裝下載，如下：
到此scala的環(huán)境已經(jīng)安裝成功，現(xiàn)在我們從spark的官網(wǎng)下載spark相關(guān)環(huán)境，網(wǎng)址為：http://spark.apache.org/
下載完spark，進(jìn)入到下載的spark包的文件夾下，執(zhí)行tar -zxvf spark-2.3.1-bin-hadoop2.7.tar。
安裝完scala以及spark后，進(jìn)行相關(guān)環(huán)境變量的配置，執(zhí)行vim /etc/profile命令，在其后追加如下環(huán)境變量：
export SCALA_HOME=/usr/local/Cellar/scala/2.12.4
export PATH=$PATH:$SCALA_HOME/bin
export SPARK_HOME=/Users/mengxin/Downloads/spark-2.3.1-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin
(3)進(jìn)行本機(jī)ssh配置，主目錄執(zhí)行以下命令：
ssh-keygen -t rsa -P ""
cat ~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys
執(zhí)行過程如下：
（4）檢測下spark是否能啟動(dòng)
進(jìn)入spark解壓包下的sbin目錄，執(zhí)行./start-all.sh,如下圖
可以在local.out文件下查看相關(guān)的啟動(dòng)情況。
spark啟動(dòng)后，所啟動(dòng)的master以及worker進(jìn)程其實(shí)就是就是jvm進(jìn)程，我們可以用jps命令看一下。
再用spark shell測試下，進(jìn)入到spark安裝包的bin目錄下，如果出現(xiàn)如下界面，則說明spark安裝環(huán)境已經(jīng)大功告成了。
另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。
文章名稱：Mac上搭建spark開發(fā)環(huán)境-創(chuàng)新互聯(lián)
轉(zhuǎn)載注明：http://www.jiaotiyi.com/article/cossdd.html