当前位置: 主页 >> 资讯 >> 平面轴承

livy世界杯0387如何打包Livy和

发表于：2024-05-14 12:07:04 来源：宏馨资讯

温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。

Fayson的github：

https://github.com/fayson/cdhproject

提示：代码块部分可以左右滑动查看噢

1.文档编写目的

Fayson在前面文章《

Livy，基于Apache Spark的开源REST服务，加入Cloudera Labs

》、《

如何编译Livy并在非Kerberos环境的CDH集群中安装

》、《

如何在Kerberos环境的CDH集群部署Livy

》、《

如何通过Livy的RESTful API接口向非Kerberos环境的CDH集群提交作业

》及《

如何通过Livy的RESTful API接口向Kerberos环境的CDH集群提交作业

》中对Livy的介绍、安全与非安全集群的部署以及使用。前面的部署方式相对比较麻烦且不便于管理，本篇文章Fayson主要介绍如何使用脚本打包适用于Cloudera的Livy和Zeppelin的Parcel。

测试环境1.CM5.15.0和CDH版本5.14.2

2.Livy0.5.0

2.环境准备

在进行Livy的Parcel包生成前，我们需要准备打包Parcel脚本的运行环境，确保有公网环境，因为编译Livy时需要下载依赖包。

1.编译依赖Java环境（JDK7或更高版本）

export JAVA_HOME=/usr/java/jdk1.8.0_131export PATH=$JAVA_HOME/bin:$PATHexport CLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tool.jar:$CLASSPATH

（可左右滑动）

2.安装Maven环境(maven3)，用于下载依赖包

export MVN_HOME=/usr/local/mavenexport PATH=$MVN_HOME/bin:$PATH

（可左右滑动）

3.生成manifest.json文件依赖Python环境（2.7/3.3或更高版本）

3.打包Livy和Zeppelin的Parcel包

在GitHub上有提供脚本来打包Livy和Zeppelin的Parcel，地址如下：

https://github.com/alexjbush/livy_zeppelin_cdh_csd_parcels

接下来我们就利用上面的脚本来打包Livy和Zeppelin的Parcel，生成Livy和Zeppelin的Parcel包步骤：

下载Livy和Zeppelin源码并编译生成Livy和Zeppelin的Parcel包下载编译Cloudera提供的cm_ext工具，用于校验parcel及生成manifest.json文件生成Livy和Zeppelin的csd文件，用于CM对Livy和Zeppelin服务的识别1.使用git命令将GitHub上脚本clone到本地

[root@cdh05 disk1]# git clone https://github.com/alexjbush/livy_zeppelin_cdh_csd_parcels.git

（可左右滑动）

2.进入livy_zeppelin_cdh_csd_parcels目录，运行如下命令

[root@cdh05 disk1]# cd livy_zeppelin_cdh_csd_parcels/[root@cdh05 livy_zeppelin_cdh_csd_parcels]# sh build.sh parcel

（可左右滑动）

等待命令执行完成，默认使用的livy版本为Apache官网的0.5.0版本。

默认使用的Zeppelin版本为0.8.0

命令执行成功后在当前目录下生成了Livy和Zeppelin的Parcel包

3.执行脚本生成Livy和Zeppelin的csd文件

[root@cdh05 ~]# cd /data/disk1/livy_zeppelin_cdh_csd_parcels/[root@cdh05 livy_zeppelin_cdh_csd_parcels]# sh build.sh csd

（可左右滑动）

命令执行成功，如下生成了Livy和Zeppelin的csd文件