Talend 创建集群连接元数据


在本教程中,你将学习到如何通过连接ClouderaManager来自动创建Hadoop集群元数据。

本教程使用Talend Data Fabric Studio v6;Hadoop集群:ClouderaCDH v5.4。

1 新建Hadoop集群元数据定义

1)首先选择集成透视图

2)在ProjectRepository中,展开Metadata,右键单击HadoopCluster,然后单击CreateHadoopCluster,打开向导。

3)在HadoopClusterConnection向导的Name字段中,输入MyHadoopCluster。在“用途”字段中,键入Clusterconnectionmetadata,在“描述”字段中,键入Metadata并连接到ClouderaCDH5.4集群,然后单击“下一步”。

这一步的目的是打开Hadoop配置导入的向导窗口。

2 选择自动配置方式

1)在Hadoop配置导入向导的窗口发列表中,选择Cloudera,然后在版本列表中,选择4(YARNmode)。

这一步的操作有几种方法同样可以创建Hadoop集群元数据:

  • 通过从Ambari或ClouderaManager检索配置进行自动配置
  • 通过从Hadoop配置文件导入配置进行自动配置
  • 手动配置

2)选择自动配置方法:在Option面板中,选择RetrieveconfigurationfromAmbariCloudera,然后单击Next。

3 连接到ClouderaManager

ClouderaManager是用于管理ClouderaCDH集群端到端应用程序。

连接到ClouderaManager即可检索连接信息创建相应的元数据

1)连接ClouderaManager。

在ManagerURI(withport)框中,键入http://clusterCDH54:7180。在用户名和密码框中,键入admin并单击连接。此时,名为Cluster1的集群出现在已发现集群列表中。

2)单击Fetch检索已发现的集群配置。

向导窗口会检测配置文件并列出相应的条目

在本教程中,我们将保留默认配置并为YARN、HDFS、Hive和HBase创建元数据定义。

3)点击Finish,将配置导入到创建好的Hadoop集群元数据中。

4 创建对应的元数据

1)在HadoopClusterConnection向导的身份验证面板中,输入用户名student,然后单击CheckServices。检查Hadoop服务窗口打开。Namenode和资源管理器状态为100%。

2)关闭检查Hadoop服务窗口。要关闭HadoopClusterConnection向导并创建元数据,请单击Finish。

5 查看在Repository中创建的元数据

1)在存储库中,展开HadoopCluster。

2)展开名为MyHadoopCluster的主定义,它对应于YARN服务。展开HBase、HDFS和Hive。

现在可以在Talend中使用元数据定义了。


评论区(0)

评论