23
08/2016
Hadoop on Azure (1) - Create a Hadoop in HDInsight
随着数据爆炸时代的到来，单机的容量以及数据处理速度越来越显得无法适从，因此分布式处理平台因运而生。而Hadoop是这些分布式处理平台的佼佼者，它开源、易于扩展。本文主要介绍在微软Azure云平台上搭建Hadoop系统。
1、首先得拥有一个Azure的订阅号。这里我使用Azure China的订阅号。截止到2016年8月，Azure China的新portal无法创建Hadoop，因此我们将使用经典Portal。
2、在Azure 门户的左下方点击新建-》数据服务-》HDINSIGHT-》自定义创建。这里我们选择自定义创建，以便更好地获得我们的配置。
3、在弹出的框中的第1页，输入集群名字，选择集群类型为Hadoop，并选择对应的Hadoop版本。
4、弹出框的第2页中，输入数据节点数目，以及头节点和数据节点的大小。由于我们在测试，因此我选择的是最低的配置。
5、配置集群用户。此用户名和密码得牢记，后续操作将会用到。为简单起见，我们暂时不为集群启用远程桌面。
6、选择存储账户。这里我们创建新的存储账户。
7、最后一步直接点击勾号即可。
8、创建过程可能需要近20分钟。创建完毕后，可以在Portal下方进入Hadoop的查询控制台。如下面所示。
9、在弹出的新窗口处，输入此前设置的用户名密码，进入控制台页面。如下所示，可以看到有Hive编辑页面、历史Job查询、HDFS（对应Azure的Storage Blob）文件浏览、Hadoop UI和Yarn UI
0 条评论