适合自己的才是最好的

适合自己的才是最好的,最近在搭建本地企业级Hadoop集群,做下面小结。

硬件

企业级服务器和普通家用电脑不一样,服务器需要24小时一直开着,365天不间断的运行。普通家用电脑提供不了这样的服务,所以服务器硬件一定要达标,足够强悍。

除此之外,服务器必须放在恒温恒湿、防尘的机房中,保证通风良好、供电充足。

网络这块,一般必须要拉专网专线,买独立IP。

以上的配置如果不达标,会增加了服务不稳定因素。

如果觉得成本太高,可以使用IDC托管服务器的方法,降低成本。

软件

通常使用HDP或CDH来整合大数据中各个开源组件,为什么呢?试想一下,手动部署一个100个节点的集群那会是一个什么样的情景。

这里我用的是CDH,CDH对我来说易上手,它可以很容易解决上面的问题。除此之外,CDH还可以帮我们监控节点状况,自定义报警规则,对于后期的运维来说十分方便。

人力

解决了硬件和软件的问题,后面我们需要考虑的就是人力。

让Hadoop运行起来,必须至少有一个3~5人的小团队,不然后期维护、开发都可能会因为人力不足导致生产效率过低。

小结

由于资金及很多原因,很遗憾没有让Hadoop在毕埃慕生根发芽。

最终我们的解决方案是MaxCompute + DataWorks + quickBI,针对公司当前的情况我列了一下几点原因:

1.资金并不是十分充裕,能省一点就剩一点
2.将维护成本给ali,这或许是当下最快解决问题的方案
3.因为DataWorks和MaxCompute的易用性,节省了人力,可能1~2人就能玩转了

上面的套路很适合资金、人力匮乏的发展中及小型企业