项目管理流程组，

Initiating process group

• Project charter developed
• Stakeholders identified
• Overall direction

plan

• scope, schedule, cost, quality, resources, communications, risk, procurement, and stakeholder management

Executing

• Perform process group activities, allocate resources and teamwork to deliver project deliverables.

Monitoring and controlling process group

• Monitor the project work
• Deviations identified and actions taken
• Objectives within defined

Closing process group

• final acceptance, completing contracts, and archiving project documents.

大数据分布式计算集群搭建

大数据分布式集群架构：

使用Ambari从0-1搭建分布式集群，集群节点可以无限扩，YARN集群模式。

yarn-cluster - 驱动程序将在YARN集群的远程节点中运行，仅在0.8.0之后才支持。yarn-cluster比yarn-client更受欢迎，因为它减轻了zeppelin 服务器的内存压力。

开了两个NODEMANAGERS

图像的储存：

我们通常将图像存储在S3,OBS,HDFS中，在S3中存储压缩图像也是合适的，因为S3限制了单个文件的存储大小。

图像的计算：

在YARN集群模式，使用spark读取HDFS的图像后，在使用pillow或者opencv将spark的图片二进制转为numpy.ndarray，然后就可以对图像进行算法处理。