Akka构建简单的Spark通信框架

通过 Akka 构建简单的 Spark 通信框架

实现思路:

1. 构建Master、Worker阶段

• 构建 Master ActorSystem、 Actor
• 构建 Worker ActorSystem、 Actor

1. Worker注册阶段

• Worker进行向Master注册(将自己的ID、CPU 核数、内存大小(MB)发送给 Master)

1. Worke定时发送心跳阶段

• Worke定期向Master发送心跳消息

1. Master定时心跳检测阶段

• Master定期检测Worker心跳,将一些超时的Worker移除,并对Worker按照内存进行倒序排列

1. 多个Worker测试阶段

• 启动多个Worker,查看是否能注册成功,并停止某个Worker查看是否能正常移除