为什么Spark要用Scala实现
发布网友
发布时间：2022-04-23 10:05
共1个回答
热心网友
时间：2023-09-10 08:14
1、spark和scala真的是非常完美的配搭，RDD的很多思想与scala类似，如完全相同概念List的map、filter等高阶算子，很短的
代码就可以实现java很多行的功能；类似于fp中的不可变及惰性计算，使得分布式的内存对象rdd可以实现，同时可以实现pipeline；
2、scala善于借力，如设计初衷就包含对于jvm的支持，所以可以很完美的借java的生态力量；spark一样，很多东西不要自己写，直接使用、借鉴，如直接部署在yarn、mesos、ec2，使用hdfs、s3，借用hive中的sql解析部分；
3、还有akka方便开发高效的网络通讯。
