IT虾米网

windows之Spark EC2 对 Windows 的支持

powertoolsteam 2023年11月10日 编程语言 245 0

所有关于在 Amazon EC2 上部署 Spark 集群的文档都是与 Linux 环境相关的。但是,目前我的分布式项目依赖于一些 Windows 功能,我想开始使用 Windows 集群,同时进行必要的更改。 p>

我想知道是否有任何方法可以让我们以相对类似于 spark-ec2 脚本的方式在 EC2 上部署 Windows Spark 集群由 Spark 提供。

请您参考如下方法:

spark-ec2 目前仅支持使用 specific Linux AMIs 在 EC2 中启动集群,因此目前无法使用该工具部署 Windows Spark 集群。我怀疑 spark-ec2 是否会具备这种能力,因为它使用的所有设置脚本都假定为 Linux 主机。

也就是说,Databricks 最近宣布了一项 community-managed index of Spark packages ,人们一直在添加东西。比如已经有一个包让你launch Spark clusters on Google's Compute Engine .

虽然目前似乎没有适合您的东西,但我会密切关注该社区索引,寻找可以让您在 EC2 上启动 Windows Spark 集群的东西。


评论关闭
IT虾米网

微信公众号号:IT虾米 (左侧二维码扫一扫)欢迎添加!