如何在aws上aws glue实现原理集群计算

在 SegmentFault,学习技能、解决问题
每个月,我们帮助 1000 万的开发者解决各种各样的技术问题。并助力他们在技术能力、职业生涯、影响力上获得提升。
标签:至少1个,最多5个
今天的客座文章是由Colin Hom撰写,Colin Hom是CoreOS的基础设施工程师。CoreOS在CoreOS Linux,Tectonic和Quay上面安全运行容器。这篇文章我们来分享kube-aws这个工具,讨论如何在AWS上部署Kubernetes集群。
在CoreOS,我们尝试将Kubernetes大规模部署到生产中。今天我们来分享一个工具:kube-aws,它可以轻松地在AWS上面部署Kubernetes。kube-aws是一个用来部署可监测、可再生的kubernetes集群到AWS上的工具,目前被CoreOS用来创建生产集群。
我们现在将Kubernetes组件放到一起的方式比较手动。但是,有了这个利器,Kubernetes就可以通过流水线打包来节省时间,同时将程序间的相互影响减到最小,快速创建可用于生产环境的部署。简单模版系统只是用来生成集群配置,来作为一套版本可控、可监测和可重部署的声明性配置模版。由于整个供应是由AWS CloudFormation和cloud-init提供,所以在你这端无需外部配置管理工具。
查看最新版本的kube-aws,点击:,它支持Kubernetes1.2.x。为了让你的集群运行起来,点击查看文档:。
为什么选择kube-aws?因为它的安全性,可监测性和再生性
kube-aws以这三个目标作为初衷来设计的。
安全性:TLS资源在嵌入CloudFormation JSON之前,是通过AWS的KMS加密的。通过为KMS密钥独立管理IAM 协议,操作者可以分开访问TLS secrets和CloudFormation。
可监测的:kube-aws是围绕集群资源的概念创建。这些配置和这些证书代表的是对整个集群的描述。因为KMS是用来给TLS secrets加密,你也可以随时在版本控制中检查未加密的堆栈JSON。
再生性:-export选项将参数化的集群打包到到单个的JSON文件里,由这个文件定义CloudFormation堆栈。如果需要的话,这个文件可以直接进行版本控制,并通过已有的配置工具直接提交到CloudFormation API。
如何通过kube-aws开始
在这个基础之上,kube-aws实现了一个功能,可以让Kubernetes在AWS上面配置得更加易于管理,也更加灵活。以下是一些例子。
Route53 整合:Kube-aws可以管理你的集群DNS记录的配置过程。
cluster.yaml
现有VPC支持:部署你的集群到现有的VPC上面。
cluster.yaml
验证:kube-aws支持cloud-init和CloudFormation定义验证,以及任意集群可以整合的外部资源。举个例子,这是一个拼错参数的cloud-config:userdata/cloud-config-worker
开始之前,查看kube-aws文档:
使用kube-aws的目标就是令产品配置准备就绪。在我们在AWS上面将kube-aws投入产品使用的今天,这个项目在1.0版本之前,还有很多地方需要改进。
容错:AWS上的Kubernetes是个对容错和自愈来说很强大的平台。在接下来的几周里,kube-aws会迎接一个新的挑战:控制面板以及所有其它的完善。
无宕机更新:运用正确的实例替换策略,可以无宕机、更新CoreOS节点和Kubernetes组件,减少相关依赖性。
了解更多关于Kubernetes,可关注CoreOS Fest Berlin:。 ——Colin Hom,CoreOS基础设施工程师
(如果需要转载,请联系我们哦,尊重知识产权人人有责)
0 收藏&&|&&0
你可能感兴趣的文章
本作品 保留所有权利 。未获得许可人许可前,不允许他人复制、发行、展览和表演作品。不允许他人基于该作品创作演绎作品
刚玩免费的aws
刚玩免费的aws
分享到微博?
我要该,理由是:
在 SegmentFault,学习技能、解决问题
每个月,我们帮助 1000 万的开发者解决各种各样的技术问题。并助力他们在技术能力、职业生涯、影响力上获得提升。博客访问: 8120
博文数量: 1
注册时间:
给主人留下些什么吧!~~
请登录后留言。如何在AWS上部署Kubernetes集群_百度知道
如何在AWS上部署Kubernetes集群
我有更好的答案
使用Rancher来运行Kubernetes有很多优势。大多数情况下能使用户和IT团队部署和管理工作更加方便。Rancher自动在Kubernetes后端实现etcd 的HA,并且将所需要的服务部署到此环境下的任何主机中。
采纳率:91%
来自团队:
为您推荐:
其他类似问题
换一换
回答问题,赢新手礼包
个人、企业类
违法有害信息,请在下方选择后提交
色情、暴力
我们会通过消息、邮箱等方式尽快将举报结果通知您。怎么对AWS的集群节点做升级和降级处理_百度知道
怎么对AWS的集群节点做升级和降级处理
我有更好的答案
许多开发者已经求助于Docker容器来实现云端和本地的新应用迭代时的一致性,而且很多应用都要依赖多个Docker容器的编排。而围绕着容器集的启动以及为了让它们能够协作而连带的相关设置和配置又引发了一系列新的挑战。为了弥补这一差距,软件产业一直在向容器管理系统Kubernetes靠拢,它承担了生态体系的职能,实现对容器集的自动化部署。在旧金山举行的KubeCon会议上,专家们讨论了其中一些基于Kubernetes的集群自动化部署的最佳实践和工具。Univa工程总监Cameron Brunner说创建Kubernetes有很多很好的工具,但对一致的集群自动化部署却没有好的路径。“我们喜欢把硬件当作家畜来看待,” Brunner说:“这个我们在app上面一直都是这么听说的。但把你的硬件当作宠物会导致令人不快的内部管理问题。”Univa内部大约有5个集群在跑Kubernetes,每一个都包括多个节点。有一条可靠的工具链有助于快速生成符合一致性的Kubernetes集群,快到能够在数分钟内开发和启动。Brunner说组织需要应对一下问题才能生成一个一致可靠的Kubernetes集群:从什么样的基础操作系统开始?该操作系统是怎么部署和配置的?Kubernetes打算怎样安装和配置?幸运的是,环境中有许多工具支持这一过程,Brunner说。像Atomic和CoreOS这样的不变操作系统已经变得相当稳定。预引导执行环境(PXE boot)未来启动技术可以简化部署。Cloud-Init是一个很好的启动时配置工具。建立一致性Brunner建议要一直通过网络启动你的硬件。这可以在机器出问题或需要升级时快速进行服务开通的再次准备。PXE启动有助于简化这一过程。理想情况下,好的做法是有一个工具去动态生成PXE,而这个东西不是跟PXE一起的。安装不变的操作系统也是一个好的做法。这可以在数据中心做出一致的软件集和一致的环境。Brunner说:“这降低了总体的管理复杂性,理解集群中发生的事情更容易。”在本地托管容器镜像也是好想法。Brunner建议要有一个本地库。另一个好做法是用Cloud-Init管理配置。这样把所有东西放在一个地方会更简单,同时还能有一个不变的OS。这可以用Systemd来集成,完成证书登记、密钥提取等辅助操作,从而建立一条系统启动操作的流水化的工作流。AWS自动化Kubernetes旧金山的程序员Jimmy Cuadra说,在AWS上面以一致的方式部署Kubernetes集群是个挑战。他说,“操作生产集群这个东西我不敢信任,哪怕我尊重Kubernetes团队的艰苦工作。对于我们这些需要管理自己集群的人来说,我们需要更健壮的东西。”Cuadra说,对于在托管应用上面运行来说,Google Container Engine是个好的选择。但在AWS上面进行集群的自动化部署需要更健壮的办法。该问题部分在于与集群的声明式配置工具相关的大多数信息已经过时或包含有失效链接。Cuadra希望能够利用声明式配置文件,在Git上登记生成集群。Cuadra建议用Hashicorp的Terraform。它允许组织使用声明式配置语言去买搜狐资源以及云基础设施的状态,从而匹配Git库里面的东西。控制配置复杂性部署Kubernetes集群方面有很多服务开通问题,这些不是Terraform容易解决的。需要有特别的配置设置来描述容器间相互对话的不同。还要有其他的设置来指定如何对Kubernetes API进行鉴权,给团队不同的人提供分布式访问证书。保持多个Kubernetes实现的状态的工作流也需要管理。为了填补这一差距,Cuadra开发了一个名为KAWS的开源工具,它可以更容易地指定基础设施为代码,且内置一个域名系统。它还生成Kubernetes访问证书,并可以安全地把它分发出去。KAWS是用Rust编程语言开发的。自动化Kubernetes部署的过程从KAWS库(基本上就是一个创建状态的Git库)的创建开始。它还包括了一个密钥导出命令,可以管理团队成员的公钥。这样就可以无需暴露各人私钥的情况下管理用户访问了。Cuadra说此类自动化办法使得在10分钟内筹划和部署一个新的Kubernetes集群成为可能。
为您推荐:
其他类似问题
换一换
回答问题,赢新手礼包
个人、企业类
违法有害信息,请在下方选择后提交
色情、暴力
我们会通过消息、邮箱等方式尽快将举报结果通知您。}

我要回帖

更多关于 aws 价格计算器 的文章

更多推荐

版权声明:文章内容来源于网络,版权归原作者所有,如有侵权请点击这里与我们联系,我们将及时删除。

点击添加站长微信