智领云云原生Kubernetes大数据平台KDP,高效助力企业降本增效
(相关资料图)
随着经济社会数字化发展的进程,大数据平台已经成为企业数字化管理中不可或缺的一部分。Kubernetes Data Platform(KDP),是智领云自主研发的,市场上首个可完全在Kubernetes上部署的容器化云原生大数据平台。
统一管理平台CDP与KDP
在过去企业使用的统一管理平台是Cloudera Data Platform ,即CDP。CDP的管理逻辑是把各种大数据组装起来,进行统一的管理。KDP也是把大数据组件整体的安装、发布、运营、开发、使用管理起来。CDP与KDP最核心的区别在于系统的开放性。CDP是一个封闭的系统,Cloudera支持什么系统,就可以集成到CDP里面。相比之下,KDP是开放的,其底层全部是Kubernetes,好处在于所有的组件都可以进行标准化管理。只要能跟Kubernetes对接,就可以对接至管理平台中。
“目前大数据的组件是由各个组件公司开发,中间管理层是欠缺的,KDP所扮演的角色是一个中间管理层。”智领云CEO彭锋告诉记者,中间管理层的本质是把所有的大数据组件管理起来,让人们能够很方便地使用。过去大数据组件的不标准导致中间管理层难以实现,比如Hive是Hive的发布方式,Spark是Spark发布方式……大家都用自己的一套发布管理方式。作为统一管理平台的Cloudera所涵盖的范围也仅仅是适应其标准的组件。有了Kubernetes之后,所有的发布管理方式标准化,使得中间管理层的出现才成为可能。
打造云原生大数据平台
彭锋还介绍了KDP的产品优势。一是共享资源池与混合编排,集群资源作为一个可共享的资源池,实现实时/离线作业的混部,集群资源利用率相较于传统大数据平台的30%提升到60%;二是标准化配置管理,采用统一的Kubernetes文件配置方式,对大数据组件进行标准化的配置管理,简化大数据组件与Kubernetes集群的集成;三是自动化安装流程,通过标准化配置文件自动执行大数据组件到Kubernetes集群的步骤、更新、运维、升级等操作,降低大数据平台的部署复杂度;四是灵活调度策略,采用Volcano作为一级调度、Kubernetes作为二级调度进行调度机制的灵活、精细化管理,并实现大规模作业调度的低延时;五是弹性扩容,利用Kubernetes的弹性扩容技术,从容应对计算作业的性能瓶颈,实现计算资源及集群资源的动态扩容;六是标准化运维,基于Kubernetes标准的Operator操作方式,统一运维界面完成大数据组件的部署、升级、扩容、备份等操作,提升运维效率。
彭锋表示,KDP助力企业在降本增效的同时,高效打造云原生大数据平台,赋能数字化建设。