【观察】腾讯云领跑对象存储背后,做海量数据驱动的新引擎

申耀的科技观察 @ 2020/12/31


申耀的科技观察

读懂科技,赢取未来!


毫无疑问,随着云计算、大数据、人工智能、物联网等新技术在各行各业更加广泛的普及与应用,在催生越来越多数据量产生的同时,也让数据的管理和价值挖掘变得愈加复杂和困难。

可以看到,未来大量数据可能不是来自数据中心内部,而是分散在各种的边缘设备上;同时,数据不仅仅是完成存储就万事大吉,还要支持智能化的管理和分析;此外,数据还需要在本地数据中心与云之间,甚至是多个云之间自由流动,以确保数据始终随时可用等,这种前所未有的变化,也意味着存储乃至整个数据基础设施迎来了一个关键的重构期。

在此背景下,腾讯云今年推出了面向对象存储服务COS的新一代存储引擎YottaStore,并依托YottaStore陆续发布了全新的一站式数据湖、智能分层和深度归档等服务,可以说YottaStore不仅成为腾讯云存储服务的坚实技术“底座”,同时更为众多客户海量数据的存储和管理创造了无限的可能。

腾讯云存储产品中心副总经理陈峥

正如腾讯云存储产品中心副总经理陈峥日前在腾讯Techo Park开发者大会上所言:“腾讯云在过去的十年中,基于自身业务发展夯实了存储技术底座,在开放兼容的趋势中提升了存储产品的能力。而下一个十年,是产业互联网的十年,我们也衷心希望能和腾讯云的客户一起腾云而上,为客户提供更好的存储服务。”

在这背后,正是腾讯云一直以来在存储领域“与时俱进”积极响应用户需求的最新举措,也是其跟随产业互联网时代不断进化和迭代的具体体现,相信这种持续的前瞻力、创新力和产品力,将为腾讯云在存储市场实现“长跑”乃至“领跑”起到更加至关重要的作用,也将会为释放数据更大潜能发挥出更为关键的价值。

打造新一代存储技术底座

随着数字化转型的提速,越来越多的海量数据正呈现出爆炸式增长,企业的存储基础设施也正面临着“翻天覆地”的变化,特别是新的数据形态、新的部署环境、新的安全需求,都对存储的发展提出了新的挑战。

这种挑战对于腾讯云而言主要表现在两个方面:一方面是如何在满足数据飞速增长、对功能、性能的要求不断增加的情况下,持续降低成本、并提升服务质量;另一方面,是腾讯云如何在充分享受硬件发展红利的同时,也能够持续分享给最终的客户?

陈峥说:“最早我们研发了TFS存储引擎,这个存储引擎在腾讯也有超过十年的历史,但是随着整个腾讯的业务越来越多,数据量越来越大,我们发现原有的架构在未来几年应对不了ZB级数据存储的需求,因此面向未来就必须未雨绸缪,YottaStore引擎也就应运而生。”


据了解,腾讯云新一代存储引擎YottaStore于2018年开始启动研发,2019年正式完成上线,这是一个完全由腾讯自研的面向百EB级别的分布式存储架构。其中,Yotta的中文谐音是“有他”,代表了安全可靠的意思,而在腾讯内部,也有“存储有他,能力无限”的说法,而YottaStore也在三个维度实现了重大的技术突破,具体而言:

一是,超大规模集群,极高资源利用率。传统分布式存储系统往往存在这样的瓶颈,即单机无法承担过高的QPS、元数据量大但单机容量有限、内部逻辑往往非常复杂,此前也有社区尝试突破这种瓶颈,比如通过垂直拆分Federation,但依然无法解决数据分布不均匀、请求分布不均匀等问题。

而YottaStore通过分级自治、读写分离以及按功能拆分等创新,化解了上述难题,目前YottaStore单集群规模就可达百万台,有效数据占比90%以上,存储数据规模高达百EB级别,可靠性远超 12 个 9,可用性超过 99.995%,还为客户提供了单Bucket高达6万的请求 QPS,为满足客户云上大数据分析需求提 供了底层能力支撑,在云上形成数据闭环。

二是,极致灵活,支持原生多AZ且硬件自适应。YottaStore支持原生多AZ、任意副本和EC的冗余模式。原生多AZ的优势在于,所有的服务器可以共同承担数据的吞吐量、数据一致性天然有保障,AZ出现故障降级即可,系统能够自动恢复,其中RTO(恢复时间目标)可实现分钟级,RPO(恢复点目标)为0。

除此之外,YottaStore也支持异构硬件自适应混合部署,同时代码零改动就能兼容新硬件,包括存储引擎、写入分配、数据均衡、可用区划分以及服务器部署都能自适应。


三是,集群高度自治,具备100%可用性,单人值周零故障运行。YottaStore开始上线大规模支撑业务的前三个月,一直维持100%的可用性,到现在运行近两年时间,系统一直都是单人值周零故障运行,这在业界也是极少见的。可以说这种高度自治的能力,实现了更方便的运维、更高的可靠性(12个9)以及更好的可用性(4个9)。

在陈峥看来:“YottaStore在技术创新是相当前沿的,同时也在成本、性能、安全上提高了一个台阶,可以说是腾讯未来的关键存储技术底座,目前腾讯云的对象存储都是基于YottaStore实现的,更关键的是它还提供了标准的API和SDK以及生态工具,合作伙伴及客户只需要通过S3的标准协议,或者是使用COS API,就能够在其平台上开发部署相关的服务和功能。”

对象存储服务再树新标杆

确实如此,正是有了YottaStore的“加持”,使得腾讯云存储服务COS近期推出的一系列全新产品和解决方案,不仅具备了更为强大的市场竞争力,且在市场上也再次树立了一个全新的标杆。

首先,是极具性价比的深度归档服务,其费用仅为0.01元/GB/月,再次刷新了业界的最低价格(此前业内公有云服务商最低价格为0.024元/GB/月),相比本地磁带库归档总体TCO还下降了20%,同时稳定性也高达11个9,且能够12小时即可回热,在易用性方面还支持全套API,SDK以及10+家外部备份软件,广泛适用于适用于合规性数据、异地容灾、数据备份等业务场景。


除此之外,腾讯云存储团队也在深度归档服务“软硬件优化”方面下足了功夫。其中,硬件优化方面启用了全新的高密度存储介质,发挥了存储介质的优势;而软件优化方面则采用了全新的数据压缩技术,由此让存储密度获得最大化的提升。

其次,是全新推出的智能分层技术,在云存储服务市场也属于首创。该技术主要针对未知访问模式,通过对频繁访问和不频繁访问的数据进行分层,根据访问需求自动地将连续30天(可配置)未访问的对象移至不频繁访问层或移回频繁访问层,能够帮助用户降低20%的成本。同时,还提供首字节毫秒级响应能力,企业即使在不断变化的访问模式下,也可以节省资金,且不会影响业务性能。此外,智能分层技术也提供高达12个9的存储数据持久性,以及4个9的业务设计可用性,真正为存储业务实现“保驾护航”。

客观的说,随着海量数据的不断增长,应用场景的不断变化,这种通过智能分层技术重构存储访问模式,相比传统在硬件上实现分层存储架构的方式,无论是在理念上还是技术创新上,都可谓“再上一层楼”,这样不仅能够最大化的提升应用访问的性能和响应速度,同时也能进一步降低TCO成本,真正驱动了数据管理进入了精细化的时代。

第三,是一站式数据湖服务,腾讯云基于安全可靠、低成本、高吞吐的对象存储平台,也推出了涵盖了数据的集成、存储、分析、展示等多个阶段的一站式数据湖服务,可以满足用户低成本、高性能、流批一体地挖掘数据资产价值的需求。


与此同时,腾讯云对象存储服务也能将日志流、数据表、图片音视频等异构数据放在对象存储上,并基于腾讯云的弹性 MapReduce 等大数据产品进行数据分析,通过存算分离的架构,解决业务弹性伸缩问题,进一步减少企业成本。

最后,腾讯云存储还在对象存储缓存加速解决方案、数据安全、云硬盘CBS、文件存储CFS、数据协作平台、容器存储持久化等细分领域不断创新,为海量数据的存储和管理提供了更加全方位的服务。

以一站式对象存储缓存加速解决方案TurboFS为例,该方案集成DataCache和MetaCache能力,能够提供海量存储的高性能、原子性、一致性的文件系统;提供Pre-fetch预热功能,能够同步和异步写能力,定制化管理元数据;此外,还提供近数据端的计算能力,加速查询性能,且支持不同列式的存储格式,无缝衔接诸如TensorFlow、Spark、Persto等大数据应用。

再如,越来越密集的单节点容器部署,越来越高的容器启停频率,对单节点存储的性能密度要求越来越高,同时超大规模容器集群的核心数据服务,对存储的时延和性能也有极高的要求,为此针对这种全新的场景,腾讯云同样推出了具备百微秒时延/百万IOPS的极速型云盘, 对IOPS和带宽、稳定性、时延做出大幅优化,能够最大支持5000节点和15万Pods的快速启动。

由此可见,如此密集的存储服务产品和解决方案的全面升级和迭代,可以说是腾讯云存储技术创新和技术红利叠加效应释放的集中体现,背后更是腾讯云存储一直以来在自研架构、软硬件协同、以及在创新之路上不断追求“极致”的最好印证。

为海量数据创造无限可能

值得一提的是,通过不断降低存储技术和数据管理解决方案的使用门槛,腾讯云存储也让越来越多的客户享受到了腾讯云技术创新所带来的红利释放。

以头部社交电商平台小红书为例,其月活数据超过1亿,每天笔记曝光量达到80亿次。面对爆发式增长的业务场景,小红书研发团队构建了一个基于对象存储的数据湖,利用公有云弹性计算的能力完成AI训练和学习,为推荐、广告和搜索等业务提供模型支撑,同时也需要解决海量大数据计算下对性能成本的弹性需求从而减少业务成本。

通过腾讯云,小红书开发团队构建了可拓展的数据接入集群,实现了弹性伸缩能力,完成对用户行为数据的实时分析和推荐后,将有效数据以更低成本进行了存储,满足了小红书业务可拓展、高吞吐和低成本的要求。

新东方AI研究院负责人张建鑫

不仅如此,新东方AI研究院负责人张建鑫对腾讯云的对象存储能力也给出了充分认可。特别是在今年疫情期间,腾讯云针对在线教育行业客户提供存储处理一体化解决方案,快速支持了新东方将线下课程搬到线上的需求,保证了新东方直播/点播业务的稳定运行。同时,在新东方APP和新东方内容平台的合作上,腾讯云分布式存储和弹性扩容计算能力也显著提升了新东方系统服务的稳定性,改善了学生线上作业的学习体验。

而知乎数据架构平台离线架构存储专家刘晓龙,在谈到与腾讯云的合作时同样表示,腾讯云计算与存储分离方案发挥计算弹性伸缩能力,帮助知乎满足业务对计算资源的灵活调度,相信双方在后续合作中,一定会给广大知乎用户带来更良好的产品体验。

知乎数据架构平台离线架构存储专家刘晓龙

对此,陈峥最后也表示:“过去一段时间,我们不仅自研了新一代存储引擎YottaStore,同时还在成本、性能、安全三个最为本源的基础能力上不断打磨和优化,就是希望能把这种技术创新做到‘开箱即用’,让更多的客户也能享受我们腾讯云存储创新的红利,而接下来围绕对象存储COS的生态建设,包括在大数据、混合云存储、云原生存储等领域,腾讯云也会不断的展开探索与创新,最终的目标是打造数据全生命周期的闭环,最大化的释放数据的潜能和价值。”

全文总结,产业互联网时代的来临无疑赋予了整个存储市场更大的活力,同样也给腾讯云存储带来了前所未有的机遇。而在此过程中,腾讯云存储始终保持着不断的投入与创新,进化与迭代,以及对行业需求的前瞻认知和准确判断,这让它真正有能力,也有信心帮助更多企业可以更简单、更从容的实现数字化转型,并在产业互联网时代建立起全新的竞争力。从这个角度来看,腾讯云在存储领域的持续创新,其价值可谓“不止于现在,更关乎未来”。



申耀的科技观察,由科技与汽车跨界自媒体人申斯基创办,18年企业级媒体工作经验,专注产业互联网、企业数字化、渠道生态以及汽车科技内容的观察和思考。



English:

淘宝精选