刘奇:经典数据库亟需跃迁,TiDB 不是“平替”
2023/7/25 2:52:14
本文主要是介绍刘奇:经典数据库亟需跃迁,TiDB 不是“平替”,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
在刚刚结束的 PingCAP 用户峰会 2023 上,PingCAP 创始人兼 CEO 刘奇分享了题为“创新涌动于先”的演讲, 全面解析了 AI 时代 TiDB 的演进方向,宣布 TiDB Serverless 正式商用,并携手用户代表发布了面向中国企业级用户的平凯数据库 。以下是演讲实录全文,阅读需约 8 分钟。
过去一段时间,我拜访了全球各地的客户,聆听他们的挑战和建议,以及 PingCAP 是如何帮助他们解决挑战的。 在这个过程中,我们也看到一些新的技术发展趋势。 当下,AI 技术非常火,到处都是各种各样的 AI Demo,每家企业都在思考这样一个问题: AI 到底有没有可能重塑软件行业?我的答案是——AI 这次真的要重塑整个软件行业了 。
AI 重塑软件行业
作为一家软件公司,我们思考的问题直接体感通常有两个 : 一个是代码,一个是数据 。
先从代码说起,大家有没有意识到, 很多人在过去一段时间不自觉地变成了程序员 。今天,我们向 ChatGPT 提问题,它会给我们一个答案;向它提要求,它会给我们一个结果。比如我们可以让 ChatGPT 做总结、写文章,或者让它生成图片。大家可以回忆一下,在 AI 时代到来之前,所有这些工作都需要用程序去完成。我们需要用各种各样的辅助工具,那些东西都需要编程开发 。而今天,我们没有写任何一行代码,只是提了个需求,结果就有了 。以前,这需要很多程序员很长时间努力才能得到一样的结果。而现在,我们向 AI 发命令、提要求、提问题就能拿到结果,事实上就等于完成了编程工作。现在,自然语言已经成为最热门的编程语言。在过去七个月的时间里,GitHub 上新增代码中已经有超过 46% 是由 AI 生成的。如果从软件开发效率的角度看,AI 实际上已经完成差不多一半的人类工作。
再说数据,我们今年一月份发布了一个 AI 生成 SQL 的产品,叫 Chat2Query(前往 http://tidbcloud.com 立即注册体验),用户使用 Chat2Query 就不需要再写 SQL 了,只要用自然语言描述一下希望得到什么数据,希望做一个什么分析,SQL 便会自动生成,只要在数据库里运行一下,就能得到想要的结果,并且还能用图表化的形式自动展示出来。
上图右侧是 PingCAP CTO 黄东旭在 GitHub 上的个人数据看板。以前要实现这样一个数据看板,需要一个前端程序员、需要一个数据分析人员写 SQL 来分析数据,还需要一个后端程序员部署服务,甚至还需要知道一点云的知识,理解如何把应用部署在云上。到了今天,这 变成一件非常简单的事情,只需十分钟,一行代码都不用写。这是一次巨大的生产力提升, AI 带来的能力让数据消费的门槛变得极低 。以前,我们必须是一个 SQL 的专家,才能分析数据。 有人曾经写过一万多行的 SQL 来处理一个分析需求 ,这个东 西不是人类能轻易掌握的。如今,这个门槛已经降到人人都有可能做到。这意味着我们只要能够连接上电脑,能和 AI 交互,能接触到数据,就可以消费数据。这个数量级可能达到 10 亿人。在接下来的几年里,由数据消费门槛降低带来的数据消费人数的增加,数据消费频次的增长,将使数据呈 10-100 倍规模的增长,这是一个远超我们预期的增速。
AI时代,我们需要怎样的数据库技术?
以上改变,将给数据库带来巨大的挑战, 数据消费的门槛降到人人可用的程度,需要每个人都有一个数据库可用。早在四五年前,我和 CTO 黄东旭探讨过一个话题——如果 PingCAP 要为全世界所有开发者提供一个免费的数据库,那这个数据库的架构应该是什么样?
我们希望这个数据库能够做到 实时在线 ,随时都可以访问,随时都可以用;我们也希望它是一个 开放的生态 ,因为我们不仅仅有存在数据库里面的数据,还有很多存在其他地方的数据,我们需要有一个生态能够和所有数据消费端做更好的对接。
后来,我们形成了一个结论,起码它应该是个云原生的架构。如果不是云原生的架构,我们就没有办法去应对各种各样弹性的需求;今天,一个用户相对容易预测,那为全球所有开发者都提供一个免费的数据库,就意味着我们会有数千万甚至数亿的用户,这个数据库怎么才能做得到?它需要 很强的数据整合能力 ;其次,因为不同用户的需求是不一样的,数据量也不同,我们需要它有 非常强的弹性扩展能力 。
过去这两年的变化特别快,大家感知最直观的可能是宏观经济变化很快,其实除此之外,AI 技术的进步速度也非常快。从 ChatGPT 在去年 11 月底推出,到今天才过去短短八个月的时间。这八个月中已经创造了无数新的纪录,包括一个新的项目在 GitHub 上面获得 Star 的数据、ChatGPT 用户增长的速度等等。
大家在面对大量新技术的时候,都做出了最直观的选择,那就是 拥抱先进性 。过去一段时间我在与美国、日本的客户交流时,最直接的感受是每个人都在讨论两个方向,一个是成本,另一个是效率。在当前经济环境下,这几乎成了所有人的共同选择。
客户的关注点就是 TiDB 的焦点
如果仔细观察 TiDB 发展的轨迹,你就会发现用户对数据库的关注点,其实和 TiDB 实际解决的问题是高度一致的。 TiDB 在稳定性、性能、高可用性、易用性、工具生态的提升等方面付出了巨大努力。但我们认为这件事光努力还不够,我们还需要有一个非常好的演进策略以及分层的架构设计 。
在内部,我们有一个说法叫做 API First ,各个模块之间优先设计 API(接下来我们也会推出更多基于 Open API 规范的 API 测试),有了 API 之后系统就很容易被其他各种各样的业务系统集成。举个例子,各大型用户基于 TiDB 都有自己公司内部的运维平台,通过我们提供的 API 能更好地融合到客户内部的平台里。在日本我和一个客户交流的时候,对方专门提到过这一点。过去他们需要花几天时间才能完成新版本的集成,但有 API 之后只要花几分钟就能做到。
TiDB 整个系统除了模块化的切分, 也做了很好的纵向切割 ,从上到下分成三层。比如 Chat2Query 在最上面一层,这层会更关注整个系统的交互性、易用性,如何让系统更加自动化、更加智能;在 SQL 层主要关注如何提升它的稳定性,让它变得更加智能。比如 TiDB 的优化器如何更智能地选择,到底使用行存还是列存,还是让行列同时使用;最下面是内核层,所有人对此的关注点都一样,就是高可用、高性能。
在内核层,TiDB 的存储引擎使用了一个持续升级的策略——部署一代、研发一代、预研一代 。今天我们听到的所有关于 TiDB 的讨论,其实都是基于部署一代的体感,不少用户还使用着 TiDB 3.0、4.0,而这已经是四五年前的版本了。当然我们也希望用户能更快升级到最新版本,享受到新版本带来的优势,每一个新版本都会带来巨大的性能和稳定性提升。7.0 版本发布的实验特性 Partitioned Raft KV 就带来了巨大的性能提升。前面预测未来几年数据会扩大 10 倍,部分领域会扩大 100 倍,在如此大的数据规模下面我们的数据库能力是不是也能同步扩大 10 倍、100 倍?这是 Partitioned Raft KV 解决的问题。我们预研一代的存储引擎 Cloud Storage Engine 已经在后面要提到的 TiDB Serverless 中应用,我们的 CTO 黄东旭在后面的演讲和 Blog 中都有详细的解读。
如果大家留心就会注意到,过去一年时间里 TiDB 的 Online DDL 的速度提升了 10 倍。设想一下,我们有一个 100TB 的表,加一个索引要多久?对系统资源的消耗又是什么样的?除了 DDL,还有一点是 TiDB 的扩缩容的速度在这个引擎里面提升了 5 倍,这也意味着数据丢失的风险降低 5 倍,业务中断的风险降低 5 倍。
平替还是跃迁? TiDB产品家族的协同演进
经过多年发展, TiDB 目前已经拥有三大产品家族 :一是 面向企业级市场的 TiDB 企业版 ,服务于企业级关键业务场景;二是 全托管的 TiDB Cloud ,提供云端一栈式 HTAP 数据库服务,已经成为欧洲、北美、日本、亚太地区众多数字原生企业的选择;三是刚刚正式商用的 TiDB Cloud Serverless ,一个 AI Ready 的数据库,以极 简架构、极致体验和超低门槛为云上开发者、创业公司提供低至零成本的选择,较 TiDB 社区版 和 MySQL RDS 更具成本优势。
TiDB 是如何在多个版本间协同演进的?从上图可以看出,最上面有一个 TiDB 的 Open Core,TiDB 的所有这些版本都是基于共同的 Root 生长出来,去适应不同的客户和不同的使用场景。
TiDB 企业版已经拥有很多大行、大型企业的使用经验,他们有些是从数据库一体机迁移过来的,在迁移过程中和 TiDB 一起积累了大量的迁移经验。最近 MySQL 5.7 马上就要结束产品生命周期(End of Life)了,用户应该怎么办?换一个数据库平替一下?我们的思路不一样, 我们希望的是用户不仅仅是从 MySQL5.7 迁移到 TiDB,更要关注的是他迁移过来之后的获得的价值到底是什么 。
我们希望 TiDB 提供的价值是“ 可持续、可扩展、可整合 ”。很多企业都有大量的 MySQL 5.7 ,有成百上千个 instance,管理和维护它们都是非常复杂的事情。TiDB 提供了资源共享的多租户能力,我们可以把更多的 MySQL 实例整合到一个或者多个 TiDB 集群,极大提升资源利用率,从而降低硬件成本,同步降低管理集群的成本。最近我们和一个客户交流,他们有很多 MySQL 实例,有的利用率不高,就直接降级,从原来的 8C 配置,直接降成 4C 或 2C 配置。过了一段时间,业务这边有个流量把系统卡死了,再给升级一下。过一段时间流量又下来了,再降级。这就很头疼,运维和开发的关系就很难处,降本增效的压力很大。这么多的 MySQL instance 一旦迁到 TiDB 上面,基于 TiDB 本身的资源共享能力,流量超了几倍都没问题,这就可以带来非常显著的降本增效。
接下来是 TiDB Cloud,它在过去几年里得到了全球客户的认可,包括欧洲最大的移动出行公司 Bolt,北美新锐的 SaaS 公司 Catalyst,印度最大的电商 Flipkart,日本著名的游戏公司 CAPCOM 等等。
最后是 TiDB Serverless。四年前,我亲手写下第一行源代码,探索新一代云上 Serverless 架构,这是预研一代的成果。非常幸运,预研一代的速度远远超出我们的预期,它现在已经正式商用了。 过去几个月的时间里,TiDB Serverless beta 版已经拥有超过 1 万个活跃的集群 。
Serverless 带来了什么样的价值和能力呢? 第一,低成本零元起步 。TiDB Serverless 完成了 PingCAP 的一个梦想, 我们有能力为全球每一个开发者提供一个免费的数据库 。
我想稍微分享一个内部的小故事,最早 TiDB Cloud 的 free tier 成本是现在的 100 多倍。我们内部有个笑话,自己总是调侃说我们是“贵司”。“贵司”是什么意思呢?TiDB “贵”。因为比较的对象是 MySQL,作为一个分布式系统,TiDB 跟一般的系统比成本肯定高,起步就三个副本,还有计算层、调度层,跟单机比肯定是贵了。很幸运的是, TiDB Serverless 出来之后“贵司”终于不“贵”了。得益于 TiDB Serverless 采用的完全分离式的架构,不仅仅做到了存算分离,我们还做到了 算算分离、存存分离 ,整个系统的弹性非常强,同时它的使用异常简单,用户体验非常好。我们收到大量用户的赞誉,超出了自己的预期。
大家都希望把自己的时间精力投资在自己的创新上面,投资在自己的业务上面,尽量不想再花时间在数据库上面,将所有复杂的事情都交给系统,交给 PingCAP 完全自动化处理。过去,大家可能会很好奇,这听起来好得有点过了,能做到吗?凭什么?
TiDB Serverless 为什么比社区版更便宜?
今天我们在云上面使用数据库或者使用传统的 RDS,不管是什么数据库,本质上都是买一个虚拟机,按照最高的峰值要求配置,不管你的业务现在跑的是什么量,哪怕 CPU 利用率是 1%,你也必须为它的 100% 利用率付费。这就是一个传统的计费模式,永远为最高的峰值付费。
TiDB Serverless 的创新在于,你永远只为你正在使用的资源付费 。举个例子,你现在假设有 10 TB 的数据跑在 TiDB Serverless 上面,你没有任何访问,那所有的计算节点全部会被自动 shutdown,但你可以在百毫秒的时间内就马上让它启动提供服务。这是一个巨大的进步,用户仅仅为使用付费,使用曲线长什么样,TiDB 的计费就会长什么样。这就是为什么 TiDB Serverless 能够做到比现在的 RDS,比云上面部署社区版还要便宜 ,只要这个 CPU 的利用率低于 20%,全自动的弹性就会带来巨大的成本优势。
今天,不管你使用的是经典的单机数据库、开源数据库还是云端的数据库,TiDB 都提供了成本更低,扩展性更强,更加省心的选择。
面向中国企业级用户,发布平凯数据库
TiDB 源于中国,很多关键特性也来自于中国复杂的用户场景,毫无疑问中国市场就是 TiDB 的根据地和大本营。最近我们和很多中国用户沟通交流,他们给了我们非常多的反馈,很多反馈都非常有价值,特别是对于 TiDB 未来发展的预期和展望。我们发现,TiDB 企业版经过五年的打磨,更多是面向全球用户提供通用性的功能,但是这些功能对于中国企业级用户来说还远远不够。
当下,随着 TiDB 逐步进入中国用户的核心场景以及 TiDB 规模化进入国产化生态, 面向中国企业级用户的“平凯数据库”正式发布了 。
简单来说, 平凯数据库主要包含 TiDB Open Core 的稳定内核以及满足中国企业用户的增强级企业功能 。第一,提供国产化需求的企业级功能,包括图形化管控平台、全链路数据迁移平台、安全特性等等;第二,提供更完善的国产化生态系统的接入功能,包括国产软硬件的适配,比如操作系统、服务器等等;第三,提供更完善的国产化企业级服务支持能力。
未来, 我们希望平凯数据库站在 TiDB LTS(长期支持版)的基础上能为中国的客户带来更好的价值 ,我们希望这个过程是开放的,会定期在国内各个区域组织用户讨论交流的活动,我们希望大家能一起参与到未来平凯数据库的建设中来。
这篇关于刘奇:经典数据库亟需跃迁,TiDB 不是“平替”的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-12-23Fluss 写入数据湖实战
- 2024-12-22揭秘 Fluss:下一代流存储,带你走在实时分析的前沿(一)
- 2024-12-20DevOps与平台工程的区别和联系
- 2024-12-20从信息孤岛到数字孪生:一本面向企业的数字化转型实用指南
- 2024-12-20手把手教你轻松部署网站
- 2024-12-20服务器购买课程:新手入门全攻略
- 2024-12-20动态路由表学习:新手必读指南
- 2024-12-20服务器购买学习:新手指南与实操教程
- 2024-12-20动态路由表教程:新手入门指南
- 2024-12-20服务器购买教程:新手必读指南