WarpStream通讯第4期：数据管道、零磁盘架构、自带集群及其他新功能

欢迎阅读 WarpStream 第四期通讯。自上一期通讯以来，我们发生了许多事情：我们发布了五篇新博客，发布了一系列产品更新，并新增了一些社交渠道（如 Facebook 和 YouTube）。请通过我们的社交媒体和其他平台与我们互动，通过邮件底部社交栏中的链接关注我们，及时获取最新消息。

WarpStream管理的BYOC集群数据流介绍

对于WarpStream BYOC集群，托管的数据流管道为Bento提供了一个完全托管的SaaS使用体验。因此，Bento是一个轻量级的流处理框架，提供了类似Kafka Connect的许多功能，同时保持了BYOC部署的成本效益、数据主权和部署灵活性，并包含版本控制功能。

像素联邦的移动游戏拥有数百万用户，你可以想象他们有多少活动和Kafka主题要处理。通过用WarpStream替换MSK，他们不仅大幅降低了成本，还能够抛弃复杂的VPC对等设置，转而使用更简单的代理组配置。

想了解更多关于WarpStream吗？

预约一下通话

在之前的博客中，我们讨论了分层存储无法解决Kafka问题。最终目标并非是使用某些磁盘，而是实现零磁盘。我们介绍了WarpStream的零磁盘架构（ZDA）详情点击这里，它允许你轻松实现Kafka代理节点的自动扩展，通过代理组来隔离工作负载，并且可以轻松地在您的虚拟私有云（VPC）中运行整个数据流，而无需编写自定义代码或增加额外服务。

WarpStream的BYOC模型是一种混合方法，平衡了两种常见的云部署模型（完全自管理与完全托管的SaaS）。将软件分为独立的数据平面和控制平面，确保数据隐私和主权、合规、成本控制和灵活性。

试试 WarpStream（瓦普斯特流），免费赠送 $400 信用额度

免费试用

在构建基础设施即服务产品时，一个常见的问题是，需要在许多不同的地区提供高度可用和隔离的资源，同时，整个产品需要给最终用户一个“[单一控制面板]”的感觉。我们将回顾可用的解决方案，并最终选择了基于推送的复制技术。

BYOC的用户现在能够使用Managed Data Pipelines。这些结合了WarpStream控制平面的能力与Bento，一个开源流处理平台。

这提供了与Kafka Connect相似的许多功能，以及额外的流处理功能，如单条消息转换功能、聚合、多路复用、丰富化和对WebAssembly（WASM）的原生支持功能。

管道在您的VPC和VM中运行，数据在您的存储桶里被处理。WarpStream对这些数据没有任何访问权限。WarpStream提供了一个方便的用户界面来创建和编辑管道，支持动态暂停和恢复管道操作，并且具有版本控制功能。

我们几乎每个版本都会新增一些指标，并淘汰一些不再需要的指标。以下是一些新添加的重要指标。你可以查看我们官方的变更日志以了解完整的指标列表。

• warpstream_consumer_group_generation_id = 此指标表示消费者组的生成号，每次重新平衡处理时加一，用于有效检测重新平衡事件。
• warpstream_agent_kafka_fetch_uncompressed_bytes = 记录获取的总未压缩字节数，取代了 warpstream_agent_kafka_fetch_bytes_sent 指标。
• warpstream_consumer_group_generation_id = 此指标表示消费者组的生成号，每次重新平衡处理时加一，用于有效检测重新平衡事件。

我们之前在通讯中提到的，团队正在支持Kafka事务，并希望很快完成这项工作。如果您需要事务支持的工作负载，请联系我们! 我们非常愿意与您聊聊。

试用 WarpStream，免费获得 400 美元的信用额度

WarpStream 免费试用，注册账户后，您将获得 400 美元的免费信用，您可以轻松设置和使用 WarpStream。

免费试用