产品简介

消息队列Kafka提供分布式、高吞吐、可扩展的消息队列服务，被广泛应用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域，已成为大数据生态中不可或缺的部分。

产品优势

• 购买即用

消息队列Kafka服务100%兼容开源，原有应用无需代码改造，即可迁移上云。

• 高可用

消息持久化落盘到消息队列，数据可靠性高，服务可用性高。

• 数据安全

消息队列Kafka提供鉴权与授权机制、主子账号等功能，提供企业级的安全防护。

产品功能

• 按需创建集群

提供可视化集群创建能力，可自由选择服务器规模。

• 数据存储

与分布式文件系统、非关系型数据库及传统数据库无缝集成，支持不同存储场景。

• 数据安全管理

提供用户认证、用户权限（数据访问权限）。

产品架构

一个消息队列Kafka集群包括Producer、Kafka Broker、Consumer Group、Zookeeper。

应用场景

数据中转枢纽

利用消息队列Kafka作为数据中转枢纽，同份数据可以被导入到不同专用系统中。

网站活动跟踪

通过消息队列Kafka的发布/订阅模型，可以实时收集网站活动数据，根据业务数据类型将消息发布到不同的Topic，然后订阅消息的实时投递，将消息流用于实时处理、实时监控或者加载到离线数据仓库系统进行离线处理。

日志聚合

消息队列Kafka在具备高性能的同时，可以实现更强的数据持久化以及更短的端到端响应时间。这种特定决定它适合作为日志收集中心，它可以忽略掉文件的细节，可以将多台主机或应用的日志数据抽象成一个个日志或事件的消息流，异步发送到消息队列Kafka集群，从而实现非常低的RT。

流计算处理

消息队列Kafka能够实现在数据流动的过程中对数据进行实时地捕捉和处理，并根据业务需求进行计算分析，最终把结果保存或者分发给需要的组件。

产品术语