LinkedIn‘s Kafka:我是如何做到1秒发布450万+条消息!
http://chuansong.me/n/1717890- 系统数据:LinkedIn
每天利用Kafka处理的消息超过1万亿条,在峰值时每秒钟会发布超过450万条消息,每周处理的信息是1.34 PB。 - 关注指标:随着规模的不断扩大,LinkedIn更加关注于可靠性、成本、安全性、可用性以及其他的基础指标。
- 改进:
1)基于配额的流控;
2)目前提供high\low level customer sdk。high level customer简单依赖zk存在一些问题。新customer将只依赖于broker;
3)可靠性和可用性提升。如:mirror maker的无损传输;删除topic等
4)
研发了名为Simoorg的故障引导框架,进行故障测试;
开发了名为Burrow的工具,能够监控Customer消费消息的延迟,从而监控应用的健康状况。5)保持集群平衡的3种策略,避免partition\node too hot,提升容灾。
6)支持消息schema、支持大消息内容的传输,具备成本计算、可审计的能力
- 系统数据:LinkedIn
腾讯Tube:
http://data.qq.com/article?id=960Tube由腾讯数据平台部自行研发,是处理海量数据的消息中间件,其系统架构思想源于Apache Kafka,并在此基础上做了三方面优化:
- 使用了更加优化的分区管理和分配机制和全新节点通讯流程.
- 使用Netty和Google Protobuf开发了高性能的底层RPC通讯模块.
- 在保证实时性和一致性的前提下,具有了更高的吞吐能力.
阿里rocketmq:
[https://github.com/alibaba/RocketMQ](https://github.com/alibaba/RocketMQ%29- rocketmq 和 kafka比对: [https://github.com/alibaba/RocketMQ/wiki/rmq_vs_kafka]%28https://github.com/alibaba/RocketMQ/wiki/rmq_vs_kafka%29
- 消息系统的架构及变迁 [http://www.infoq.com/cn/news/2014/03/interview-alibaba-wangjingy]%28http://www.infoq.com/cn/news/2014/03/interview-alibaba-wangjingyu)
rocketmq 和 kafka比对:https://github.com/alibaba/RocketMQ/wiki/rmq_vs_kafka
消息系统的架构及变迁 http://www.infoq.com/cn/news/2014/03/interview-alibaba-wangjingy
RabbitMQTechnologies Ltd开发的RabbitMQ:http://www.rabbitmq.com
a. 基于AMQP协议实现的消息中间件,在金融,电信方面应用比较多。 b. 比较好的原始资料: [https://www.rabbitmq.com/extensions.html\#routing](https://www.rabbitmq.com/extensions.html#routing), [http://blog.csdn.net/yangbutao/article/details/1098239](http://blog.csdn.net/yangbutao/article/details/10982391)
腾讯Hippo:http://data.qq.com/article?id=2670
a. Tube的高性能、高吞吐得益于其批量刷盘,数据驻留于内存一段时间可能存在丢失的风险,这也是其高吞吐所需付出的代价。因此我们设计了新一代消息系统Hippo以满足具有高可靠高可用应用场景的业务需求,用以支撑广告计费,交易流水等高价值数据的业务。