1. LinkedIn‘s Kafka:我是如何做到1秒发布450万+条消息!
    http://chuansong.me/n/1717890

    1. 系统数据:LinkedIn
      每天利用Kafka处理的消息超过1万亿条,在峰值时每秒钟会发布超过450万条消息,每周处理的信息是1.34 PB。
    2. 关注指标:随着规模的不断扩大,LinkedIn更加关注于可靠性、成本、安全性、可用性以及其他的基础指标。
    3. 改进:

    1)基于配额的流控;

    2)目前提供high\low level customer sdk。high level customer简单依赖zk存在一些问题。新customer将只依赖于broker;

    3)可靠性和可用性提升。如:mirror maker的无损传输;删除topic等

    4)
    研发了名为Simoorg的故障引导框架,进行故障测试;
    开发了名为Burrow的工具,能够监控Customer消费消息的延迟,从而监控应用的健康状况。

    5)保持集群平衡的3种策略,避免partition\node too hot,提升容灾。

    6)支持消息schema、支持大消息内容的传输,具备成本计算、可审计的能力

  2. 腾讯Tube
    http://data.qq.com/article?id=960

    Tube由腾讯数据平台部自行研发,是处理海量数据的消息中间件,其系统架构思想源于Apache Kafka,并在此基础上做了三方面优化:

    1. 使用了更加优化的分区管理和分配机制和全新节点通讯流程.
    2. 使用Netty和Google Protobuf开发了高性能的底层RPC通讯模块.
    3. 在保证实时性和一致性的前提下,具有了更高的吞吐能力.
  3. 阿里rocketmq:
    [https://github.com/alibaba/RocketMQ](https://github.com/alibaba/RocketMQ%29

    1. rocketmq 和 kafka比对: [https://github.com/alibaba/RocketMQ/wiki/rmq_vs_kafka]%28https://github.com/alibaba/RocketMQ/wiki/rmq_vs_kafka%29
    2. 消息系统的架构及变迁 [http://www.infoq.com/cn/news/2014/03/interview-alibaba-wangjingy]%28http://www.infoq.com/cn/news/2014/03/interview-alibaba-wangjingyu)
    3. rocketmq 和 kafka比对:https://github.com/alibaba/RocketMQ/wiki/rmq_vs_kafka

    4. 消息系统的架构及变迁 http://www.infoq.com/cn/news/2014/03/interview-alibaba-wangjingy

  4. RabbitMQTechnologies Ltd开发的RabbitMQ:http://www.rabbitmq.com

    a. 基于AMQP协议实现的消息中间件,在金融,电信方面应用比较多。
    
    b. 比较好的原始资料:  
        [https://www.rabbitmq.com/extensions.html\#routing](https://www.rabbitmq.com/extensions.html#routing),
    
        [http://blog.csdn.net/yangbutao/article/details/1098239](http://blog.csdn.net/yangbutao/article/details/10982391)
    
  5. 腾讯Hippohttp://data.qq.com/article?id=2670

    a. Tube的高性能、高吞吐得益于其批量刷盘,数据驻留于内存一段时间可能存在丢失的风险,这也是其高吞吐所需付出的代价。因此我们设计了新一代消息系统Hippo以满足具有高可靠高可用应用场景的业务需求,用以支撑广告计费,交易流水等高价值数据的业务。
    

results matching ""

    No results matching ""