Twitter 在 Strange Loop 大会上公布分布式实时计算系统 Storm 的源代码，可以用于各种编程语言，弥补了 Hadoop 实时性的缺失，意义重大。据了解，Storm 代码来自于 Twitter 上月收购的 BackType，后来被 Twitter 收购用于 Twitter。业内普遍认为这是 Twitter 为方便用户解析数据所作出的努力。Twitter 首席工程师 Nathan Marz在博客上表示：“这是一件非常重大的事情，至少对使用大量数据的极客来说是如此，因为相比大多数企业，Twitter 要处理更多的实时数据。”除此之外，Nathan Marz 还指出 Storm 在业内有着相当广阔的使用前景，比如流处理、持续演算及远程处理命令等。
现在，Storm 的发展势头相当强劲，Twitter 开发的相应工具已使其功能变得更加强大。Storm 类似于另一个开源数据操作平台 Hadoop，Storm 也可能成为一项重要业务。
Twitter 列举了 Storm 的三大类应用：
1. 信息流处理（Stream processing）
Storm 可用来实时处理新数据和更新数据库，兼具容错性和可扩展性。
2. 连续计算（Continuous computation）
Storm 可进行连续查询并把结果即时反馈给客户端。比如把 Twitter 上的热门话题发送到浏览器中。
3. 分布式远程程序调用（Distributed RPC）
Storm 可用来并行处理密集查询。Storm 的拓扑结构是一个等待调用信息的分布函数，当它收到一条调用信息后，会对查询进行计算，并返回查询结果。 举个例子 Distributed RPC 可以做并行搜索或者处理大集合的数据。
项目网页：http://t.cn/adMiuD
关于 Storm 的介绍 PPT：http://www.slideshare.net/nathanmarz/the-secrets-of-building-realtime-big-data-systems
最新评论