Hunter的大杂烩 技术学习笔记

2010-10-08

Dynamo 简介

Filed under: 技术话题 — hunter @ 12:29 am

from:http://rdc.taobao.com/blog/cs/?p=52

    这个小文打算写成入门级的介绍,所以很多语言不追求准确性。本介绍参考 Amazon 的 Dynamo 论文。需要更详细更准确信息的同学请直接阅读原文。(原文地址http://s3.amazonaws.com/AllThingsDistributed/sosp/amazon-dynamo-sosp2007.pdf) 这篇论文本身没提出什么新的思想,正如论文中所说,贡献在于把非常多的技术结合到了一起,来完成一个系统。

    Dynamo 是个什么东东呢?他是 Amazon 公司的一个分布式 key/value 存储引擎。那么这个什么引擎又是什么?首先,假设一个场景,你的网站要存储用户登陆的ip。这个问题怎么解决呢?传统的方法是用数据库。数据库提供了方便的操作接口,复杂的查询能力以及事物的保证。多好的解决方案啊。尽管应用不需要什么复杂查询,也不需要事物。好,现在假设大家都很喜欢你的网站,访问的人越来越多。一个数据库已经处理不过来了。于是你安装了3台数据库主机,把用户分成了三类(男人,女人,it人;总是有某种方法把用户分成数目大致差不多的几个部分吧)。每次访问的时候,先看用户属于哪一类,然后直接访问存储那类用户数据的数据库。于是处理能力增加了三倍。这个时候你已经实现了一个分布式的存储引擎,Dynamo 就是一个类似的东西。只是它的可靠性,可用性等方面更好一点而已。下面我们看看那个简单的分布式存储系统有什么不方便的地方,而Dynamo是如何解决的。
    先列举一下简单的分布式系统可能存在的问题吧:
    1 很难扩容:如果现在业务发展迅速,3台主机撑不住了,需要加到5台主机,那要如何处理呢?首先要更改分类方法,把用户分成5类,然后重新迁移已经存在的数据。你要在网站上贴个条子,“系统维护中”,然后开始伟大的迁移工程,等到终于迁移完成,发现其实3台也不用了,用户都走光了。

(more…)

2010-10-07

ØMQ(ZeroMQ)简介[转]

Filed under: 技术话题 — hunter @ 9:40 pm

from : http://www.infoq.com/cn/news/2010/09/introduction-zero-mq

 

ZeroMQ网站解释:

ØMQ是网络栈中新的一层,它是个可伸缩层,分散在分布式系统间。因此,它可支持任意大的应用程序。ØMQ不是简单的点对点交互,相反,它定义了分布式系统的全局拓扑。ØMQ应用程序没有锁,可并行运行。此外,它可在多个线程、内核和主机盒之间弹性伸缩。

« Newer Posts

Powered by WordPress