Hunter的大杂烩 技术学习笔记

2006-03-09

评论【转】

Filed under: 闲聊 — hunter @ 2:13 pm

 《应用密码学(协议算法与C源程序)》入门时很不错的,涵盖范围比较广,同时对于算法有C源代码,可以用作密码算法研究、学习。
《密码学原理与实践:第二版》在理论证明和讲解上相当不错,可以进一步学习。
《Handbook of Applied Cryptography 》相当不错,若喜欢直接看英文的原版,可以到http://www.cacr.math.uwaterloo.ca/hac/直接下载,这是我最喜欢的一本手册。
《密码学基础(英文版)》偏重于理论,在以上基础上可以进一步研究,不要被它的名字蒙蔽了,这本书,可不那么基础。想看英语原版可以到http://www.wisdom.weizmann.ac.il/~oded/foc-book.html
弄透以上四版书,密码学方面基本可以应付。倘若兴趣不减,就可以直接在网上浩如烟海的密码学文献查看你感兴趣的专题。

源文档

一些经验

Filed under: 闲聊 — hunter @ 2:10 pm

netstat -an|awk ‘{print $5}’|sort |uniq -d -c | sort > c
察看哪个ip连接最多

Gcc 2.95.x下
C struct结构不能大于600M
否则sizeof(struct)会不准确
C array的大小不能大于300M
否则 array[offset] 会coredump

宏类型是不检查的,所以
Printf(“%s”, __LINE__);
是可以编译成功,但是会core dump的
正确是
Printf(“%d”, __LINE__);

删除无引用的shm
ipcs -m | awk ‘/root/ {if($6==0) system(sprintf(“ipcrm shm %s”,$2));}’
ipcs -m | egrep “^0x”|sort|awk ‘{printf(“%s %s\n”, $1,$6); }’
ipcs | gawk ‘{if($6==0){print “ipcrm -m ” $2}}’ | sh

删除某行内的字符
sed -e ‘s/xxx//g’ kk > bb

关于web server异常

Filed under: Linux — hunter @ 12:52 am

一般网站访问很慢, SYN_RECV很多,都以为是被攻击了
这里介绍两种表现,都非常像,但实际不是的情况,大家可以作为一个参考:
1. 表面上 in pkg都比out pkg要多
2. 流量上out traffic突然下降
3. netstat -an可以看到很多SYN_RECV
4. 内核不停的报 maybe synflood,sended syncookie错误

第一种情况, apache log太大了,超过了2G,导致httpd进程运转不正常,很多僵尸进程,httpd进程数较少,清理掉log文件后恢复正常
第二种情况, 流量太大,超过了apache 的service能力,导致雪崩效应,通常经过增加MaxClients之后,恢复正常

apache如果光提供静态页面,流量可以去到70-80Mbps,MaxClients需要增加到2000-3000个
所以如果您的系统流量超过50M,MaxClients < 2000,那么很可能是你的服务器能力不足了,呵呵

tcp状态图

Filed under: 技术话题 — hunter @ 12:45 am

tcp state

2006-02-02

淘宝的cache技术猜测

Filed under: 技术话题 — hunter @ 9:28 pm

在国内那么多网站里面,恕我孤陋寡闻,我认为taobao的系统架构应该相当不错的
每天上亿的PV,还能达到如此快的显示速度,我觉得相当不错,当然,它也砸了不少钱,一般的网站恐怕很少会在硬件上投入那么多
与sina比,淘宝的动态内容相当的多,sina这类新闻网站,与用户的交互比较少,虽然也有几个亿的PV,估计8/10在news.sina.com.cn上面
以纯静态页面为主,所以买china cache技术,比较划算,可以用china cache的技术实现global load balance+local cache
taobao据我观察,pics应该是买了netapp的net cache server,据说后台file server也是netapp的硬件
真是肯下血本啊,只是不知道性价比如何
list,search两个域名下有不少静态页面,估计很多数据被cache 成文件了,大大缓和了对搜索引擎和数据库的压力
list 前200页都是静态页面,后面页动态产生了, 不过有兴趣翻到后面200页的,估计也不是一般的用户的,嘿嘿

最让我迷惑的是auction上的商品信息页,照理应该也是静态化了,不过里面若干数据变化频率比较高,几次抓包下来,也是server直接吐出来的,让我非常迷惑,我对jsp不熟,我只能猜测,可能app server能把jsp编译为binary,大部分静态数据已经模板化了,只有若干常变信息作为变量在每次output的时候,replace一下。。。

另外就是后台的DB SERVER,照理orcale是不适合做OLTP方面的工作,以taobao每月10亿的成交额,每秒都应该有5-10笔订单(假设每笔100圆,则10 0000 0000/100圆/3600秒/24小时/30日*3 = 10),嗯,应该快到oracle上限了吧?

« Newer PostsOlder Posts »

Powered by WordPress