原创文章，转载请注明： 转载自系统技术非业余研究
本文链接地址: systemtap观察page_cache的使用情况
在规划服务器的内存使用的时候经常需要知道应用在理想情况下会使用多少的pagecache, 我们好预先把这个内存预留出来.
这个值操作系统没有提供可查看的管道,我们只能自己写个脚本来实现.
下面的systemtap脚本每隔N秒显示下当前os下头10个文件占用多少的pagecache, 降序排列.
Post Footer automatically generated by wp-posturl plugin for wordpress.
原创文章，转载请注明： 转载自系统技术非业余研究
本文链接地址: Linux下异步IO(libaio)的使用以及性能
Linux下异步IO是比较新的内核里面才有的，异步io的好处可以参考这里.
但是文章中aio_*系列的调用是glibc提供的，是glibc用线程+阻塞调用来模拟的，性能很差，千万千万不要用。
我们今天要说的是真正的原生的异步IO接口. 由于这几个系统调用glibc没有提供相应的封装，所以libaio来救急了：
Read more…
Post Footer automatically generated by wp-posturl plugin for wordpress.
原创文章，转载请注明： 转载自系统技术非业余研究
前段时间google的工程师提出对tcp的拥塞窗口的初始值进行增大可以显著的提高http的性能，这个主要是针对tcp的slow start的优化.
具体参考这里, 这里. 谢谢叔度同学从美国带回第一手信息!
由于低版本的linux内核的问题，这个参数的正确设置需要对os打patch,这个过程对线上机器来讲非常麻烦。 底下我用systemtap给出了个解决方案，免除这个麻烦. 我们在RHEL 5U4上作这个试验:
Read more…
Post Footer automatically generated by wp-posturl plugin for wordpress.
原创文章，转载请注明： 转载自系统技术非业余研究
本文链接地址: 开源混合存储方案(Flashcache)
Post Footer automatically generated by wp-posturl plugin for wordpress.
原创文章，转载请注明： 转载自系统技术非业余研究
本文链接地址: 推介xz高压缩率算法
这几天看到Linux内核2.6.38发布的release说明里面提到:
The version .38 kernel comes with a library for decompressing XZ, a format developed from LZMA and known for its high levels of compression. This library is the basis not only for SquashFS, which now also offers XZ, but also for code that allows the kernel to unpack any parts of itself and of the initial ram disks (initrds) that were compressed with XZ.
觉得比较好奇, Linux下有那么多的压缩算法, 为什么要用这个, 它有什么过人之处? 今天深入了解了下xz, 顺便作了简单的benchmark体验了下.
Read more…
Post Footer automatically generated by wp-posturl plugin for wordpress.
原创文章，转载请注明： 转载自系统技术非业余研究
本文链接地址: smartctl获取raid卡下intel ssd寿命
我们在线上用了大量的Intel ssd盘，总所周知的是ssd盘是有寿命的，在实际的使用中能够监控ssd盘是非常有帮助的。
我们通常是在raid卡下用intel ssd盘做10level的阵列，通常的工具很难读出它的寿命信息等。 经过intel和社区的努力，对intel ssd的寿命读取代码集成到了smartctl中去了， 这下我们方便了。
先交代下我们的环境：
硬件和操作系统：
System | Huawei Technologies Co., Ltd.; Tecal RH2285; vV100R001 (Main Server Chassis)
Release | Red Hat Enterprise Linux Server release 5.4 (Tikanga)
Kernel | 2.6.18-164.el5
Architecture | CPU = 64-bit, OS = 64-bit
raid卡控制器：
# RAID Controller ############################################
Controller | LSI Logic MegaRAID SAS
Model | MegaRAID SAS PCI Express(TM) ROMB, PCIE interface, 8 ports
Cache | 256MB Memory, BBU
BBU | 96% Charged, Temperature 23C, isSOHGood=
VirtualDev Size RAID Level Disks SpnDpth Stripe Status Cache
========== ========= ========== ===== ======= ====== ======= =========
0 0 (:-1-0) 0 Depth-1 WB, no RA
1 0 (:-5-3) 0 Depth-1 WB, no RA
PhysiclDev Type State Errors Vendor Model Size
========== ==== ======= ====== ======= ============ ===========
Hard Disk SAS Online, 0/0/0 SEAGATE ST3300657SS 279.396
Hard Disk SAS Online, 0/0/0 SEAGATE ST3300657SS 279.396
Solid Stat SATA Online, 0/901/0 CVPO007400S4160AGN INTEL 149.049
Solid Stat SATA Online, 0/900/0 CVPO010400AR160AGN INTEL 149.049
Solid Stat SATA Online, 0/900/0 CVPO007000T3160AGN INTEL 149.049
Solid Stat SATA Online, 0/900/0 CVPO009002DN160AGN INTEL 149.049
Solid Stat SATA Online, 0/900/0 CVPO0104017E160AGN INTEL 149.049
Solid Stat SATA Online, 0/899/0 CVPO010200KS160AGN INTEL 149.049
我们再来演示下如何使用：
Read more…
Post Footer automatically generated by wp-posturl plugin for wordpress.
原创文章，转载请注明： 转载自系统技术非业余研究
本文链接地址: Linux下Fio和Blktrace模拟块设备的访问模式
我们在做块设备调优的时候, 我们关心的是块设备是如何被访问的,也就是访问模式(比如说每次从什么地方读,每次读多少块,热点在哪里等),至于每次读写的什么数据我们并不关心. 这些模式当然可以自己去构造,但是如果能把真实应用的访问模式记录下来,并且在调优的时候能重放,我们就可以一遍又一遍的调试直到达到最佳的性能.
这个事情听起来貌似很麻烦,对吧? 幸运的是fio配合blktrace可以作这样的事情. 流程是blktrace负责录制真实应用对设备的访问模式, fio负责读入这些模式, 同时重放模拟对设备的访问.
背景资料:
blktrace使用可以参看这里
fio使用可以参看这里
在做演示前需要强调的是: 对设备的读写是模拟它的模式, 所以会破坏原来的数据,请谨慎, 我也是用虚拟的设备作演示的:
我们要演示的设备是 /dev/ram0, 设备大小128M:
Read more…
Post Footer automatically generated by wp-posturl plugin for wordpress.
Recent Comments