系统技术非业余研究

前段时间看到brendangregg的 Linux Performance Analysis and Tools PPT里面提到Linux常用性能调优工具, 见下图：

其中提到了的工具，大部分在我日常工具箱里或者在实践的案例里面使用过, 都有很高的价值，这里方便大家索引下：

• nicstat: 参见 这里
• oprofile: 参见 这里
• perf: 参见 这里
• systemtap: 参见 这里
• iotop: 参见 这里
• blktrace: 参见 这里
• dstat: 参见 这里
• strace: 参见 这里
• pidstat: 参见 这里
• vmstat: 参见 这里
• slabtop: 参见 这里
• tcpdump: 参见 这里
• free: 参见 这里
• mpstat: 参见 这里
• netstat: 参见 这里
• tcprstat: 参见 这里

更多的Linux系统工具介绍请参见 这里

祝玩得开心！

大型的服务器，特别是数据库服务器的主要瓶颈主要在内存，CPU，以及IO上。CPU是可再生资源，不够用等等就有了；内存和土地一样是不可再生资源，被占用了，后续的使用必须等到该资源释放.而IO也非常依赖于内存的使用情况,故内存的倒腾效率会大大影响服务器的效率,那么了解服务器内存的使用情况就非常重要。

Linux内核的内存相关的信息主要有下面几个获取管道，这里我们主要讨论的是系统级别的，没具体到各个进程级别：

1. 内核启动时候，VM内存相关模块初始化信息，透过dmesg查看。
详细描述可参考这里
比如：

NUMA: Using 30 for the hash shift.
Bootmem setup node 0 0000000000000000-0000000340000000
Bootmem setup node 1 0000000340000000-0000000640000000
On node 0 totalpages: 3095549
DMA zone: 2613 pages, LIFO batch:0
DMA32 zone: 765896 pages, LIFO batch:31
Normal zone: 2327040 pages, LIFO batch:31
On node 1 totalpages: 3102720
Normal zone: 3102720 pages, LIFO batch:31
…
Memory: 24543920k/26214400k available (2547k kernel code, 612792k reserved, 1289k data, 208k init)
…
Total HugeTLB memory allocated, 0
…

2. /proc/meminfo。
每个字段的意思，可参考这里
比如：
Read more…

看图不说话：

这几天看到Linux内核2.6.38发布的release说明里面提到:

The version .38 kernel comes with a library for decompressing XZ, a format developed from LZMA and known for its high levels of compression. This library is the basis not only for SquashFS, which now also offers XZ, but also for code that allows the kernel to unpack any parts of itself and of the initial ram disks (initrds) that were compressed with XZ.

觉得比较好奇, Linux下有那么多的压缩算法, 为什么要用这个, 它有什么过人之处? 今天深入了解了下xz, 顺便作了简单的benchmark体验了下.
Read more…

我们在做服务器的时候，老大扔给你一台机器，要你在上面开发。通常服务器软件是非常依赖于系统的软硬件的，软件通常是要紧贴硬件的特性，如果我们不能了解机器的硬件，我们就无法高效的开发。

比如说想知道Linux的系统的版本，CPU有几个，内存多少大， 机器什么型号，Raid卡什么型号，硬盘有几个，文件系统是什么样子的，网卡什么型号，文件句柄设置什么的，用到虚拟化技术了吗，网络配置什么样的，目前资源使用是如何?

当然如果你足够有经验的话，这些问题难不倒你，但是你获取完全的这些信息是很麻烦的。

这时候Percona 来救助了。他提供了一整套工具来协助定位MySQL服务器的问题。这套工具适合于大部分的IO服务器。

Aspersa is a collection of open-source system utilities primarily designed to ease the work of Percona consultants. This manual is the primary documentation for Aspersa tools. Please contribute your improvements.

项目地址： http://code.google.com/p/aspersa/
summary的使用文档： http://aspersa.googlecode.com/svn/html/summary.html

我们来参观下效果：
Read more…