之前在Linux下看有什么块设备，通常都用fdisk什么的或者直接ls /dev/ 人肉去看看， 很土，不方便。 前二天在江枫的网站上看到了介绍的lsblk,这玩意不错，推荐给大家。
这个工具属于util-linux-ng包，在RHEL 6.1上是安装好的啦，直接用就好。 ubuntu高版本下也有。
这个工具最大的特别是把所有的块设备列出，而且还能显示他们之间的依赖关系，演示下：
$ uname -r
2.6.32-131.0.15.el6.x86_64
$ lsblk
NAME MAJ:MIN RM SIZE RO MOUNTPOINT
sda 8:0 0 931G 0
├─sda1 8:1 0 128M 0 /boot
├─sda2 8:2 0 3.9G 0 /
├─sda3 8:3 0 2G 0 [SWAP]
├─sda4 8:4 0 1K 0
├─sda5 8:5 0 9.8G 0 /usr
├─sda6 8:6 0 9.8G 0 /var
├─sda7 8:7 0 3.9G 0 /opt
├─sda8 8:8 0 3.9G 0 /tmp
└─sda9 8:9 0 897.6G 0 /home
sdc 8:32 0 148.5G 0
└─md0 9:0 0 594G 0 /u01
sdd 8:48 0 148.5G 0
└─md0 9:0 0 594G 0 /u01
sde 8:64 0 148.5G 0
└─md0 9:0 0 594G 0 /u01
sdb 8:16 0 148.5G 0
└─md0 9:0 0 594G 0 /u01
sr0 11:0 1 1024M 0
看出来md0依赖于sdb, sdc,sdd,sde, 而sda1依赖sda，很爽！
祝玩得开心！
首先介绍下NC，这个号称网络瑞士军刀的工具。
What is Netcat?
Netcat is a featured networking utility which reads and writes data across network connections, using the TCP/IP protocol.
It is designed to be a reliable “back-end” tool that can be used directly or easily driven by other programs and scripts. At the same time, it is a feature-rich network debugging and exploration tool, since it can create almost any kind of connection you would need and has several interesting built-in capabilities.
It provides access to the following main features:
* Outbound and inbound connections, TCP or UDP, to or from any ports.
* Featured tunneling mode which allows also special tunneling such as UDP to TCP, with the possibility of specifying all network parameters (source port/interface, listening port/interface, and the remote host allowed to connect to the tunnel.
* Built-in port-scanning capabilities, with randomizer.
* Advanced usage options, such as buffered send-mode (one line every N seconds), and hexdump (to stderr or to a specified file) of trasmitted and received data.
* Optional RFC854 telnet codes parser and responder.
项目主页：http://netcat.sourceforge.net/
Wiki: http://en.wikipedia.org/wiki/Netcat
再看下我们如何使用NC：
在RHEL服务器里面NC是标配，无需用户自己安装，手册也很全 man nc就好了。
之前在开发服务端程序的时候经常用nc来发报文，模拟客服端的行为, 省的自己写个客户端的麻烦,比如：
$ echo -n "GET / HTTP/1.0\r\n\r\n" | nc host.example.com 80
$ nc [-C] localhost 25 << EOF
HELO host.example.com
MAIL FROM: <user@host.example.com>
RCPT TO: <user2@host.example.com>
DATA
Body of email.
.
QUIT
EOF
这二天从鸣嵩那里学了招模拟服务端的行为, 在调查自己的客户端的时候很方便，来看下：
#模拟服务端
$ nc -l 1234
hello
#模拟客户端
$ nc 127.0.0.1 1234
hello
NC还有其他的功能，读者自己来挖掘！
祝玩得开心！
blkiomon 是blktrace工具包带的一个方便用户了解IO情况的工具, 由于blktrace太专业,需要了解的IO协议栈的东西太多,blkiomon给大多数的用户提供了一种易于使用的方式.
blktrace的使用参考这里: http://blog.yufeng.info/archives/tag/blktrace
他可以告诉你IO的大小,完成花费时间,吞吐量, 还可以统计出这次关键参数的分布.
具体见man blkiomon
blkiomon is a block device I/O monitor. It periodically generates per-device request size and request latency statistics from blktrace data. It
provides histograms as well as data that can be used to calculate min, max, average and variance. For this purpose, it consumes D and C traces
read from stdin.
我们来演示下:
Read more…
前段时间我们在MYSQL调优上发现有瓶颈，怀疑是过多拷贝内存，导致内存带宽用完。在Linux下CPU的使用情况有top工具, IO设备的使用情况有iostat工具，就是没有内存使用情况的测量工具。 我们可以看到大量的memcpy和字符串拷贝（可以用systemtap来测量），但是像简单的数据移动操作就无法统计，我们希望在硬件层面有办法可以查到CPU在过去的一段时间内总共对主存系统发起了多少读写字节数。
所以我们内存测量的的目标就归结为二点：1. 目前我们这样的服务器真正的内存带宽是多少。 2. 我们的应用到底占用了多少带宽。
首先来看下我们的服务器配置情况：
$ sudo ~/aspersa/summary
# Aspersa System Summary Report ##############################
Date | 2011-09-12 11:23:11 UTC (local TZ: CST +0800)
Hostname | my031121.sqa.cm4
Uptime | 13 days, 3:52, 2 users, load average: 0.02, 0.01, 0.00
System | Dell Inc.; PowerEdge R710; vNot Specified (<OUT OF SPEC>)
Service Tag | DHY6S2X
Release | Red Hat Enterprise Linux Server release 5.4 (Tikanga)
Kernel | 2.6.18-164.el5
Architecture | CPU = 64-bit, OS = 64-bit
Threading | NPTL 2.5
Compiler | GNU CC version 4.1.2 20080704 (Red Hat 4.1.2-44).
SELinux | Disabled
# Processor ##################################################
Processors | physical = 2, cores = 12, virtual = 24, hyperthreading = yes
Speeds | 24x2926.089
Models | 24xIntel(R) Xeon(R) CPU X5670 @ 2.93GHz
Caches | 24x12288 KB
# Memory #####################################################
Total | 94.40G
Free | 4.39G
Used | physical = 90.01G, swap = 928.00k, virtual = 90.01G
Buffers | 1.75G
Caches | 7.85G
Used | 78.74G
Swappiness | vm.swappiness = 0
DirtyPolicy | vm.dirty_ratio = 40, vm.dirty_background_ratio = 10
Locator Size Speed Form Factor Type Type Detail
========= ======== ================= ============= ============= ===========
DIMM_A1 8192 MB 1333 MHz (0.8 ns) DIMM {OUT OF SPEC} Synchronous
DIMM_A2 8192 MB 1333 MHz (0.8 ns) DIMM {OUT OF SPEC} Synchronous
DIMM_A3 8192 MB 1333 MHz (0.8 ns) DIMM {OUT OF SPEC} Synchronous
DIMM_A4 8192 MB 1333 MHz (0.8 ns) DIMM {OUT OF SPEC} Synchronous
DIMM_A5 8192 MB 1333 MHz (0.8 ns) DIMM {OUT OF SPEC} Synchronous
DIMM_A6 8192 MB 1333 MHz (0.8 ns) DIMM {OUT OF SPEC} Synchronous
DIMM_B1 8192 MB 1333 MHz (0.8 ns) DIMM {OUT OF SPEC} Synchronous
DIMM_B2 8192 MB 1333 MHz (0.8 ns) DIMM {OUT OF SPEC} Synchronous
DIMM_B3 8192 MB 1333 MHz (0.8 ns) DIMM {OUT OF SPEC} Synchronous
DIMM_B4 8192 MB 1333 MHz (0.8 ns) DIMM {OUT OF SPEC} Synchronous
DIMM_B5 8192 MB 1333 MHz (0.8 ns) DIMM {OUT OF SPEC} Synchronous
DIMM_B6 8192 MB 1333 MHz (0.8 ns) DIMM {OUT OF SPEC} Synchronous
DIMM_A7 {EMPTY} Unknown DIMM {OUT OF SPEC} Synchronous
DIMM_A8 {EMPTY} Unknown DIMM {OUT OF SPEC} Synchronous
DIMM_A9 {EMPTY} Unknown DIMM {OUT OF SPEC} Synchronous
DIMM_B7 {EMPTY} Unknown DIMM {OUT OF SPEC} Synchronous
DIMM_B8 {EMPTY} Unknown DIMM {OUT OF SPEC} Synchronous
DIMM_B9 {EMPTY} Unknown DIMM {OUT OF SPEC} Synchronous
...
DELL R710的机器上有2个X5670CPU,每个上面有6个core，超线程，所以共有24个逻辑CPU。上面插了12根 8192MB(1333 MHz)内存条。
我们的机器架构从之前的FSB总线结构变成现在的numa架构，谢谢@fcicq提供的信息,请参考下图（来源）：
我们可以清楚的看到每个CPU都有自己的内存控制器直接连接到内存去，而且有3个通道， CPU直接通过QPI连接。 内存控制器和QPI上面都会流动数据。
Read more…
fio是个非常好用的io压力模拟工具，功能非常齐全， 有兴趣的同学参看 这里。
这里我用fio模拟我们线上mysql服务器的压力来为厂家送来的pci-ssd卡做压力测试，底下是脚本(已经测试正确)，也许有的同学有用。
Read more…
我们在工作中经常会需要看下报表，如tsung的统计报表或者lcov的覆盖情况，这些报表通常为了方便都会作成html格式的。我们可以把这些html网页打包拉回去用浏览器慢慢看，但是每次都要打包，拉数据非常麻烦。我们可以架设个web服务器来做这个事情。
apache或者nginx都太庞大，设置起来太麻烦。简易Python服务器来帮忙了。
只要在你的html的目录下运行：
Read more…
facebook释出的flashcache见 https://github.com/facebook/flashcache， 也可以参考我之前写的 ppt 如何使用，或者参考我们的dba写的详细使用和配置，见 这里, 这里, 这里
7月20号，作者Mohan做了重大的改变，极大的提高了易用性。
1) Integration of all 3 caching modes (writeback, writethrough and
writearound) into the main flashcache module. Flashcache utilities
have been modified to add support for this as well.
2) Total Overhaul of the flashcache sysctls. Creates per-cache device
sysctl sets, so each individual cache device can be tuned differently.
之前的flashcache版本分成writeback和writethrough独立的版本，开发和维护倾向于writeback，导致很多特性writethrough跟不上，用起来就很不爽。现在好了。
随着磁盘越来越多，每个磁盘cache就非常的必要，因为每个cache的用途不同，需要做的策略也会很大不同。
这个版本更新非常重要。
祝玩得开心！
Recent Comments