系统技术非业余研究

上个星期我在中科大参加了一个星期的由 张晓东教授，美国俄亥俄州立大学，计算机科学与工程系 http://www.cse.ohio-state.edu/~zhang 授课的教程(http://mail.ustc.edu.cn/~wbdai/dragonstar/html/course.html)。

这个课程最主要focus在数据的局部性原理，从硬件到操作系统到应用程序这样的顺序过来的，对于我们提高核心系统软件的性能非常有启发意义.

课件下载点击这里
修正：由于原链接已经不存在了，特地在这里放了一份。

以下是教程的介绍:
课程简介 Read more…

调优手册在这里下载: http://www.redbooks.ibm.com/redpapers/pdfs/redp4285.pdf
看图不说话：）

IO架构图：

内存管理图：

很容易误解的socket buffer：

贴上来方便有用emacs的同学。配置部分是从网上淘来的，忘记出处了，见谅！

;;(keyboard-translate ?\C-h ?\C-?) 
(defalias 'yes-or-no-p 'y-or-n-p)

(setq time-stamp-active t)
(setq time-stamp-warn-inactive t)
(setq time-stamp-format "%:y-%02m-%02d %3a %02H:%02M:%02S")
(add-hook 'write-file-hooks 'time-stamp)

(global-set-key [f2] 'rgrep) 
(global-set-key [(f5)] 'eshell)
(global-set-key [C-f5] 'shell)
(global-set-key (kbd "M-3") 'capitalize-word)

(global-set-key [f6] 'find-file)
(global-set-key [C-Z] nil)
(global-set-key [C-f4] 'kill-this-buffer)

(global-set-key [(f4)] 'ibuffer)
(global-set-key [(f8)] 'other-window)

(require 'color-theme)
;;(color-theme-initialize)
(color-theme-dark-blue2)
(setq font-lock-verbose t)
;;(set-default-font "Bitstream Vera Sans Mono-12")
(global-font-lock-mode t)
(tool-bar-mode -1)
(setq column-number-mode t)
(setq display-battery-mode t)
(setq size-indication-mode t)
(setq default-major-mode 'outline-mode)
(add-hook 'outline-mode-hook 'turn-off-auto-fill)

(setq transient-mark-mode t)
(setq-default shell-cd-regexp nil)
(setq-default shell-pushd-regexp nil)
(setq-default shell-popd-regexp nil)
(setq inhibit-startup-message t)
(setq visible-bell t)
(setq mouse-yank-at-point t)
(setq kill-ring-max 100)
(setq default-fill-column 60)

(global-set-key (kbd "M-g") 'goto-line)
(global-set-key (kbd "M-o") 'ff-find-related-file)

(setq require-final-newline t)


(setq track-eol t)

(setq gnus-inhibit-startup-message t)

(setq enable-recursive-minibuffers t)
(setq auto-save-mode nil)
(setq Man-notify-method 'pushy)

(display-time-mode 1)
(setq display-time-24hr-format t)
(setq display-time-day-and-date t)
(setq display-time-use-mail-icon t)
(setq display-time-interval 10)

(tool-bar-mode -1)
(customize-set-variable 'scroll-bar-mode 'right)


(setq speedbar-show-unknown-files t)
(setq speedbar-update-flag nil)
(setq speedbar-use-images nil)
(setq speedbar-verbosity-level 0)
(global-set-key [f9] 'speedbar)

;; set paren mode
(show-paren-mode t)
(setq show-paren-style 'parentheses)
(mouse-avoidance-mode 'animate)

;; set the default username and email
(setq user-full-name "yufeng")
(setq user-mail-address "mryufeng@gmail.com")

;; set the title name
(setq frame-title-format "Emacs - %f")

;;-------------------------Shell 使用 ansi color-------------
(autoload 'ansi-color-for-comint-mode-on "ansi-color" nil t)
(add-hook 'shell-mode-hook 'ansi-color-for-comint-mode-on)

(require 'uniquify) 
(setq 
  uniquify-buffer-name-style 'post-forward
  uniquify-separator ":")

;;
(require 'ibuffer)
(global-set-key (kbd "C-x C-b") 'ibuffer)
(require 'ido)
(ido-mode t)

;;-------------------------让Emacs拥有tabs-------------------
(require 'tabbar)
(setq tabbar-buffer-groups-function
          (lambda ()
            (list "All")))

(tabbar-mode)
(global-set-key [(control shift tab)] 'tabbar-backward)
(global-set-key [(control tab)] 'tabbar-forward)
(global-set-key (kbd "M-1") 'tabbar-backward)
(global-set-key (kbd "M-2") 'tabbar-forward) 

;;(require 'session)
;;(add-hook 'after-init-hook 'session-initialize)
;;(load "desktop")
;;(desktop-load-default)
;;(desktop-read)
;;(setq desktop-save-mode t)

(require 'browse-kill-ring)
(global-set-key [(control c)(k)] 'browse-kill-ring)
(browse-kill-ring-default-keybindings)


;;erlang
;;(require 'erlang-eunit)
;;(load "erlang_appwiz" t nil)
(global-set-key [f3] 'erlang-next-error)
(global-set-key [C-f7] 'erlang-compile)
(global-set-key [f7] 'compile)
(global-set-key [f10] 'linum-mode)

;;distel
(add-to-list 'load-path "/usr/local/share/distel/elisp")
(require 'distel)
(distel-setup)
;; Some Erlang customizations
(add-hook 'erlang-mode-hook
	    (lambda ()
	          ;; when starting an Erlang shell in Emacs, default in the node name
`	          (setq inferior-erlang-machine-options '("-sname" "emacs"))
		      ;; add Erlang functions to an imenu menu
		      (imenu-add-to-menubar "imenu")))

;; A number of the erlang-extended-mode key bindings are useful in the shell too
(defconst distel-shell-keys
  '(("\C-\M-i"   erl-complete)
    ("\M-?"      erl-complete)
    ("\M-."      erl-find-source-under-point)
    ("\M-,"      erl-find-source-unwind) 
    ("\M-*"      erl-find-source-unwind) 
    )
  "Additional keys to bind when in Erlang shell.")

(add-hook 'erlang-shell-mode-hook
	    (lambda ()
	          ;; add some Distel bindings to the Erlang shell
	          (dolist (spec distel-shell-keys)
		          (define-key erlang-shell-mode-map (car spec) (cadr spec)))))


;wrangler
(add-to-list 'load-path "/usr/local/share/wrangler/elisp") 
(require 'wrangler) 


;;ecb
(require 'xcscope)
(require 'cedet) ;;load cedet
(require 'ecb) ;;load ecb

(setq ecb-tip-of-the-day nil
inhibit-startup-message t
ecb-auto-compatibility-check nil
ecb-version-check nil)

(global-set-key [f12] 'ecb-activate)
(global-set-key [C-f12] 'ecb-deactivate)
(global-set-key [f11] 'delete-other-windows)
(global-set-key [(meta return)] 'semantic-ia-complete-symbol-menu) 
(global-set-key (kbd "C-c e") 'ecb-goto-window-edit-last) 
(global-set-key (kbd "C-c s") 'ecb-goto-window-sources) 
(global-set-key (kbd "C-c d") 'ecb-goto-window-directories)
(global-set-key (kbd "C-c m") 'ecb-goto-window-methods)
(global-set-key (kbd "C-c h") 'ecb-goto-window-history)
(global-set-key (kbd "C-c r") 'ecb-redraw-layout)
(global-set-key (kbd "C-.") 'cscope-find-global-definition-no-prompting)
(global-set-key (kbd "C-,") 'cscope-pop-mark)
(custom-set-variables
  ;; custom-set-variables was added by Custom.
  ;; If you edit it by hand, you could mess it up, so be careful.
  ;; Your init file should contain only one such instance.
  ;; If there is more than one, they won't work right.
 '(ecb-options-version "2.32")
 '(safe-local-variable-values (quote ((erlang-indent-level . 2)))))
(custom-set-faces
  ;; custom-set-faces was added by Custom.
  ;; If you edit it by hand, you could mess it up, so be careful.
  ;; Your init file should contain only one such instance.
  ;; If there is more than one, they won't work right.
 )

;;msf abbrev
(add-to-list 'load-path "~/emacs")
;; ensure abbrev mode is always on
(setq-default abbrev-mode t)
;; do not bug me about saving my abbreviations
(setq save-abbrevs nil)
;; load up modes I use
(require 'cc-mode)
;;(require 'perl-mode)
;;(require 'cperl-mode)
;;(require 'sh-script)
;;(require 'shell)
;;(require 'lua-mode)    
;;(require 'erlang)
;; load up abbrevs for these modes
(require 'msf-abbrev)
(setq msf-abbrev-verbose t) ;; optional
(setq msf-abbrev-root "~/emacs/mode-abbrevs")
(global-set-key (kbd "C-c l") 'msf-abbrev-goto-root)
(global-set-key (kbd "C-c a") 'msf-abbrev-define-new-abbrev-this-mode)
(msf-abbrev-load)

;;go mode
(require 'go-mode-load)
(require 'tramp)

;;gud
(add-hook 'gdb-mode-hook '(lambda ()
                            (define-key c-mode-base-map [(f5)] 'gud-go)
                            (define-key c-mode-base-map [(f7)] 'gud-step)
                            (define-key c-mode-base-map [(f8)] 'gud-next)))


(defvar no-easy-keys-minor-mode-map (make-keymap) 
  "no-easy-keys-minor-mode keymap.")
(let ((f (lambda (m)
           `(lambda () (interactive) 
              (message (concat "No! use " ,m " instead."))))))
  (dolist (l '(("<left>" . "C-b") ("<right>" . "C-f") ("<up>" . "C-p")
               ("<down>" . "C-n")
               ("<C-left>" . "M-f") ("<C-right>" . "M-b") ("<C-up>" . "M-{")
               ("<C-down>" . "M-}")
               ("<M-left>" . "M-f") ("<M-right>" . "M-b") ("<M-up>" . "M-{")
               ("<M-down>" . "M-}")
               ("<delete>" . "C-d") ("<C-delete>" . "M-d")
               ("<M-delete>" . "M-d") ("<next>" . "C-v") ("<C-next>" . "M-x <")
               ("<prior>" . "M-v") ("<C-prior>" . "M-x >") 
               ("<home>" . "C-a") ("<C-home>" . "M->")
               ("<C-home>" . "M-<") ("<end>" . "C-e") ("<C-end>" . "M->")))
    (define-key no-easy-keys-minor-mode-map
      (read-kbd-macro (car l)) (funcall f (cdr l)))))
(define-minor-mode no-easy-keys-minor-mode
  "A minor mode that disables the arrow-keys, pg-up/down, delete
  and backspace."  t " no-easy-keys"
  'no-easy-keys-minor-mode-map :global t)
(no-easy-keys-minor-mode 1)



(require 'smex)
(smex-initialize)

(global-set-key (kbd "M-x") 'smex)
(global-set-key (kbd "M-X") 'smex-major-mode-commands)

(require 'org-install)
(add-to-list 'auto-mode-alist '("\\.org$" . org-mode))
(define-key global-map "\C-cl" 'org-store-link)
(define-key global-map "\C-ca" 'org-agenda)
(setq org-log-done t)

(setq transient-mark-mode t) ; highlight text selection
(setq delete-selection-mode t) ; delete seleted text when typing

; highlight current line
(require 'hl-line)
(global-hl-line-mode t)

看图不说话:

有兴趣的同学google之!

From: http://lwn.net/Articles/371466/

I am pleased to announce that the GCC Steering Committee has
accepted the contribution of the gccgo front-end and gcc-specific runtime
for the Go language with Ian Taylor appointed maintainer. The GCC
Release Managers will decide the details about the timing of the merge and
inclusion in GCC 4.5 or later.

Please join me in congratulating and thanking Ian and the Go
language developers. Please update your listing in the MAINTAINERS file.

Happy hacking!
David

Go Lang介绍
Go编程语言是Google中一些大牛（尤其是有着plan9前科的大牛们）如Rob Pike，Ken Thomason这两位赫赫有名的程序高手、技术作于2007年9月开始建造。

Pike指出，Go代码的编译基本上可以达到C语言的速度，几乎可以在瞬间完成，“就像是在使用交互式语言”。现有的语言都没有针对多核心处理器进行优化，为了解决此类编程问题，Google工程师们开发了Go语言。从源文件的copyright可以看到，很多基础代码来自plan9.

Go 已在Google公司内部测试过，但仍处于试验阶段。Google开放Go的代码，希望籍此帮助Go语言的发展。首席软件工程师Rob Pike说：我们开发Go，是因为近10年左右开发程序之难让我们有点沮丧。Google两年前开始开发Go，1年前开始有一只团队专职于此。目前只支持unix平台， windows平台的支持由于资源的原因，需要更多的参与者来移植。
Go的定位 是系统编程，比如Web服务器、存储系统和数据库等，但也欢迎在其它方面的应用。

Go语言的官方吉祥物如下:

我看好Go的原因是： 这个语言不是凭空或者实验室设计的，而是填补过去10年在系统编程软件方面的不足。作为系统软件的编写者，经常会深深的感觉到目前常见语言的面对大规模的网络应用，在不断涌现的多核心硬件前的无奈, 纠缠在多线程和各种锁中间， 不停的制造各种各样的轮子， 低效的排错。Go拥有的这些现代特性都是系统用户梦迷以求的，经过作者全面的考虑，适当的取舍，即结合了动态语言的弹性，又有了静态语言的安全性和高性能。

目前这个GO社区非常活跃，邮件列表里每天都有几百个讨论，加上有Google的强力支持， 个人认为非常有前途。

那么GO能解决什么问题：
1. 硬件很快 软件开发很慢。
2. 依赖很麻烦。
3. c++ java太笨拙。
4. 并行和gc
5. 多核心机器的出现，未来几年128核心的机器都很常见。

大部分的系统语言并不是设计来解决这些问题的,而且新涌现的大多数库并没有改善这些问题，相反加剧了。

GO结合了动态语言的开发效率和静态编译型语言的安全性和运行效率，支持网络和多核编程，带给我们快速， 安全， 并发， 快乐。

Go有着非常高的效率。 实际上golang.org就是用gdoc架设的。同时语言效能评测网站（） Go和其他语言的对比，也充分说明了Go的效率和c语言很接近。

GO的设计目标：
1。 系统编程语言。
2. 快速编译和执行。
3. 类型安全性和内存使用安全。
4. 很好的支持并发计算。
5. 高效，低延迟的垃圾回收算法。

指导原则：
1. 减少bookkeeping。
2. 更少的关键词，减少无谓的输入。无符号表设计使得语法分析，调试等大幅简单。
3. 保持概念正交
4. 保持简单。
5. 减少类型，无类型层次，避免啰嗦。

语言特性：
清晰，精确的语法语法：大多数从c 继承， 包机制Pascal/Modula/Oberon family (declarations, packages)，并发从(CSP)那里借鉴。
大写符号导出符号。
函数或者块开始注释是文档，用于gdoc处理。
改进的If， case 复合语句，允许在条件前，执行语句。 Case 不支持自动fall throught, 必须显示说明。 Case支持多个判断。

轻量的类型系统
没有隐式的转换
强类型，显式类型转化
指针运算 slice代替 提供安全性
通用类型：interface{}
内置数组和字典
支持面向对象编程，但是不支持层次继承。
融合多种语言的特性，各个社区的人都会熟悉，特别是c, lua, python社区的用户非常容易上手。

运行期： c和汇编实现内存的分配和收集，栈管理，轻量级协程，通讯管道，切片，Map以及反射等等基础设施。

Gc：目前是用经典的简单的Mark And sweep 算法, 未来会采用更高效，低延迟的算法。

库实现：
1. 完全用Go语言实现, 不依赖其他系统库
2. 从接口库如xml, asn1，jonson, IO库，压缩，加密库等等，比较齐全，极大的方便了用户。
支持unicode. 值得一提的是 Go的 “hello 世界”，很好的展示了对unicode支持。

模块：
Package管理。一个package可以分散在多个文件里，就好比在一个文件效果一样。

扩展：
Cgo 支持c和go编程混合，使得GO的扩展非常容易，让Cgo来做参数和类型的转换， 直接连接用户的c函数。

Range：for语句支持通用的迭代，支持数组，字典，通讯管道。 特别是通讯管道结合goroutine, 由生产者负责在一端输入数据， range充当消费者， 从另外一端。。。，使得包容器的迭代实现非常的优雅和简单易懂。

Type: 相当灵活的struct, 支持匿名字段，复用看起来很优雅。

Interface:
接口 类型 接口实现分离。Interface{}用来实现表示同样类型，用于实现保容器和参数省略。

闭包：函数是第一类对象。有了闭包，我们很容易把数据和函数结合在一起，形成一个独立的执行体，无需关心数据的泄漏。

反射(reflection)：用于实现多参数和实现比如xml库，很直观的把结构的字段名和值映射起来，但是效率不高。

Network 支持。支持tcp,udp，接口统一，但网络读写暂时无效的时候，net模块会自动把该句柄注册到系统的poll, 并且让出执行，等待读写事件的发生。一旦事件通知，net内部通过channel通知阻塞的句柄继续往下执行。从用户的使用角度来看，网络的读写都是顺序执行的，极大的简化了编程。

Goroutine：Goroutines 是使得并发编程变得容易的核心。核心思想就是通过系统的线程来多路派遣独立函数的执行 单位协程。当一个协程阻塞的时候，比如说系统调用，调度器就会自动把其他协程安排到另外的线程去执行，从而保证了系统的不间断运行。 这个调度对于程序员是透明的，从用户的角度来看，协程在一直运行。而且这个调度的开销非常小，典型的CPU每秒钟可以调度百万次，使得我们可以创建大量的goroutine, 模拟现实世界的行为，大大的简化了程序的设计和实现。

Channel： CSP的核心思想是通过消息共享， 而不是内存共享。 而消息共享机制就是通过channel来传递消息，有同步和异步之分。 Channel在生产者和消费者之间架设起沟通的桥梁。

正是 Network+闭包+Goroutine+Channel让Go这么突出。

目前存在的问题：
1. 语言的实现时间比较短，实现和社区都不够成熟，一些语言特性如select timeout还没有实现。
2. 语言库和基于GO的应用还比较少，甚至在Google内部也还是个试验项目。

GNU libreadline 为行编辑提供了统一的接口和方便的编辑能力，在使用中感觉非常爽。但是不是所以的应用程序都使用了readline库来读取用户输入，大部分C程序只是简单的调用fgets。这样的程序在输入的时候非常痛苦。比如erl,为了移植性没用到readline，而是自己实现了类似readline那样的基本的行编辑，但是非常难用，例如不支持CTRL A， CTRL E等等。

这时候rlwrap来救助了。
rlwrap runs the specified command, intercepting user input in order to provide readline’s line editing, persistent history and completion.

简单的说 这个程序就是让不支持readline的程序也可以享用这个库的好处。

在ubuntu下只要简单的 apt-get -y install rlwrap 就安装好了

使用也很简单：

rlwrap cmd

比如 rlwrap erl 这样就可以在erl shell里面以熟悉的emacs按键快速输入，舒服哦。

在linux shell下还可以在.profile里面加入别名， 比如

alias erl='rlwrap erl'

那么就不露神色的修改了erl的行为。

PS. piboyeliu同学说:

新版本的要使用 rlwrap -a erl 才可以正确运行