Yu Feng | 系统技术非业余研究

erlang的profile工具原理和优缺点

October 10th, 2009 Yu Feng Comments off

erlang的tools application下包含了一系列的profile工具，包括 eprof cprof fprof，具体的使用可以参看文档和<< erlang effective guide>>.

我这里要说的是他们的工作原理。这些模块的核心都是根据erlang的trace机制实现的。在模块执行的时候，trace机制会通知那个函数被调用返回。根据这些信息就可以统计出来函数调用的频度，调用栈等。

但是利用这个机制会有严重的性能损失。因为每个函数调用都要发送一条trace信息，每个trace 信息会引起上下文切换而且要耗费2-3的时间。这个对大型的系统是不可接受的。

所以知道这些原理以后，我们在profile大型的系统的时候，我们可以在dbg模块的帮助下，只收集我们感兴趣的东西，而且严格限定范围，避免对系统造成大的干扰，这样收集出来的东西才有意义。

Categories: Erlang探索 Tags: cprof, dbg, eprof, fprof

JVM 64位pointer compress, Erlang呢？

October 10th, 2009 Yu Feng Comments off

前端时间看到JVM的 64 pointer compress技术，蛮多感慨的。具体的可以 google
64位 pointer compress 来了解更多。

好不容易从32位系统中逃脱，解决了4G内存的问题，而且64位的cpu更多的寄存器，可以带来更好的性能。但是怎么又碰到问题了。64位的系统，64位的指针，意味着更多的数据访问， cpu速度是提高了，但是内存的带宽和访问速度没有大的提高。而且内存的访问速度和cpu的cycle差几个数量级别，所以对于普通的网络程序来讲，大部分是处理信息的变形，也就是说是把内存里面的数据从一个形式变成另外一个形式。 cpu性能的提高对这种程序来讲影响不是很大。倒是因为数据的量加大了1倍，导致整体的性能降低了百分几十。实际的硬件系统也没有那么多内存，一般都是16G以下，所以才有人去想在64位系统下，用36位的指针，减少内存的访问。

erlang的系统基本上是个网络程序，所以这个问题就非常突出。目前没看到otp vm的这方面的打算，我还是乖乖的用我的32位系统

Categories: 网络编程 Tags: 64 pointer, compress

Erlang动态编译加载模块

October 10th, 2009 Yu Feng Comments off

ejabberd最新的版本有个模块叫做 dynamic_compile，支持从string动态加载一个模块。有了这个功能我们就可以很方便的动态生成一个模块，加入到我们的运行期。我想的有以下几个功能：

1. const 模块

2. 如日志系统的级别：

log(S) when 0 >  1 ->
   do_log(S);
log(_)->
   skip.

这样的模块编译的时候会把前面的就省去了判断，直接由compiler去掉了，因为when永远不满足。

试验如下：

yu-fengdemacbook-2:~ yufeng$ erl
Erlang (BEAM) emulator version 5.6.5 [source][/source][/source] [async-threads:0] [hipe] [kernel-poll:false]

Eshell V5.6.5  (abort with ^G)
1> {Mod,Code} = dynamic_compile:from_string("-module(test).\n-export([start/0]).\n start()->ok.\n"), code:load_binary(Mod, "test.erl", Code).
{module,test}
2> m(test).
Module test compiled: Date: October 6 2009, Time: 08.43
Compiler options:  []
Object file: test.erl
Exports:
         module_info/0
         module_info/1
         start/0
ok
3> test:start().
ok
4>

Categories: Erlang探索 Tags: dynamic_compile, module

dets在64位系统还是有可耻的2G限制

October 10th, 2009 Yu Feng 4 comments

原本以为在 64位操作系统下文件的读写指针都改成64位的避免了2G的限制。经过测试 disk_log和file都支持超过2G的数据文件，但是 dets还是可耻的失败了。经过查看源码有2个问题：

1. key segment的问题。 dets在设计的时候是针对32位的那么它的空间限制就是2G，所以在计算最大的段的数的最大的偏移时候干脆在代码里面写死了2G。

2. 偏移的问题。每个key对应的value在dets_v9文件格式中的偏移值是用 <> 这样的格式来表示的。所以如果改变成64位那么文件格式就完全不兼容了。

结论： dets支持2G以上没戏了，而且同样影响到mnesia.

Categories: Erlang探索 Tags:

Erlang动态编译加载模块

October 6th, 2009 Yu Feng Comments off

1. const 模块

2. 如日志系统的级别：

log(S) when 0 >  1 ->
   do_log(S);
log(_)->
   skip.

这样的模块编译的时候会把前面的就省去了判断，直接由compiler去掉了，因为when永远不满足。

试验如下：

yu-fengdemacbook-2:~ yufeng$ erl
Erlang (BEAM) emulator version 5.6.5 [source] [async-threads:0] [hipe] [kernel-poll:false]

Eshell V5.6.5  (abort with ^G)
1> {Mod,Code} = dynamic_compile:from_string("-module(test).\n-export([start/0]).\n start()->ok.\n"), code:load_binary(Mod, "test.erl", Code).
{module,test}
2> m(test).
Module test compiled: Date: October 6 2009, Time: 08.43
Compiler options:  []
Object file: test.erl
Exports:
         module_info/0
         module_info/1
         start/0
ok
3> test:start().
ok
4>

Categories: Erlang探索 Tags:

erlang的profile工具原理和优缺点

October 6th, 2009 Yu Feng Comments off

erlang的tools application下包含了一系列的profile工具，包括 eprof cprof fprof，具体的使用可以参看文档和<< erlang effective guide>>.

Categories: 网络编程 Tags:

cover的原理及其启示

October 6th, 2009 Yu Feng Comments off

我们先看下cover模块的功能：

The module cover provides a set of functions for coverage analysis of Erlang programs, counting how many times each executable line of code is executed when a program is run.

那它是如何做到的呢？

它是这样实现的： cover一个模块的时候要先编译，这个过程中，根据模块的abstract code 里面的行号，在每个有效的语句前面插入一个 ets:update_couter() 语句，这样编译出来的模块运行的时候，我们就可以收集到每个有效行的运行信息。

我hack了下cover.erl：

yu-fengdemacbook-2:src yufeng$ diff cover.erl cover_orig.erl 
1242,1243c1242
<     {ok, Module, Binary} = compile:forms(Forms, [debug_info]),
<     io:format("abstract code: ~n~p~n", [get_abstract_code(Module, Binary)]),
---
>     {ok, Module, Binary} = compile:forms(Forms, []),
yu-fengdemacbook-2:~ yufeng$ cat float.erl

-module(float).
-export([new/1,update/3]).

new(N) ->
       hipe_bifs:bytearray(N*8,0).

update(Arr,N,Float) ->
       <<A1,A2,A3,A4,A5,A6,A7,A8>> = <<Float/float>>,
       Start=N*8,
       hipe_bifs:bytearray_update(Arr,Start,A1),
       hipe_bifs:bytearray_update(Arr,Start+1,A2),
       hipe_bifs:bytearray_update(Arr,Start+2,A3),
       hipe_bifs:bytearray_update(Arr,Start+3,A4),
       hipe_bifs:bytearray_update(Arr,Start+4,A5),
       hipe_bifs:bytearray_update(Arr,Start+5,A6),
       hipe_bifs:bytearray_update(Arr,Start+6,A7),
       hipe_bifs:bytearray_update(Arr,Start+7,A8).

yu-fengdemacbook-2:~ yufeng$ otp_src_R13B02-1/bin/erl
Erlang R13B02 (erts-5.7.3) [source] [smp:2:2] [rq:2] [async-threads:0] [kernel-poll:false]

Eshell V5.7.3  (abort with ^G)
1> cover:start().
{ok,<0.33.0>}
2> cover:compile(float).
abstract code:
{raw_abstract_v1,
    [{attribute,1,file,{"/Users/yufeng/float.erl",1}},
     {attribute,1,module,float},
     {attribute,3,export,[{new,1},{update,3}]},
     {function,5,new,1,
         [{clause,5,
              [{var,5,'N'}],
              [],
              [{call,0,
                   {remote,0,{atom,0,ets},{atom,0,update_counter}},
                   [{atom,0,cover_internal_data_table},
                    {tuple,0,
                        [{atom,0,bump},
                         {atom,0,float},
                         {atom,0,new},
                         {integer,0,1},
                         {integer,0,1},
                         {integer,0,6}]},
                    {integer,0,1}]},

%% 我们清楚的看到 ets:update_counter()的调用

              {call,6,
                   {remote,6,{atom,6,hipe_bifs},{atom,6,bytearray}},
                   [{op,6,'*',{var,6,'N'},{integer,6,8}},{integer,6,0}]}]}]},
     {function,8,update,3,
         [{clause,8,
              [{var,8,'Arr'},{var,8,'N'},{var,8,'Float'}],
              [],
              [{call,0,
                   {remote,0,{atom,0,ets},{atom,0,update_counter}},
                   [{atom,0,cover_internal_data_table},
                    {tuple,0,
                        [{atom,0,bump},
                         {atom,0,float},
                         {atom,0,update},
                         {integer,0,3},
                         {integer,0,1},
                         {integer,0,9}]},
                    {integer,0,1}]},
               {match,9,
                   {bin,9,
                       [{bin_element,9,{var,9,'A1'},default,default},
                        {bin_element,9,{var,9,'A2'},default,default},
                        {bin_element,9,{var,9,'A3'},default,default},
                        {bin_element,9,{var,9,'A4'},default,default},
                        {bin_element,9,{var,9,'A5'},default,default},
                        {bin_element,9,{var,9,'A6'},default,default},
                        {bin_element,9,{var,9,'A7'},default,default},
                        {bin_element,9,{var,9,'A8'},default,default}]},
                   {bin,9,[{bin_element,9,{var,9,'Float'},default,[float]}]}},
               {call,0,
                   {remote,0,{atom,0,ets},{atom,0,update_counter}},
                   [{atom,0,cover_internal_data_table},
                    {tuple,0,
                        [{atom,0,bump},
                         {atom,0,float},
                         {atom,0,update},
                         {integer,0,3},
                         {integer,0,1},
                         {integer,0,10}]},
                    {integer,0,1}]},
               {match,10,
                   {var,10,'Start'},
                   {op,10,'*',{var,10,'N'},{integer,10,8}}},
               {call,0,
                   {remote,0,{atom,0,ets},{atom,0,update_counter}},
                   [{atom,0,cover_internal_data_table},
                    {tuple,0,
                        [{atom,0,bump},
                         {atom,0,float},
                         {atom,0,update},
                         {integer,0,3},
                         {integer,0,1},
                         {integer,0,11}]},
                    {integer,0,1}]},
               {call,11,
                   {remote,11,{atom,11,hipe_bifs},{atom,11,bytearray_update}},
                   [{var,11,'Arr'},{var,11,'Start'},{var,11,'A1'}]},
               {call,0,
                   {remote,0,{atom,0,ets},{atom,0,update_counter}},
                   [{atom,0,cover_internal_data_table},
                    {tuple,0,
                        [{atom,0,bump},
                         {atom,0,float},
                         {atom,0,update},
                         {integer,0,3},
                         {integer,0,1},
                         {integer,0,12}]},
                    {integer,0,1}]},
               {call,12,
                   {remote,12,{atom,12,hipe_bifs},{atom,12,bytearray_update}},
                   [{var,12,'Arr'},
                    {op,12,'+',{var,12,'Start'},{integer,12,1}},
                    {var,12,'A2'}]},
               {call,0,
                   {remote,0,{atom,0,ets},{atom,0,update_counter}},
                   [{atom,0,cover_internal_data_table},
                    {tuple,0,
                        [{atom,0,bump},
                         {atom,0,float},
                         {atom,0,update},
                         {integer,0,3},
                         {integer,0,1},
                         {integer,0,13}]},
                    {integer,0,1}]},
               {call,13,
                   {remote,13,{atom,13,hipe_bifs},{atom,13,bytearray_update}},
                   [{var,13,'Arr'},
                    {op,13,'+',{var,13,'Start'},{integer,13,2}},
                    {var,13,'A3'}]},
               {call,0,
                   {remote,0,{atom,0,ets},{atom,0,update_counter}},
                   [{atom,0,cover_internal_data_table},
                    {tuple,0,
                        [{atom,0,bump},
                         {atom,0,float},
                         {atom,0,update},
                         {integer,0,3},
                         {integer,0,1},
                         {integer,0,14}]},
                    {integer,0,1}]},
               {call,14,
                   {remote,14,{atom,14,hipe_bifs},{atom,14,bytearray_update}},
                   [{var,14,'Arr'},
                    {op,14,'+',{var,14,'Start'},{integer,14,3}},
                    {var,14,'A4'}]},
               {call,0,
                   {remote,0,{atom,0,ets},{atom,0,update_counter}},
                   [{atom,0,cover_internal_data_table},
                    {tuple,0,
                        [{atom,0,bump},
                         {atom,0,float},
                         {atom,0,update},
                         {integer,0,3},
                         {integer,0,1},
                         {integer,0,15}]},
                    {integer,0,1}]},
               {call,15,
                   {remote,15,{atom,15,hipe_bifs},{atom,15,bytearray_update}},
                   [{var,15,'Arr'},
                    {op,15,'+',{var,15,'Start'},{integer,15,4}},
                    {var,15,'A5'}]},
               {call,0,
                   {remote,0,{atom,0,ets},{atom,0,update_counter}},
                   [{atom,0,cover_internal_data_table},
                    {tuple,0,
                        [{atom,0,bump},
                         {atom,0,float},
                         {atom,0,update},
                         {integer,0,3},
                         {integer,0,1},
                         {integer,0,16}]},
                    {integer,0,1}]},
               {call,16,
                   {remote,16,{atom,16,hipe_bifs},{atom,16,bytearray_update}},
                   [{var,16,'Arr'},
                    {op,16,'+',{var,16,'Start'},{integer,16,5}},
                    {var,16,'A6'}]},
               {call,0,
                   {remote,0,{atom,0,ets},{atom,0,update_counter}},
                   [{atom,0,cover_internal_data_table},
                    {tuple,0,
                        [{atom,0,bump},
                         {atom,0,float},
                         {atom,0,update},
                         {integer,0,3},
                         {integer,0,1},
                         {integer,0,17}]},
                    {integer,0,1}]},
               {call,17,
                   {remote,17,{atom,17,hipe_bifs},{atom,17,bytearray_update}},
                   [{var,17,'Arr'},
                    {op,17,'+',{var,17,'Start'},{integer,17,6}},
                    {var,17,'A7'}]},
               {call,0,
                   {remote,0,{atom,0,ets},{atom,0,update_counter}},
                   [{atom,0,cover_internal_data_table},
                    {tuple,0,
                        [{atom,0,bump},
                         {atom,0,float},
                         {atom,0,update},
                         {integer,0,3},
                         {integer,0,1},
                         {integer,0,18}]},
                    {integer,0,1}]},
               {call,18,
                   {remote,18,{atom,18,hipe_bifs},{atom,18,bytearray_update}},
                   [{var,18,'Arr'},
                    {op,18,'+',{var,18,'Start'},{integer,18,7}},
                    {var,18,'A8'}]}]}]},
     {eof,19}]}
{ok,float}

这个故事告诉我们对 erlang系统的跟踪除了trace机制以为，我们还可以用parse transform在编译的时候加入我们想要的代码，达到跟踪，了解系统的目的。具体的可以参考 compiler模块 parse_transform的文档。

Categories: Erlang探索 Tags:

Newer Entries Older Entries

系统技术非业余研究

Archive

erlang的profile工具原理和优缺点

JVM 64位pointer compress, Erlang呢？

Erlang动态编译加载模块

dets在64位系统还是有可耻的2G限制

Erlang动态编译加载模块

erlang的profile工具原理和优缺点

cover的原理及其启示

buy me a coffee.

Recent Posts

Recent Comments

Categories

Blogroll

Archives

Meta