系统技术非业余研究

Erlang R17.0 发布的release note 里面花了挺多笔墨讲了内存carrier迁移的特性：

Support for migration of memory carriers between memory allocator instances has been introduced.
By default this feature is not enabled and do not effect the characteristics of the system. When enabled it has the following impact on the characteristics of the system:

* Reduced memory footprint when the memory load is unevenly distributed between scheduler specific allocator instances.
* Depending on the default allocaton strategy used on a specific allocator there might or might not be a slight performance loss.
* When enabled on the fix_alloc allocator, a different strategy for management of fix blocks will be used.
* The information returned from erlang:system_info({allocator, A}), and erlang:system_info({allocator_sizes, A}) will be slightly different when this feature has been enabled. An mbcs_pool tuple will be present giving information about abandoned carriers, and in the fix_alloc case no fix_types tuple will be present.

For more information, see the documentation of the +M acul command line argument.

那么什么是”migration of memory carriers between memory allocator instances“，解决什么问题呢？
官方的文档 erts/emulator/internal_doc/CarrierMigration.md, 见这里, 已经描述的非常清楚了。

我来简单的说下复述下：
Erlang的内存分配器为了提高性能，每个调度器一个都有自己的内存池，在申请/释放内存的可以避免大量的锁争用，提高了性能。但也带来内存浪费的问题，首先调度器默认使用策略是“full load or not”, 也就是说低ID的调度器如果没饱和的话，不会用下一个调度器。在高负载的情况下，更多的调度器被启用，该调度器上的内存被缓冲，留在池子里。当工作负载下去的的话，因为压力没到，高ID的调度器没机会被使用，也就是说这个时候，这个调度器上的内存就浪费掉了，从整个VM的角度来看，内存的碎片率就很高。Erlang的VM是以稳定性著名的，但是它也有Crash的时候，十有八九是因为内存爆了。我们在设计系统的时候，通常从数据量去反推需要的内存，但是如果有碎片或者浪费存在严重的话，我们就无法准确，就可能导致灾难。 为了解决这个问题，最直接的反应就是当每个调度器池子里面的内存使用率低于一定程度的时候，就把该块内存出让出来，让有需要的调度器能够利用起来。这就是内存carriers迁移要解决的核心问题。

这个特性在R16加入的默认不启用，R17默认启用了，也就是说+M acul 默认是“de”. 带来的影响有下面几个：
1. 内存申请的效率，现在的测试是先在自己的池子里面分配，不满足了就找cpool，再不满足才去找mseg或者sys分配器申请。效率和利用率是鱼和熊掌不可兼得。
2. 内存分配器的内存除了在池子里面还有在cpool里，统计内存的时候要小心。
3. 内存浪费率到什么时候被废弃。

Read more…

Erlang R17RC2 源码已经就绪， 参见 这里
后续版本的发布时间，官方的时间安排参见 这里，摘抄如下：

Preliminary dates for the upcoming release:
Release: erts, emu,comp |Code stop |Documentation stop |Release Date

17.0-rc2 2014-02-21 2014-02-21 2014-02-21 2014-02-26
17.0 2014-03-10 2014-03-17 2014-03-19 2014-03-26

We will focus the time between 17.0-rc2 and 17.0 on bug fixes, improvements, and testing. Therefore you are most welcome to submit patches regarding such issues and we will try our best to include them before 17.0 is released.
Especially bugs introduced in 17.0-rcX.

R17 release note在 这里，闪亮点摘抄如下：

Maps, a new dictionary data type (experimental) 支持map数据结构，这是语言层面很大的变化，除了虚拟机和编译器的支持外，外围工具如debugger,profiler, ei, dialyzer等整个体系都需要大幅改变支持。

The {active, N} socket option for TCP, UDP, and SCTP 参看这篇：inet驱动新增加{active,N} socket选项

A new (optional) scheduler utilization balancing mechanism 这个特性改变了原来调度器full or not（在调度器用满之前，不会再用新的调度器）的特点， 添加了一种调度器之间利用率尽量平衡的调度算法。参见这篇：R17新的调度策略+sub

Migration of memory carriers has been enabled by default on all ERTS internal memory allocators 内存carriers在不同的调度器之间会互相迁移，提高内存的利用率。

Increased garbage collection tenure rate 垃圾回收更友好，同时异步化

Experimental “dirty schedulers” functionality 参见
Erlang/OTP 17.0-rc1 新引入的”脏调度器”浅析 引入的原因 例证NIF使用的误区

Funs can now be given names 参考：Erlang R16B03发布，R17已发力

Miscellaneous unicode support enhancements 全线支持unicode

A new, semantic version scheme for OTP and its applications 版本号管理更细致。

总体来看，VM的变化更多向着异步化和高性能（内存使用效率、CPU调度效率）的方向快速前进，系统也越来越强健, 一年一个大版本也很快。

祝玩得开心。

Erlang R16B03发布了，通常03版本是bug fix版本，进入生产版本，官方的说明如下：

OTP R16B03 is a service release with mostly a number of small corrections and user contributions. But there are some new functions worth mentioning as well, here are some of them:

A new memory allocation feature called “super carrier” has been introduced. It can for example be used for pre-allocation of all memory that the runtime system should be able to use. It is enabled by passing the +MMscs (size in MB) command line argument. For more information see the documentation of the +MMsco, +MMscrfsd, +MMscrpm, +MMscs, +MMusac, and, +Mlpm command line arguments in the erts_alloc(3) documentation.
The LDAP client (eldap application) now supports the start_tls operation. This upgrades an existing tcp connection to encryption using TLS, see eldap:start_tls/2 and /3.
The FTP client (inets application) now supports FTP over TLS (ftps).

其中最大的改进就是super carrier， 参见我之前写的博文, 这个特性在于专机专用的系统，内存的使用效率就高很多，同时这个版本对多个核心之间内存倒腾的效率和利用率也高很多，值得大家去用。内存的利用率和碎片率通常不会引起大家的关注，在生产的服务器中，这点非常值得关注。

R16B03发布了后，官方马不停蹄的就进入R17的开发。其中最大的期待就是语言方面的改进，包括eep37和map数据结构。 eep37特性已经进入master, commit在这里， 该特性的具体描述在这里.

简单的说：就是你过去在shell下写如下的fun过去是不可能的。

fun Fact(N) when N > 0 ->
            N * Fact(N - 1);
        Fact(0) ->
            1
end.

但是我们又经常需要这样的匿名函数，比如spawn函数，很不方便。 eep37就是解决这样的事情的。

我们来演示下，首先安装R17:

$ kerl build git git://github.com/erlang/otp.git master r17 && kerl install r17  r17
$ r17/bin/erl   
Erlang/OTP 17.0-rc0 [erts-6.0] [source-7d4e5e2] [64-bit] [smp:16:16] [async-threads:10] [hipe] [kernel-poll:false] [type-assertions] [debug-compiled] [lock-checking] [systemtap]

Eshell V6.0  (abort with ^G)
1> fun Fact(N) when N > 0 ->
1>             N * Fact(N - 1);
1>         Fact(0) ->
1>             1
1>     end.
#Fun<erl_eval.29.42696066>
2> F=e(-1).
#Fun<erl_eval.29.42696066>
3> F(10).
3628800

eep37这个特性涉及到的改变还是很大的:语言规格，编译器，调试器，dialyzer, tracer， shell, emacs插件等等，全系列的改变，所以要放在R17里面来，虽然看提交，代码早在1年前准备好了。我们再来体验下：

$ cat eep37.erl 
-module(eep37).

-compile(export_all).

-spec self() -> fun(() -> fun()).
self() ->
    fun Self() -> Self end.

-spec fact() -> fun((non_neg_integer()) -> non_neg_integer()).
fact() ->
    fun Fact(N) when N > 0 ->
            N * Fact(N - 1);
        Fact(0) ->
            1
    end.

$ r17/bin/erl 
Erlang/OTP 17.0-rc0 [erts-6.0] [source-7d4e5e2] [64-bit] [smp:16:16] [async-threads:10] [hipe] [kernel-poll:false] [type-assertions] [debug-compiled] [lock-checking] [systemtap]

Eshell V6.0  (abort with ^G)
1> eep37:fact().    
#Fun<eep37.1.16748913>
2> F=e(-1).
#Fun<eep37.1.16748913>
3> F(10).
3628800
4> 

小结： 语言也在不停的让用户爽。

祝玩得开心！