Redis采用不同内存分配器碎片率对比

日期: 2011-11-29 作者:nosqlfan 来源:TechTarget中国 英文

  我们知道Redis并没有自己实现内存池,没有在标准的系统内存分配器上再加上自己的东西。所以系统内存分配器的性能及碎片率会对Redis造成一些性能上的影响。

  在Redis的 zmalloc.c 源码中,我们可以看到如下代码:

  48 /* Explicitly override malloc/free etc when using tcmalloc. */
  49 #if defined(USE_TCMALLOC)
  50 #define malloc(size) tc_malloc(size)
  51 #define calloc(count,size) tc_calloc(count,size)
  52 #define realloc(ptr,size) tc_realloc(ptr,size)
  53 #define free(ptr) tc_free(ptr)
  54 #elif defined(USE_JEMALLOC)
  55 #define malloc(size) je_malloc(size)
  56 #define calloc(count,size) je_calloc(count,size)
  57 #define realloc(ptr,size) je_realloc(ptr,size)
  58 #define free(ptr) je_free(ptr)
  59 #endif

  从上面的代码中我们可以看到,Redis在编译时,会先判断是否使用tcmalloc,如果是,会用tcmalloc对应的函数替换掉标准的libc中的函数实现。其次会判断jemalloc是否使得,最后如果都没有使用才会用标准的libc中的内存管理函数。

  而在最新的2.4.4版本中,jemalloc已经作为源码包的一部分包含在源码包中,所以可以直接被使用。而如果你要使用tcmalloc的话,是需要自己安装的。

  下面简单说一下如何安装tcmalloc包,tcmalloc是google-proftools中的一部分,所以我们实际上需要安装google-proftools。如果你是在64位机器上进行安装,需要先安装其依赖的libunwind库。

  wget http://download.savannah.gnu.org/releases/libunwind/libunwind-0.99-alpha.tar.gz
  tar zxvf libunwind-0.99-alpha.tar.gz
  cd libunwind-0.99-alpha/
  CFLAGS=-fPIC ./configure
  make CFLAGS=-fPIC
  make CFLAGS=-fPIC install

  然后再进行google-preftools的安装:

  wget http://google-perftools.googlecode.com/files/google-perftools-1.8.1.tar.gz
  tar zxvf google-perftools-1.8.1.tar.gz
  cd google-perftools-1.8.1/
  ./configure –disable-cpu-profiler –disable-heap-profiler –disable-heap-checker –disable-debugalloc –enable-minimal
  make && make install

  sudo echo “/usr/local/lib” > /etc/ld.so.conf.d/usr_local_lib.conf #如果没有这个文件,自己建一个

  sudo /sbin/ldconfig

  然后再进行Redis的安装,在make时指定相应的参数以启用tcmalloc

  $ curl -O http://redis.googlecode.com/files/redis-2.4.4.tar.gz
  $ tar xzvf redis-2.4.4.tar.gz
  $ cd redis-2.4.4
  $ make USE_TCMALLOC=yes FORCE_LIBC_MALLOC=yes
  $ sudo make install

  再启动Redis后通过info命令就能看到使用的内存分配器了。

  下面回到本文的主题,对于tcmalloc,jemalloc和libc对应的三个内存分配器。其性能和碎片率如何呢?下面是一个简单测试结果,使用Redis自带的redis-benchmark写入等量数据进行测试,数据摘自采用不同分配器时Redis info信息。我们可以看到,采用tcmalloc时碎片率是最低的,为1.01,jemalloc为1.02,而libc的分配器碎片率为1.31,如下所示:

  used_memory:708391440
  used_menory_human:675.57M
  used_memory_rss:715169792
  used_memory_peak:708814040
  used_memory_peak_human:675.98M
  mem_fragmentation_ratio:1.01
  mem_allocator:tcmalloc-1.7
  used_memory:708381168
  used_menory_human:675.56M
  used_memory_rss:723587072
  used_memory_peak:708803768
  used_memory_peak_human:675.97M
  mem_fragmentation_ratio:1.02
  mem_allocator:jemalloc-2.2.1
  used_memory:869000400
  used_menory_human:828.74M
  used_memory_rss:1136689152
  used_memory_peak:868992208
  used_memory_peak_human:828.74M
  mem_fragmentation_ratio:1.31
  mem_allocator:libc

我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。

我原创,你原创,我们的内容世界才会更加精彩!

【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】

微信公众号

TechTarget微信公众号二维码

TechTarget

官方微博

TechTarget中国官方微博二维码

TechTarget中国

电子邮件地址不会被公开。 必填项已用*标注

敬请读者发表评论,本站保留删除与本文无关和不雅评论的权力。

作者

nosqlfan
nosqlfan

相关推荐