[深圳|结业弟子]JAVA-韦杰|2017年09月29日的日报-技能树.IT修真院

发表于： 2017-09-29 23:14:11

2 763

今天完成的事情

准备小课堂

PPT https://ptteng.github.io/PPT/PPT-java/java-task6-memcache.html#/

题目

为什么要使用memcache？使用memcache有什么作用？

大纲

1.memcache是什么？为什么需要memcache（它的作用）？

这个问题可以再细分。

为什么要使用缓存

选择memcache作为缓存又有什么优点？

答案来自官网。我自己概括了一下

使用memcache之前，每个服务器的缓存是分开的，总的容量等于单个服务器的缓存容量。还要分出精力去维护所有服务器上缓存的数据，让它们保持一致。

使用memcache之后：把每一个使用了缓存的服务器称作节点，memcache则是把这些节点组成一个节点池。 1.容量增大，总的容量是所有服务器缓存容量的总和。2.一个指定的数据的将在同一个节点上进行读写，不需要保持节点间的数据一致。

配置节点池的方式

1）不同服务器的节点组成节点池

2）从同一个服务器内存分出多个节点（一个节点分配一个端口）组成节点池

2.memcache详解（算法+slab）

memcache到底是什么？

MemCache是一个自由、源码开放、高性能、分布式的分布式内存对象缓存系统，用于动态Web应用以减轻数据库的负载。它通过在内存中缓存数据和对象来减少读取数据库的次数，从而提高了网站访问的速度。 MemCaChe是一个存储键值对的HashMap，在内存中对任意的数据（比如字符串、对象等）所使用的key-value存储。

memcache的访问模型

看图说话

1.可以在同一个服务器上分出多个端口作为一个memcached节点

2.图中分为应用程序服务器和memcache服务器，也就是说，我们可以专门准备一个服务器，不装应用程序，只作为memcache服务器使用。

3.理一下MemCache一次写缓存的过程

service方法里传入需要写缓存的数据并规定key==》

客户端将key传到内部的路由算法模块==》

得到key对应HashCode==》

路由算法根据Key和Memcache几圈服务器列表得到一台服务器编号==》

由服务器编号得到MemCache的IP地址和端口号==》

客户端调用通信模块和指定编号的服务器通信，将数据写入该服务器。

4.MemCache的一次读缓存的过程

读缓存跟写缓存的步骤差不多。

路由算法 - 简介

1、余数Hash算法

原理：假设key对应的HashCode是50，memcache服务器数目为3，取余数2，那么这个key对应节点node2。

优点：算法简单，能满足绝大多数的缓存路由需求。

缺点：扩容会导致get命中率大幅度下降。

解决方案：

1）在网站访问量低估，通常是深夜，你加班，扩容，重启服务器

2）你再加班，通过模拟请求的方式逐渐预热缓存，使服务器中的数据重新分布

2、一致性Hash算法

原理：先构造一个长度为232的证书换（这个环被称为一致性Hash环），根据节点名称的Hash值（值的分布范围为[0,232-1]）把MemCache服务器节点放在这个Hsah环上，接着根据需要缓存的数据的Key对应的Hash值（值的分布范围也是[0,232-1]），然后在Hash环上顺时针查找距离这Key的Hash值最近的服务器节点，完成一次写操作。

优点：扩容方便,get命中率下降的不是很厉害。而且，节点数越多，每次扩容后get命中率下降越小。也就是说，你不用熬夜加班扩容、预热缓存。也就是说，你没有加班费了。

3.MemCahe实现原理

首先要理解下面的一些概念：

1）MemCache的数据是存放在内存中的；

2）这里面涉及4个概念：slab_class，slab，page，chunk

3）MemCache将内存分为一组slab，每个slab下又有若干个page，每个page大小都是固定的1M；

4）每个page里面包含一组chunk，chunk是真正存放数据的地方，同一个slab里面的chunk大小是固定的；

5）有相同大小chunk的slb被组织在一起，被称为slab_class。

MemCache中的value过来存放的地方是由value的大小决定的，value总是会被存放到与chunk大小最接近的一个slab中，比如slab[1]的chunk大小为80字节、slab[2]的chunk大小为100字节、slab[3]的chunk大小为128字节（相邻slab内的chunk基本以1.25为比例进行增长，MemCache启动时可以用-f指定这个比例），那么过来一个88字节的value，这个value将被放到2号slab中。放slab的时候，首先slab要申请内存，申请内存是以page为单位的，所以在放入第一个数据的时候，无论大小为多少，都会有1M大小的page被分配给该slab。申请到page后，slab会将这个page的内存按chunk的大小进行切分，这样就变成了一个chunk数组，最后从这个chunk数组中选择一个用于存储数据。

4.memcache的命令 - 只提几个常用的

1.安装命令

memcache依赖于libevent，要先安装libevent才能安装memcache