设为首页 | 加入收藏

欢迎访问幸运赛车彩票官网_幸运赛车电视走势图_幸运赛车玩法

贸易开工 >> 幸运赛车彩票官网-KeyDB——据说是比Redis快5倍的中间件,为啥这么快?

KeyDB项目是从redis fork出来的分支。众所周知redis是一个单线程的kv内存存储系统,而KeyDB在100%兼容redis API的状况下将redis改形成多线程。

线程模型

KeyDB将redis本来的主线程拆分红了主线程和worker线程。每个worker线程都是io线程,担任监听端口,accept恳求,读取数据和解析协议。如图所示:

KeyDB运用了SO_REUSEPORT特性,多个线程能够绑定监听同个端口。

每个worker线程做了cpu绑核,读取数据也运用了SO_INCOMING_CPU特性,指定cpu接纳数据。

解析协议之后每个线程都会去操作内存中的数据,由一把大局锁来操控多线程拜访内存数据。

主线程其实也是一个worker线程,包含了worker线程的作业内容,一起也包含只要主线程才能够完结的作业内容。在worker线程数组中下标为0的便是主线程。

主线程的首要作业在完结serverCron,包含:

  • 处理计算
  • 客户端链接办理
  • db数据的resize和reshard
  • 处理aof
  • replication主备同步
  • cluster形式下的使命

链接办理

在redis中一切链接办理都是在一个线程中完结的。在KeyDB的规划中,每个worker线程担任一组链接,一切的链接刺进到本线程的链接列表中保护。链接的发作、作业、毁掉必须在同个线程中。每个链接新增一个字段

int iel; /* the event loop index we're registered with */

用来表明链接归于哪个线程接纳。

KeyDB保护了三个要幸运赛车彩票官网-KeyDB——据说是比Redis快5倍的中间件,为啥这么快?害的数据结构做链接办理:

  • clients_pending_write:线程专属的链表,保护同步给客户链接发送数据的行列
  • clients_pending_asyncwrite:线程专属的链表,保护异步给幸运赛车彩票官网-KeyDB——据说是比Redis快5倍的中间件,为啥这么快?客户链接发送数据的行列
  • clients_to_close:大局链表,保护需求异步封闭的客户链接

分红同步和异步两个行列,是由于redis有些联动api,比方pub/sub,pub之后需求给sub的客户端发送音讯,pub履行的线程和sub的客户端地点线程不是同一个线程,为了处理这种状况,KeyDB将需求给非本线程的客户端发送数据保护在异步行列中。

同步发送的逻辑比较简单,都是在本线程中完结,以下图来阐明怎么同步给客户端发送数据:

如上文所说到幸运赛车彩票官网-KeyDB——据说是比Redis快5倍的中间件,为啥这么快?的,一个链接的创立、接纳数据、发送数据、开释链接都必须在同个线程履行。异步发送涉及到两个线程之间的交互。KeyDB经过管道在两个线程中传递音讯:

int fdCmdWrite; //写管道
int fdCmdRead; //读管道

本地线程需求异步发送数据时,先查看client是否归于本地线程,非本地线程获取到client专属的线程ID,之后给专属的线程管到发送AE_ASYNC_OP::CreateFileEvent的操作,要求添加写socket事情。专属线程在处理管道音讯时将对应的恳求添加到写事情中,如图所示:

redis有些封闭客户端的恳求并非完全是在链接地点的线程履行封闭,所以在这里保护了一个大局的异步封闭链表。

锁机制

KeyDB完结了一套相似spinlock的锁机制,称之为fastlock。

fastlock的首要数据结构有:

struct ticket
{
uint16_t m_active; //解锁+1
uint16_t m_avail; //加锁+1
};
struct fastlock
{
volatile struct ticket m_ticket;
volatile int m_pidOwner; //当时解贾烽是谁锁的线程id
volat幸运赛车彩票官网-KeyDB——据说是比Redis快5倍的中间件,为啥这么快?ile int m_depth; //当时线程重复加锁的次数
};

运用原子操作__atomic_load_2,__atomic_fetch_add,__atomic_compare_exchange来经过比较m_active=m_avail判别是否能够获取锁。

fastlock供给了两种获取锁的方法:

  • try_lock:一次获取失利,直接回来
  • lock:忙等,每1024 * 1024次忙等后运用sched_yield 自动交出cpu,挪到cpu的使命结尾等候履行。

在KeyDB中将try_lock和事情结合起来,来防止忙等的状况发作。每个客户端有一个专属的lock,在读取客户端数据之前会先尝试加锁,假如失利,则退出,由于数据还未读取,所以在下个epoll_wait处理事情循环中能够再次处理。

Active-Replica

KeyDB完结了多活的机制,每个replica可设置成可写非只读,replica之间相互同步数据。首要特性有:

  • 每个replica有个uuid标志,用来去除环形仿制
  • 新添加rreplay API,将增量指令打包成rreplay指令,带上本地的uuid
  • key,value加上时刻戳版本号,作为抵触校验,假如本地有相同的key且时刻戳版本号大于同步过来的数据,新写入失利。选用当时时刻戳向左移20位,再加上后44位自增的方法来获取key的时刻戳版本号。

转自:https://my.oschina.net/yunqi/blog/3062022



上一条      下一条
返回顶部