redis-infq——将infQ集成到redis

2016-11-30 20:52:41来源:CSDN作者:chosen0ne人点击

infQ以及对应定制化的redis去年就开发完了,现在放出来供大家把玩一下。(infQ的介绍见 infQ——不受限于内存的队列)

1. 安装

代码地址:

infQ:https://github.com/chosen0ne/infQ.git

redis-infq:https://github.com/chosen0ne/redis-infq.git

把两个项目clone到一个目录,执行以下命令:

cd infQmakecd ../redis-infqmake
make成功后,和redis一样,会在redis-infq/src/目录下生成redis-server

这里注意,infQ和redis-infq一定要在同一个目录下,否则编译redis-infq时会因为找不到infQ的静态链接库而失败。

2. 支持的命令

1)qpush key value [value ... ]

将多个value添加到infQ实例中。如果key存在,但是数据类型不是infQ,返回错误Wrong Type Error。如果key不存在,会创建键为key的infQ实例。

2)qpop key

从键为key的infQ实例中pop,并返回pop出的对象。如果key不存在,返回Wrong Type Error错误。

3)qjpop key

与qpop类似,只是不会返回pop出的对象。

4)qlen key

返回键为key的infQ的实例的长度。

5)qtop key

返回键为key的infQ实例的第一个元素。

6)qdel key

删除键为key的infQ实例。

7)qat key index

返回键为key的infQ实例,在下标index对应的元素。

8)qrange key start stop

返回键为key的infQ实例,在范围[start, stop]对应的所有元素。

9)qpoprpush source destination

从键为source的infQ实例pop,并将pop出的对象rpush到键为destination的list。

3. 配置文件

默认可以通过redis-cli执行infQ相关命令,不过由于各种语言的redis客户端并不支持infQ,所以为了支持infQ,需要将list相应的命令进行rename,具体如下:

rename-command LPUSH OLD_LPUSH rename-command RPOP OLD_RPOP rename-command LLEN OLD_LLEN rename-command RPOPLPUSH OLD_RPOPLPUSH rename-command QPUSH LPUSH rename-command QPOP RPOP rename-command QLEN LLEN rename-command QPOPRPUSH RPOPLPUSH

redis-infq项目文件夹下,redis-rename.conf配置文件已经完成上述配置,直接基于这个配置启动即可。然后就可以通过list相关命令操作infQ。

infQ相关属性的配置,可以通过redis配置文件进行配置,具体配置示例如下:

######################## Configuration for InfQ ############################### Specify the log level of InfQinfq-logging-level INFO# Data path for InfQ.# Make sure the directory exist, or creation of InfQ will fail.infq-data-path ./infq_data_path/# Memory block size of InfQ# 1MB = 1048576# 10MB = 10485760# 20MB = 20971520infq-mem-block-size 10485760# Number of memory blocks for push queueinfq-pushq-blocks-num 30# Number of memory blocks for pop queueinfq-popq-blocks-num 30# 指定当push queue中已使用的block的百分比大于多少时,会触发dumper将内存块# dump成文件块。# 此值设置的过小,会导致不必要的磁盘IO;过大,可能会导致dumper来不及消费# 造成push queue满。infq-dump-blocks-usage 0.5


4. 运行

通过info命令,可以当前redis持有的infQ的信息,如下:

# Clustercluster_enabled:0# Keyspacedb0:keys=3,expires=0,avg_ttl=0# InfQmem_block_size:10485760, pushq_blocks_num:30, popq_blocks_num:30c=[publks:1, poblks:0, fblks:0, ms:629145744, fs:0, dumper: (0, 0), loader: (0, 0), unlinker: (0, 0)]b=[publks:1, poblks:0, fblks:0, ms:629145744, fs:0, dumper: (0, 0), loader: (0, 0), unlinker: (0, 0)]a=[publks:1, poblks:0, fblks:0, ms:629145744, fs:0, dumper: (0, 0), loader: (0, 0), unlinker: (0, 0)]
具体属性的含义如下:

mem_block_size: infQ的内存块尺寸

pushq_blocks_num: push queue包含的block数目上限

popq_blocks_num: pop queue包含的block数目上限

以上是所有infQ实例共用的属性,下面是单个infQ实例属性。

publks: 当前push queue包含的block数目

poblks: 当前pop queue包含的block数目

ms: 当前infQ实例占用的内存大小

fs: 当前infQ实例占用的文件大小

dumper、loader和unlinker:3个后台线程的状态。

5. 主从同步

对redis主从同步修改,支持了infQ的同步。在主从同步过程中,需要传输infQ的元数据、文件等,这块后续单独描述一下。

最新文章

123

最新摄影

微信扫一扫

第七城市微信公众平台