# 该分布式框架只有任务发送端和任务伺服端。
# 所以你只需要有一个正常的 redis 服务器。
# 然后使用下面的方式部署就可以使用。
# 仅依赖安装 redis 库。
# 开发于 python3.6 版本。
# 一次部署，任意任务、任意次执行，且多任务互不干扰。


【 基础配置 】：
    # 无论发送端和工作端都需要进行这两项配置
    # 安装。安装后会自动生成一个 vredis 的命令行工具，通过工具配置 redis信息。
    cmd>pip install vredis.py
    cmd>vredis config --host xx.xx.xx.xx --password xxxxx
    # 在第二步如果有更多的连接redis的配置就按照vreids的说明配置即可。
    # vredis config 命令后面不添加配置内容，则仅仅显示当前配置。


【 部署工作端 】：
    cmd>vredis worker
    # 启动任务端。（如果是linux可以在命令后加 &后台启动 “vredis worker &”）
    # 配置后启动任务端便可以让任何带有 python 平台变成你的任务机。
【 任务发送端 】：
    # 下面是一个最简单的分布式脚本 test.py
    from vredis import pipe
    @pipe
    def do_something(a,b):
        print(a+b)
    for i in range(1000):
        do_something(i,i**3) 
    # 被装饰的函数变成发送任务函数，将函数发送到待执行任务队列中，由服务机执行。
    # 执行脚本的时候会有输出一个任务taskid
    # 后续根据taskid来查询任务执行情况或者，获取任务收集到的数据。


检查任务执行的状况：
    >vredis stat --taskid xx
    # 根据任务id查看任务执行情况

# 1）通过 pip 直接从pypi上下载安装（pip直接下载的名字后面有.py，请注意别下载错了。）
C:\Users\Administrator>pip install vredis.py
# 2）通过 pip+git 从github上下载安装
C:\Users\Administrator>pip install git+https://github.com/cilame/vredis.git

# 1）如果服务器内存比较小可能会因为快照存储问题导致异常，可以将 redis.conf 文件内部的 
#    默认参数 “stop-writes-on-bgsave-error” 这行后面的 “yes” 改为 “no”。
# 2）尽量设置一个密码保证数据库的安全。

# 推荐使用命令行提取数据，获取默认传入redis的数据必须配置taskid
# limit是数量显示，从后往前获取搜集到的数据的数量限制
# 如果不设置 --file 则默认控制台输出，如果设置则写入文件
# --file 绝对路径和相对路径。
# 输出的文件格式类似于 scrapy 框架的默认写文件的
cmd>vredis dump --taskid 19 --limit 10
cmd>vredis dump --taskid 19 --limit 10 --file 123.txt


# 使用脚本的方式提取数据
from vredis import pipe
# pipe.connect(host='47.99.126.229',port=6379,password='vredis')
# 是否pipe.connect(...)取决于你是否通过 vredis 工具配置了redis连接的配置
for i in pipe.from_table(taskid=19):
    print(i)
# 任务不结束不能抽取数据，会出直接抛出异常
# from_table 的第二个参数就可以传入 table 的名字，也就是存储的命名空间
# 默认是以 method='range' 方式提取数据，取完数据后，数据还是会占用 redis 的存储空间。
# 所以如果确定只提取这一次，不想消耗存储空间，那么可以在 from_table 里面设置 method='pop' 即可。

PS C:\Users\Administrator\Desktop\vredis> vredis cmdline
[ use CTRL+PAUSE(win)/ALT+PAUSE(linux) to break ]
cmd/

# 在该cmdline的情况下传输命令行。
# 测试中，在window上能够通过pip进行对库的安装，但是在linux上暂时不行。
# 同时，在该处有两个特别的命令 ls/list
# 这两个命令被覆盖为“输出每个工作段的机器型号”。

# 因为 --help 文档里面已经写的很详细了，所以这里就给一个简单的指令模板以及其执行的结果作为参考。
# vredis stat 指令必须要添加 -ta,--taskid 参数来指定需要检查的任务id。
# 其他的配置在默认配置里面有的话就可以不用写，如果没有，可以直接在命令行中添加。

C:\Users\Administrator>vredis stat -ho xx.xx.xx.xx -po 6666 -pa vredis -db 0 -ta 23
[ REDIS-SERVER ] host:47.99.126.229, port:6379
   taskid  collect  execute     fail     stop
   ------   ------   ------   ------   ------
      138      352       32        0     True
      139      430       40        0     True
      140      405       38        0     True
      141      374       35        0     True
      142      351       33        0     True
      143      276       27        0     True
      144      283       26        0     True
      145      259       24        0     True
      146      205       19        0     True
      147      283       26        0     True
   ------   ------   ------   ------   ------
        -  collect  execute     fail  undistr
      all     3218      300        0        0

# collect 代表收集的数量
# execute 代表执行的函数数量
# fail 代表错误函数数量（异常超过3次）
# undistr 代表还未被分发出去的任务数量

# 增加默认配置参数的方法，使用方法在 vredis 帮助里有描述，很简单。
# 如果什么都不写，默认打印当前配置状态 “vredis config”，如果有参数则进行配置。
# 只有以下 4 个参数需要配置。

C:\Users\Administrator>vredis config -ho xx.xx.xx.xx -pa vredis
current defaults [use -cl/--clear clear this settings]:
{
    "host": "xx.xx.xx.xx",
    "port": 6379,
    "password": "vredis",
    "db": 0
}

# 命令行只要是需要这四个参数的，配置了默认参数，那么就会从默认参数去取配置。命令行工具更好用了。
# 另外配置的优先级是：命令行配置 > 默认配置 > 初始化配置（localhost:6379 无密码，db=0）。