Elasticsearch 可以通过快照(snapshot)将指定 index 甚至整个 cluster 的数据存储到某远端仓库(repository), 并能从该远端仓库存储的快照中恢复数据。本应用的 Elasticsearch 可以通过 S3 Repository Plugin 与对象存储集成以便生成快照将数据存储到对象存储中,并可以在必要时从中恢复。

操作步骤

  1. 创建一个 repository

    PUT _snapshot/repo-stor
    {
      "type": "s3",
      "settings": {
        "endpoint": "s3.pek3a.stor.com",
        "access_key": "<YourAccessKey>",
        "secret_key": "<YourSecretKey>",
        "bucket": "my_stor_bucket"
      }
    }
参数 说明

repository

名称。

endpoint

s3.[region].stor.com (请根据实际情况就近选择,目前支持:pek3a, pek3b, sh1a,gd2。

access_key

云平台账号关联的access_key。

secret_key

云平台账号关联的secret_key。

bucket

对象存储上bucket名称my_stor_bucket(如果不存在将创建出来)。

说明

详细参数说明请参考官方文档

  1. 通过如下命令查看、删除已有的 repository

    curl $ES_IP:9200/_snapshot/repo-stor    # 获取指定repository信息
    
    curl "$ES_IP:9200/_snapshot/repo*,*backup*" # 获取所有满足特定条件的repository信息
    
    curl $ES_IP:9200/_snapshot/_all             # 获取所有repository信息
    
    curl -XDELETE $ES_IP:9200/_snapshot/repo-stor # 删除repository
  2. 用如下命令创建快照(该快照将会存放在之前指定的对象存储的 bucket my_stor_bucket 中)。

    # 创建包含集群所有index的snapshot
    curl -H "Content-Type: application/json" -XPUT "$ES_IP:9200/_snapshot/repo-stor/backup-2019.05.13?wait_for_completion=true"
    
    # 创建包含集群指定index(此处为index_1,index_2)的snapshot
    curl -H "Content-Type: application/json" -XPUT "$ES_IP:9200/_snapshot/repo-stor/backup-2019.05.13?wait_for_completion=true" -d'
    {
      "indices": "index_1,index_2",
      "ignore_unavailable": true,
      "include_global_state": false
    }
    '
    说明

    参数 wait_for_completion 为 true 时表示该命令将会在快照创建完成返回,false 表示该命令将会在快照初始化完成就返回。

  3. 通过如下命令查看、删除快照。

    curl "$ES_IP:9200/_snapshot/repo-stor/backup-2019.05.13" # 查看指定repository中某snapshot信息
    
    curl "$ES_IP:9200/_snapshot/repo-stor/_all"              # 查看指定repository中所有snapshot信息
    
    curl -XDELETE "$ES_IP:9200/_snapshot/repo-stor/backup-2019.05.13" # 删除snapshot
  4. 通过如下命令恢复存储在对象存储的快照到 Elasticsearch 集群。

    # 恢复包含集群所有index的snapshot
    curl -H "Content-Type: application/json" -XPOST "$ES_IP:9200/_snapshot/repo-stor/backup-2019.05.13/_restore"
    
    # 恢复包含集群指定index(此处为index_1,index_2)的snapshot
    curl -H "Content-Type: application/json" -XPOST "$ES_IP:9200/_snapshot/repo-stor/backup-2019.05.13/_restore" -d'
    {
      "indices": "index_1,index_2",
      "ignore_unavailable": true,
      "include_global_state": false,
      "rename_pattern": "index_(.+)",
      "rename_replacement": "restored_index_$1"
    }
    '
    说明

    要恢复的 index 必须是集群中处于关闭状态的 index, 处于打开状态的 index 将会提示无法恢复。

  5. 快照由于并没有和具体的集群信息绑定,所以也可以恢复到另一个不同的集群,用户可以用这种方法在不同集群之间通过对象存储导入导出数据。

    说明

    新集群的版本必须和老集群一致或者更新。

    • 先在目标集群中生成和源集群同样的 repository(必须使用同样的参数,具体方法请参考步骤1 )。

    • 在新的集群创建好与老集群相同的 repository 后,就可以通过步骤5中提到的命令(需要把 URL 地址改成新集群里节点的地址)将老集群的数据恢复到新集群上去。

    说明

    更详细的有关集群快照的生成和恢复的信息请参考Elasticsearch 官方文档

    如果 ES 集群和对象存储位于同一区域进行数据迁移耗公网流量,如果不在同一区域则需要消耗公网流量,比如位于北京3区-A 的 ES 集群可以选择同一区域的对象存储避免产生公网流量。