通过-ElasticSearch的Python-API和curl-命令获取Elasticsearch-所有索引名称

2025-03-11 约 2755 字预计阅读 6 分钟

https://bing.ee123.net/img/rand?artid=146173358

通过 ElasticSearch的Python API和`curl` 命令获取Elasticsearch 所有索引名称

导言

在大数据管理和实时搜索场景中，Elasticsearch 是一款不可或缺的工具。无论是开发调试、数据维护，还是系统监控， 快速列出所有索引名称 都是一个高频需求。本文将手把手教你如何通过 Python 客户端连接 Elasticsearch，并用两种方法获取索引列表，同时提供代码示例和实战技巧，助你高效掌控 Elasticsearch 的索引管理。

一、为什么需要列出索引名称？

在 Elasticsearch 中，索引是存储和检索数据的逻辑容器。通过列出所有索引名称，你可以：

监控系统状态 ：确认哪些索引存在或已删除。
调试开发问题 ：快速定位目标索引是否存在或是否符合预期。
自动化运维 ：结合脚本批量管理索引（如清理旧数据、备份等）。
本文将通过 Python 的 elasticsearch 客户端库，实现这一需求。

二、快速上手：Python 列出 Elasticsearch 索引名称

1. 安装依赖库

首先安装 Python 的官方 Elasticsearch 客户端库：

pip install elasticsearch

2. 连接到 Elasticsearch 实例

创建客户端连接对象：

from elasticsearch import Elasticsearch

# 默认连接本地（http://localhost:9200）
client = Elasticsearch("http://localhost:9200")

# 如需远程连接或认证（示例）：
# client = Elasticsearch(
#     "https://your-host:9200",
#     http_auth=("username", "password"),
#     verify_certs=True
# )

3. 方法一：使用 `indices.get()` 获取索引列表

通过 indices.get 方法直接获取所有索引的元数据，返回一个字典，键为索引名称：

try:
    indices_info = client.indices.get(index="*")  # "*" 表示匹配所有索引
    index_names = list(indices_info.keys())
    print("索引列表：", index_names)
except Exception as e:
    print(f"错误：{str(e)}")  # 捕获连接或权限异常

优点：直接返回索引名列表，简单高效。

注意：若索引数量庞大，此方法可能加载全部元数据，性能需权衡。

4. 方法二：通过 `cat.indices` 获取索引列表

cat API 提供轻量级、易解析的输出格式，适合仅需索引名称的场景：

try:
    # 获取索引信息（指定返回字段为 "index"，格式为 JSON）
    response = client.cat.indices(index="*", h="index", format="json")
    index_names = [item["index"] for item in response]
    print("索引列表：", index_names)
except Exception as e:
    print(f"错误：{str(e)}")

优点：返回轻量数据，适合仅获取名称的场景。

注意：需遍历 JSON 列表解析字段。

5. 完整代码示例

from elasticsearch import Elasticsearch

def list_elasticsearch_indices():
    # 初始化客户端
    client = Elasticsearch("http://localhost:9200")
    
    try:
        # 方法一：indices.get
        indices_method1 = client.indices.get(index="*").keys()
        print("方法一结果：", list(indices_method1))
        
        # 方法二：cat.indices
        cat_response = client.cat.indices(index="*", h="index", format="json")
        indices_method2 = [item["index"] for item in cat_response]
        print("方法二结果：", indices_method2)
        
    except Exception as e:
        print(f"Error: {str(e)}")

if __name__ == "__main__":
    list_elasticsearch_indices()

三、注意事项

连接配置
- 确保 Elasticsearch 服务已启动，且端口（默认 9200 ）可访问。
- 若启用安全认证（如 X-Pack），需提供 http_auth 参数或 API Key。
权限问题
- 客户端账号需具备 monitor 或 manage 权限才能查看索引。
性能优化
- 若索引数量巨大，使用 cat.indices 更节省资源。
- 排除系统索引（如 .kibana ）可通过正则表达式过滤：
```
index_names = [name for name in index_names if not name.startswith(".")]
```

四、进阶应用

你可以结合其他 Elasticsearch API 实现更多场景：

删除索引 ： client.indices.delete(index="your_index")
创建索引 ： client.indices.create(index="new_index")
查询索引详情 ： client.indices.get_settings(index="your_index")

调试技巧：通过 `curl` 命令获取Elasticsearch 所有索引名称

通过 curl 命令访问 localhost:9200 的 Elasticsearch 并获取所有索引名称，同时需要输入用户名和密码进行认证，可以使用以下命令：

方法 1：直接在命令中指定用户名和密码

curl -u username:password -X GET "http://localhost:9200/_cat/indices?v"

-u username:password ：指定认证的用户名和密码。
-X GET ：指定 HTTP 请求方法为 GET 。
/_cat/indices?v ：Elasticsearch 的内置端点，用于列出所有索引名称及详细信息（如 v 会格式化输出）。

方法 2：交互式输入密码（更安全）

如果不想将密码明文写在命令中，可以交互式输入：

curl -u username -X GET "http://localhost:9200/_cat/indices?v"

执行命令后，终端会提示你输入密码。

注意事项：

认证方式 ：
- Elasticsearch 默认可能使用 basic auth 认证（非 HTTPS 的默认配置）。
- 若 Elasticsearch 启用了 HTTPS（如生产环境），需要将 http:// 改为 https:// ，并可能需要添加 --insecure 参数忽略 SSL 证书验证（慎用生产环境）：
```
curl -u username:password -k -X GET "https://localhost:9200/_cat/indices?v"
```
权限问题 ：
- 确保用户名（如 username ）有权限访问 /_cat/indices 端点。
- 默认管理员用户可能是 elastic ，但需确认具体权限配置。
端点说明 ：
- /_cat/indices 返回所有索引的基本信息（名称、文档数、状态等）。
- 如果仅需要索引名称，可以用 awk 或其他工具过滤输出：
```
curl -u username:password -X GET "http://localhost:9200/_cat/indices?v" | awk '{print $3}'
```

如果遇到 认证失败 或 连接错误 ，检查以下几点：

Elasticsearch 是否启用了安全认证（如 xpack.security.enabled: true ）。
用户名和密码是否正确。
是否监听在 localhost:9200 端口（可通过 curl http://localhost:9200 测试基础连接）。

错误排查：许可证过期可能会遇到 `403 AuthorizationException: current license is non-compliant for [security]` 错误

403 AuthorizationException: current license is non-compliant for [security] 错误，通常与 Elasticsearch 许可证（License） 问题相关。具体来说，Elasticsearch 的某些功能（如安全功能，即 X-Pack Security ）需要有效的许可证才能使用。以下是详细的排查和解决方案：

1. 错误原因分析

许可证级别不足 ：默认的 Basic 许可证不支持安全功能（如用户认证、角色管理等）。你需要 Gold 或更高版本的许可证 才能启用安全功能。
许可证过期 ：试用许可证（Basic 30天试用）过期后，安全功能会被禁用。
未激活许可证 ：即使拥有许可证文件，也可能未正确加载到 Elasticsearch 中。

2. 解决方案步骤

方法一：检查现有的许可证状态

运行以下命令查看当前许可证信息：

curl -X GET "http://localhost:9200/_license" -u "username:password"
# 或使用 Python 客户端：
from elasticsearch import Elasticsearch
client = Elasticsearch("http://localhost:9200", basic_auth=("username", "password"))
print(client.license.get())

典型输出示例 ：

{
  "license": {
    "status": "active",
    "uid": "...",
    "type": "basic",      # 关键字段！"basic" 表示基础版（免费但无安全功能）
    "issue_date": "...",
    "issue_date_in_millis": ...,
    "type": "...",
    "expiry_date": "...",
    "expiry_date_in_millis": ...
  }
}

如果 type 是 basic ，且你需要安全功能，必须更换许可证。
如果 status 是 expired ，则许可证已过期。

方法二：获取并安装正确的许可证

选项1：临时试用高级许可证

获取 7 天试用许可证 （适用于测试环境）：

curl -X POST "http://localhost:9200/_security/license/start_basic" -u "username:password"
curl -X POST "http://localhost:9200/_security/license/start_trial?acknowledge=true&pretty" -u "username:password"

验证许可证是否生效：

curl -X GET "http://localhost:9200/_license" -u "username:password"

选项2：使用正式许可证文件

获取许可证文件 （如 license ElvisBasic.lic 或 gold.lic ）：
- 联系 Elastic 支持团队获取正式许可证。

安装许可证 ：

curl -X PUT "http://localhost:9200/_license" -u "username:password" -H 'Content-Type: application/yaml' -d @/path/to/license.lic

方法三：禁用安全功能（仅限测试环境）

如果确认不需要安全功能，可以临时禁用它（ 生产环境不建议 ）：

编辑 Elasticsearch 配置文件 elasticsearch.yml ：
```
xpack.security.enabled: false
```

重启 Elasticsearch 服务：

# Linux
sudo systemctl restart elasticsearch

禁用后，无需许可证即可使用基础功能（如列出索引）：

client = Elasticsearch("http://localhost:9200")  # 无需认证
indices = client.indices.get(index="*")
print(indices.keys())

方法四：检查用户权限

即使许可证有效，用户权限不足也会导致 403 错误：

确认当前用户（如 elastic 超级用户）有 monitor 或 manage 权限：

curl -X GET "http://localhost:9200/_security/user" -u "username:password"

如果用户权限不足，可分配角色：

# 为用户分配 "superuser" 角色
curl -X POST "http://localhost:9200/_security/user/username/_password" -H 'Content-Type: application/json' -d'
{
  "password" : "new_password",
  "roles" : ["superuser"]
}'

3. 验证修复

完成以上步骤后，重新运行代码尝试列出索引：

from elasticsearch import Elasticsearch

client = Elasticsearch(
    "http://localhost:9200",
    basic_auth=("username", "password")
)
indices = client.cat.indices(index="*", h="index", format="json")
index_names = [item["index"] for item in indices]
print(index_names)

4. 其他注意事项

许可证激活问题
- 如果许可证文件存在但未生效，检查日志文件 elasticsearch.log 中是否有错误提示。
单节点许可证限制
- 某些许可证（如 Basic）仅支持单节点部署，多节点集群需升级。
文档参考
- 官方许可证指南：

总结

通过 Python 客户端，只需 几行代码 即可快速获取 Elasticsearch 的所有索引名称，灵活应对开发与运维需求。根据实际场景选择合适的方法，并结合权限管理和安全配置，你可以更安全、高效地操作 Elasticsearch 系统。

如果本文帮助你解决了问题，欢迎点赞、收藏或分享给需要的人！如需深入探讨其他 Elasticsearch 技巧，欢迎在评论区留言。