DSL语言高级查询-天翼云

概述

关于 DSL

DSL(Domain Specific Language)
领域专用语言
Elasticsearch 提供了基于 JSON 的 DSL 来定义查询

组成

叶子查询子句：在特定域中寻找特定的值。
复合查询子句：复合查询子句包装其他叶子查询或复合查询，并用于以逻辑方式组合多个查询。

基本语法

POST /索引名称/_search
{
  "query": {
    "查询类型": {
      "查询条件": "查询条件值"
    }
  }
}

查询类型

match_all
match
term
range
...

DSL 查询

数据准备, 定义索引库：

DSL语言高级查询

PUT /my_goods_001
{
  "settings": {},
  "mappings": {
    "properties": {
      "titile":{
        "type": "text",
        "analyzer": "ik_max_word"
      },
      "img":{
        "type": "keyword"
      },
      "price":{
        "type": "float"
      }
    }
  }
}

添加数据：

POST /my_goods_001/_doc/
{
  "title":"小米12 Pro 5G新品手机",
  "img":"jd/68fefdd1ffa9b2c6.jpg",
  "price":4699
}
POST /my_goods_001/_doc/
{
  "title":"小米电视EA55 2022款",
  "img":"jd/a7b378609674c149.jpg",
  "price":1899
}
POST /my_goods_001/_doc/
{
  "title":"华为Mate40Pro",
  "img":"jd/fb9481c4ca07a2e3.jpg",
  "price":6099
}

DSL语言高级查询

查询所有(match_all query)

无查询条件是查询所有，默认是查询所有的，写法如下：

POST /索引库/_search
{
  "query": {
    "match_all": {}
  }
}

DSL语言高级查询

POST /my_goods_001/_search
{
  "query": {
    "match_all": {
      
    }
  }
}

返回结果含义：

took：查询花费时间，单位是毫秒
time_out：是否超时
shards：分片信息
hits：搜索结果总览对象

total：搜索到的总条数
max_score：所有结果中文档得分的最高分
hits：搜索结果的文档对象数组

_index：索引库
_type：文档类型
_id：文档 id
_score：文档得分
_source：文档的源数据

全文搜索

match 匹配搜索

对一个字段进行匹配查询，match 类型查询，match 类型查询，会把查询条件进行分词，or 关系，多个词条之间是 or 的关系：

POST /my_goods_001/_search
{
  "query": {
    "match": {
      "title": "小米电视EA55"
    }
  }
}

DSL语言高级查询

and 关系：

POST /my_goods_001/_search
{
  "query": {
    "match": {
      "title": {
        "query": "小米电视EA55",
        "operator": "and"
      }
    }
  }
}

DSL语言高级查询

短语搜索

对一个字段进行短语查询, 短语匹配：

POST /my_goods_001/_search
{
  "query": {
    "match_phrase": {
      "title": "小米电视"
    }
  }
}

DSL语言高级查询

移动因子匹配，关于这个移动因子大概意思就是说假如你现在要搜索一个 小米EA55 如果你的移动因子为 2 那么小米后面两个内容可以是其它的内容然后在拼接EA55来进行查询效果如下：

POST /my_goods_001/_search
{
  "query": {
    "match_phrase": {
      "title": {
        "query": "小米EA55",
        "slop": 2
      }
    }
  }
}

DSL语言高级查询

全文搜索可以理解为 MySQL 当中的模糊搜索。

query_string 查询

无需指定某字段而对文档全文进行匹配查询的一个高级查询。

不指定字段

POST /my_goods_001/_search
{
  "query": {
    "query_string": {
      "query": "手机"
    }
  }
}

DSL语言高级查询

全字段搜索。

指定字段

POST /my_goods_001/_search
{
  "query": {
    "query_string": {
      "query": 1899,
      "default_field": "price"
    }
  }
}

DSL语言高级查询

逻辑查询

POST /my_goods_001/_search
{
  "query": {
    "query_string": {
      "query": "小米 AND 手机",
      "default_field": "title"
    }
  }
}

DSL语言高级查询

模糊查询

POST /my_goods_001/_search
{
  "query": {
    "query_string": {
      "query": "小米~1",
      "default_field": "title"
    }
  }
}

DSL语言高级查询

这个模糊搜索主要就是对数据进行修正，如上我编写的为 小米~1 ~1 它内部会自动的进行转换修正，可能会修正为如上所查询出来的电视，或者12啥的。

多字段查询

POST /my_goods_001/_search
{
  "query": {
    "query_string": {
      "query": "1899",
      "fields": ["title", "price"]
    }
  }
}

DSL语言高级查询

多字段搜索 multi_match

POST /my_goods_001/_search
{
  "query": {
    "multi_match": {
      "query": "1899",
      "fields": ["title", "price"]
    }
  }
}

DSL语言高级查询

当然搜索的字段可以是进行模糊匹配字段用 * 来表示如下：

POST /my_goods_001/_search
{
  "query": {
    "multi_match": {
      "query": "1899",
      "fields": ["title", "pr*"]
    }
  }
}

DSL语言高级查询

词条精确搜索

词条级搜索(term-level queries) 根据结构化数据中的精确值查找文档，term-level queries 不分析搜索词，演示示例数据准备，创建映射：

PUT /my_goods_002
{
  "settings": {},
  "mappings": {
    "properties": {
      "name": {
        "type": "text",
        "analyzer": "ik_max_word"
      },
      "price": {
        "type": "float"
      },
      "description": {
        "type": "text",
        "analyzer": "ik_max_word"
      },
      
      "create_date": {
        "type": "date",
        "format": "yyyy-MM-dd HH:mm:ss||yyyy-MM-dd||epoch_millis"
      }
    }
  }
}

DSL语言高级查询

添加数据：

PUT /my_goods_002/_doc/1
{
  "name": "Spring实战",
  "description": "全球有超过100 000名开发者使用本书来学习Spring 畅销经典Spring技术图书，针对Spring 5全面升级 Spring框架能够让Java开发人员的工作更加轻松。Spring 5的新特性通过微服务、反应式开发进一步提升了生产效率。",
  "price":49.50,
  "create_date":"2022-01-10 11:12:35"
}

PUT /my_goods_002/_doc/2
{
  "name": "MySQL",
  "description": "SQL必知必会作者力作，深入浅出MySQL高性能讲解技术内幕，紧贴实战需要，适用于广大软件开发和数据库管理人员学习参考",
  "price":24.50,
  "create_date":"2021-12-10 18:11:35"
}

PUT /my_goods_002/_doc/3
{
  "name": "Elasticsearch",
  "description": "Elasticsearch 是一个开源的全文搜索引擎，很多用户对于大规模集群应用时遇到的各种问题难以分析处理，或者知其然而不知其所以然。本书分析 Elasticsearch 中重要模块及其实现原理和机制",
  "price":44.50,
  "create_date":"2021-12-11 14:18:31"
}
PUT /my_goods_002/_doc/4
{
  "name": "Oracle",
  "description": "字典式写作手法：不讲具体语法，没有简单知识堆砌，直接以案例形式讲技巧与案例 大量优化实战方法：将主要SQL优化点一一剖析，分享大量SQL优化的实际工作经验 50余改写调优案例：覆盖大多数DBA日常工作场景",
  "price":44.90,
  "create_date":"2021-11-10 11:12:35"
}

DSL语言高级查询

词条搜索

term

查询用于查询指定字段包含某个词项的文档：

POST /my_goods_002/_search
{
  "query": {
    "term": {
      "name": {
        "value": "spring"
      }
    }
  }
}

DSL语言高级查询

terms

查询用于查询指定字段包含某些词项的文档：

POST /my_goods_002/_search
{
  "query": {
    "terms": {
      "name": [
        "spring",
        "mysql"
      ]
    }
  }
}

DSL语言高级查询

range query

查询指定字段范围的值，范围包括：

gt：大于
gte：大于等于
lt：小于
lte：小于等于
boost：查询权重

查询指定范围的数据：

POST /my_goods_002/_search
{
  "query": {
    "range": {
      "price": {
        "gte": 10,
        "lte": 50,
        "boost": 1.0
      }
    }
  }
}

DSL语言高级查询

查询指定当前日期范围的数据：

POST /my_goods_002/_search
{
  "query": {
    "range": {
      "create_date": {
        "gte": "now-30d/d",
        "lte": "now/d"
      }
    }
  }
}

DSL语言高级查询

查询指定特定日期范围的数据：

POST /my_goods_002/_search
{
  "query": {
    "range": {
      "create_date": {
        "gte": "10/12/2021",
        "lte": "2022",
        "format": "dd/MM/yyyy||yyyy"
      }
    }
  }
}

DSL语言高级查询

exists query

查询指定字段值不为空的文档：

POST /my_goods_002/_search
{
  "query": {
    "exists": {
      "field": "name"
    }
  }
}

DSL语言高级查询

prefix query

词项前缀搜索：

POST /my_goods_002/_search
{
  "query": {
    "prefix": {
      "name": {
        "value": "sp"
      }
    }
  }
}

DSL语言高级查询

wildcard query

通配符搜索：

POST /my_goods_002/_search
{
  "query": {
    "wildcard": {
      "name": {
        "value": "sp*g"
      }
    }
  }
}

DSL语言高级查询

可以在通配符搜索的情况下还可以指定权重比例值：

POST /my_goods_002/_search
{
  "query": {
    "wildcard": {
      "name": {
        "value": "sp*",
        "boost": 2
      }
    }
  }
}

DSL语言高级查询

regexp query

regexp 允许使用正则表达式进行 term 查询，这种方式查询还需谨慎，万一没写好就会造成全查询导致性能下降：

POST /my_goods_002/_search
{
  "query": {
    "regexp": {
      "name": "s.*"
    }
  }
}

fuzzy query

模糊搜索：

POST /my_goods_002/_search
{
  "query": {
    "fuzzy": {
      "name": {
        "value": "sp"
      }
    }
  }
}

没有指定 fuzziness, 查询的内容就是 sp，可以指定 fuzziness 的模糊值：

POST /my_goods_002/_search
{
  "query": {
    "fuzzy": {
      "name": {
        "value": "sg",
        "fuzziness": 2
      }
    }
  }
}

DSL语言高级查询

ids

POST /my_goods_002/_search
{
  "query": {
    "ids": {
      "type": "_doc",
      "values": ["1", "3"]
    }
  }
}

DSL语言高级查询

复合搜索

constant_score query

用来包装另一个查询，将查询匹配的文档的评分设为一个常值，词条查询时得到文档的分数不一样：

POST /my_goods_002/_search
{
  "query": {
    "term": {
      "description": {
        "value": "开发"
      }
    }
  }
}

DSL语言高级查询

使用 constant_score query 将查询匹配的文档的评分设为一个常值：

POST /my_goods_002/_search
{
  "query": {
    "constant_score": {
      "filter": {
        "term": {
          "description": "开发"
        }
      },
      "boost": 1.0
    }
  }
}

DSL语言高级查询

bool query

组合多个关键字查询子句进行 bool 类型过滤，可有关键字：

must：必须满足
filter：必须满足, 执行的是filter 上下文, 不影响评分
should：或者关系
must_not：必须不满足
minimum_should_match：最小匹配精度，必须指定should, 0 可以不出现 should，1 必须出现 should

GET /my_goods_002/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "match": {
            "description": "开发"
          }
        }
      ],
      "filter": [
        {
          "term": {
            "name": "spring"
          }
        }
      ],
      "must_not": [
        {
          "range": {
            "price": {
              "gte": 20,
              "lte": 40
            }
          }
        }
      ],
      "minimum_should_match": 0,
      "boost": 1
    }
  }
}

DSL语言高级查询

GET /my_goods_002/_search
{
  "query": {
    "bool": {
      "should": [
        {
          "match": {
            "description": "开发"
          }
        }
      ],
      "filter": [
        {
          "term": {
            "name": "spring"
          }
        }
      ],
      "must_not": [
        {
          "range": {
            "price": {
              "gte": 20,
              "lte": 40
            }
          }
        }
      ],
      "minimum_should_match": 1,
      "boost": 1
    }
  }
}

DSL语言高级查询

排序

字段值排序

GET /my_goods_002/_search
{
  "query": {
    "match": {
      "description": "开发"
    }
  },
  "sort": [
    {
      "price": {
        "order": "asc"
      }
    }
  ]
}

DSL语言高级查询

多级排序

GET /my_goods_002/_search
{
  "query": {
    "match": {
      "description": "开发"
    }
  },
  "sort": [
    {
      "price": {
        "order": "asc"
      },
      "_score": {
        "order": "asc"
      }
    }
  ]
}

DSL语言高级查询

分页

GET /my_goods_002/_search
{
  "query": {
    "match": {
      "description": "开发"
    }
  },
  "sort": [
    {
      "price": {
        "order": "asc"
      },
      "_score": {
        "order": "asc"
      }
    }
  ],
  "from": 0,
  "size": 1
}

DSL语言高级查询

高亮

highlight 属性：

pre_tags：前置标签
post_tags：后置标签
fields：需要高亮的字段

GET /my_goods_002/_search
{
  "query": {
    "match": {
      "description": "开发"
    }
  },
  "sort": [
    {
      "price": {
        "order": "asc"
      },
      "_score": {
        "order": "asc"
      }
    }
  ],
  "from": 0,
  "size": 1,
  "highlight": {
    "pre_tags": "<font color='red'>",
    "post_tags": "</font>",
    "fields": [
      {
        "description": {}
      }
    ]
  }
}

DSL语言高级查询

Filter DSL

ElasticSearch 中的所有的查询都会触发相关度得分 的计算。
对于那些我们不需要相关度得分的场景下，Elasticsearch 以过滤器的形式提供了另一种查询功能。
执行速度快, 过滤器不会计算相关度的得分，所以它们在计算上更快一些, 也不会对结果进行排序, 过滤器可以被缓存到内存中，这使得在重复的搜索查询上，其要比相应的查询快出许多。

GET /my_goods_002/_search
{
  "query": {
    "bool": {
      "filter": [
        {
          "term": {
            "description": "开发"
          }
        }
      ]
    }
  }
}

DSL语言高级查询

验证语法与分析

_validate：对请求的查询语法进行验证

正确示例：

GET /my_goods_002/_validate/query
{
  "query": {
    "term": {
      "name": {
        "value": "spring"
      }
    }
  }
}

DSL语言高级查询

错误示例：

GET /my_goods_002/_validate/query
{
  "query": {
    "term1": {
      "name": {
        "value": "spring"
      }
    }
  }
}

DSL语言高级查询

explain，explain 是一个参数，作用可用于对验证的结果进行分析

GET /my_goods_002/_validate/query?explain
{
  "query": {
    "term1": {
      "name": {
        "value": "spring"
      }
    }
  }
}

DSL语言高级查询

批量操作

批量查询

查询指定 id 的数据信息：

GET /my_goods_002/_mget
{
  "docs": [
    {
      "_id": 1
    },
    {
      "_id": 4
    }
  ]
}

批量创建文档 create

如下代码的含义为，创建两条数据，create 与 id 这两行才代表是一条数据：

POST _bulk
{"create":{"_index":"my_goods_002","_type":"_doc","_id":"6"}}
{"id":"6","name":"新增6","description":"new description","price":"55.5","create_date":"2021-12-11 14:18:31"}
{"create":{"_index":"my_goods_002","_type":"_doc","_id":"7"}}
{"id":"7","name":"新增7","description":"new description","price":"55.5","create_date":"2021-12-11 14:18:31"}

批量删除

可以先创建测试数据，然后在执行如下删除：

POST _bulk
{"delete":{"_index":"my_goods_002","_type":"_doc","_id":"5"}}
{"delete":{"_index":"my_goods_002","_type":"_doc","_id":"6"}}
{"delete":{"_index":"my_goods_002","_type":"_doc","_id":"7"}}

批量修改

修改完毕之后你可以在查询一下你修改的数据是否成功即可：

POST _bulk
{"update":{"_index":"my_goods_002","_type":"_doc","_id":"6"}}
{"doc":{"name":"update新增"}}

普通创建或全量替换 index

如果对应的数据存在就是修改操作，如果不存在相应的数据就是创建操作：

存在的情况：

POST _bulk
{"index":{"_index":"my_goods_002","_type":"_doc","_id":"6"}}
{"id":"6","name":"全量修改或者新增6","description":"new description","price":"55.5","create_date":"2021-12-11 14:18:31"}
{"index":{"_index":"my_goods_002","_type":"_doc","_id":"7"}}
{"id":"7","name":"全量修改或者新增7","description":"new description","price":"55.5","create_date":"2021-12-11 14:18:31"}

DSL语言高级查询

不存在的情况：

DSL语言高级查询

聚合分析

完成对一个查询的数据集中数据的聚合计算。

指标聚合 metric

对一个数据集求最大、最小、和、平均值等指标的聚合。

关键字

POST /my_goods_002/_search
{
  "size": 0,
  "aggs": {
    "max_price": {
      "max": {
        "field": "price"
      }
    }
  }
}

DSL语言高级查询

文档统计 count

POST /my_goods_002/_count
{
  "query": {
    "range": {
      "price": {
        "gte": 10,
        "lte": 50
      }
    }
  }
}

DSL语言高级查询

value_count

统计某字段有值的文档数, 就是说一个索引库当中某个文档里面字段不为空的数据的统计：

POST /my_goods_002/_search
{
  "size": 10,
  "aggs": {
    "price_count": {
      "value_count": {
        "field": "create_date"
      }
    }
  }
}

cardinality

值去重计数，如下代码的含义为，去 _id 进行去重然后进行总结去重之后的总量值：

POST /my_goods_002/_search
{
  "aggs": {
    "_id_count": {
      "cardinality": {
        "field": "_id"
      }
    }
  }
}

stats

统计 count、max、min、avg、sum、5个值的结果：

POST /my_goods_002/_search?size=0
{
  "aggs": {
    "price_stats": {
      "stats": {
        "field": "price"
      }
    }
  }
}

DSL语言高级查询

桶聚合 bucketing

也就是再次对查询出的数据进行分组 group by，再在组上进行指标聚合。

DSL语言高级查询

如上的这一个示例的含义为，首先是对价格字段进行一次分组操作，不同价格范围的会被分配到不同组当中，然后下面的聚合操作就是对每组当中的内容进行求和操作。

POST /my_goods_002/_search?size=0
{
  "aggs": {
    "group_price": {
      "range": {
        "field": "price",
        "ranges": [
          {
            "from": 10,
            "to": 20
          },
          {
            "from": 20,
            "to": 30
          },
          {
            "from": 30,
            "to": 40
          },
          {
            "from": 40,
            "to": 50
          }
        ]
      },
      "aggs": {
        "sum_price": {
          "sum": {
            "field": "price"
          }
        },
        "having": {
          "bucket_selector": {
            "buckets_path": {
              "sum_price": "sum_price"
            },
            "script": "params.sum_price >= 30"
          }
        }
      }
    }
  }
}

看了第一个示例在来看这个示例的时候是否发现在聚合当中博主又多添加了一点内容呢，对的，就是 having 那一串，having 是自定义的博主为了让你们更加的容易理解就刻意去定义为 having 的，其实叫啥都可以，然后 bucket_selector 当中的 buckets_path 当中的内容就是 aggs 后面的 sum_price 属性名即可，script 当中编写的内容就是说去获取 buckets_path 当中的内容，博主获取的就是 buckets_path 当中的 sum_price 每组当中的值，然后筛选值大于等于 30 的数据出来：

DSL语言高级查询

活动

智算服务

应用商城

合作伙伴

开发者

支持与服务

了解天翼云

DSL语言高级查询

DSL语言高级查询

概述

关于 DSL

组成

基本语法

查询类型

DSL 查询

查询所有(match_all query)

全文搜索

match 匹配搜索

短语搜索

query_string 查询

不指定字段

指定字段

逻辑查询

模糊查询

多字段查询

多字段搜索 multi_match

词条精确搜索

词条搜索

term

terms

range query

exists query

prefix query

wildcard query

regexp query

fuzzy query

ids

复合搜索

constant_score query

bool query

排序

相关性评分排序

字段值排序

多级排序

分页

高亮

Filter DSL

验证语法与分析

批量操作

批量查询

批量创建文档 create

批量删除

批量修改

普通创建或全量替换 index

聚合分析

指标聚合 metric

关键字

文档统计 count

value_count

cardinality

stats

桶聚合 bucketing

相关文章

springboot系列教程（二十五）：springboot整合ElasticSearch，实现高性能搜索引擎

Linux搭建ES

IK分词器

ES-聚合操作

Elastic Stack的介绍

ElasticSearch中四种字段类型的详解

ElasticSearch文档的删除和批量操作

ES客户端索引相关操作

ElasticSearch并发的处理方式：锁和版本控制

elasticsearch分组

作者介绍

最新文章

springboot系列教程（二十五）：springboot整合ElasticSearch，实现高性能搜索引擎

ElasticSearch并发的处理方式：锁和版本控制

热门文章

ElasticSearch并发的处理方式：锁和版本控制

springboot系列教程（二十五）：springboot整合ElasticSearch，实现高性能搜索引擎