ES(笔记)

news/2024/7/8 1:03:04 标签: elasticsearch, 笔记, 大数据

es就是json请求体代替字符串查询

dsl查询和过滤,一个模糊查询,一个非模糊查询

must,should 做模糊查询的,里面都是match,根据查询内容进行匹配,filter过滤,term词元查询,就是等值查询。range   

  • query : 查询,所有的查询条件在query里面

  • bool : 组合搜索bool可以组合多个查询条件为一个查询对象,这里包含了 DSL查询和DSL过滤的条件

  • must : 必须匹配 :与(must) 或(should) 非(must_not)

  • match:分词匹配查询,会对查询条件分词 , multi_match :多字段匹配

  • filter: 过滤条件

  • term:词元查询,不会对查询条件分词

  • from,size :分页

  • _source :查询结果中需要哪些列

  • sort:排序

分词器:

什么叫分词,在全文检索的理论中,通过关键字查询文档索引进行匹配

倒排索引,正派索引

正排索引,就是一个一个匹配,然后赛选数据。

倒排索引:根据分词器进行分词,语义转换,排序,分组操作生成词元,词元对应文档id

操作es,首先要获取客户端,所以我们要工具类,拿到客户端。

es为什么查询快,因为基于倒排索引,然后就问你倒排索引,非常热点的面试题。

分词器作用

数据的查询是否精准和分词器有很大关系,它默认是英文的分词器

中文的分词器

IK分词器

ES对中文做分词器,默认是英文分词器,10年了还是IK分词器。

要写上,anlyzer:“ik smart”

ik 分词器中有个config文件夹,加上自己想要分词的词语即可。

解压后放到Es插件中

mappering 映射 都是自动给我们创建的,有默认mappering

给的什么数据,就自动解析,默认映射类型。

详细映射写法

analyzer   索引分词器,索引创建时使用的分词器

search_analyzer:  搜索改字段的值,传入的查询内容的分词器。

多字段索引:当对该字段需要使用多种索引模式时使用。如:城市搜索 New York"city":"city":{ "type": "text", "analyzer": "ik_smart", "fields": { "raw": { "type": "keyword" } } } 解释:相当于给 city取了一个别名 city.raw,city的类型为text , city.raw的类型keyword 搜索 city分词 ; 搜索city.raw 不分词那么以后搜索过滤和排序就可以使用city.raw字段名 |

相当于又是text又是keyword?

排序不分词,相当于多了个别名。

默认文档映射

public class ESClientUtil {

    public static TransportClient getClient(){
        TransportClient client = null;
        Settings settings = Settings.builder()
                .put("cluster.name", "elasticsearch").build();
        try {
            client = new PreBuiltTransportClient(settings)
                    .addTransportAddress(new TransportAddress(InetAddress.getByName("127.0.0.1"), 9300));
        } catch (UnknownHostException e) {
            e.printStackTrace();
        }
        return client;
    }

}

API结合Es

简单的增删改查,就不讲了吧,大概流程都是差不多,都是获取的客户端.方法,增删改查的。

先批量插入100条数据,做测试用的

    @Test
    public void test4(){
//        批量新增100次
        TransportClient client = esClientUtil.getClient();
        BulkRequestBuilder bulkRequestBuilder = client.prepareBulk("shopcar99", "user");
        for (int i = 0; i < 100; i++) {
            IndexRequestBuilder indexRequestBuilder = client.prepareIndex("shopcar99", "user", i + "");
            HashMap<String, Object> map = new HashMap<>();
            map.put("id",i);
            map.put("name","zhang"+i);
            map.put("sex",i%2==0?"n":"nv");
            map.put("age",26+i);
            map.put("intro",i+"qweqeq");
            indexRequestBuilder.setSource(map);
            bulkRequestBuilder.add(indexRequestBuilder);
        }
        BulkResponse bulkItemResponses = bulkRequestBuilder.get();
        System.out.println(bulkItemResponses);
    }

DSL查询+DSL过滤

主要的层级关系

query -> bool -> must -> match

先去那query,再去拿bool,分词是must-》match

filter->range

把层级理清楚了,代码就懂了。

    @Test
    public void test5(){
        TransportClient client = esClientUtil.getClient();
        SearchRequestBuilder requestBuilder = client.prepareSearch("shopcar99");
        SearchRequestBuilder user = requestBuilder.setTypes("user");
//        3分页查询,排序,指定查询字段,查询条件
//        分页
        requestBuilder.setFrom(0);
        requestBuilder.setSize(10);
//        paixu
        requestBuilder.addSort("age",SortOrder.ASC);
//        第一个字段叫做包含的 会查出第一个参数中设置的字段
//        第二个参数 exclude 排除  就是排除掉第二个参数中的字段,其他字段全部都要查出来。
        String [] include = {"id","name","age","sex","intro"};
        requestBuilder.setFetchSource(include,null);
//        为什么要用bool,
//        query -> bool -> must -> match
//        bool,直接拿到bool那个层级
//        分词区间等级查询,must->match
        BoolQueryBuilder boolQuery = QueryBuilders.boolQuery();
        List<QueryBuilder> must = boolQuery.must();
//        模糊查询
//        must.add(QueryBuilders.matchQuery("intro","1"));
        MatchQueryBuilder matchQueryBuilder = QueryBuilders.matchQuery("intro", "qweqeq");
        must.add(matchQueryBuilder);
//        bool->filter->range
        List<QueryBuilder> filter = boolQuery.filter();
        QueryBuilders.rangeQuery("age").gte(30).lte(70);

//等值查询
        TermQueryBuilder termQueryBuilder = QueryBuilders.termQuery("sex", "n");
        filter.add(termQueryBuilder);
        requestBuilder.setQuery(boolQuery);
        SearchResponse searchResponse = requestBuilder.get();
        SearchHits hits = searchResponse.getHits();
        System.out.println(hits.getTotalHits());
        SearchHit[] hits1 = hits.getHits();
//        hits里面还有hits,这里面就是数据
        for (SearchHit documentFields : hits1) {
            System.out.println(documentFields.getSourceAsMap());

        }
        client.close();


    }


http://www.niftyadmin.cn/n/5535947.html

相关文章

零基础入门 Ai 数据挖掘竞赛-速通 Baseline-1

#AI夏令营 #Datawhale #夏令营 本项目为Datawhale 2024 年 AI 夏令营赛事&#xff0c;零基础入门 AI 数据挖掘竞赛-速通学习手册配套的代码项目。 项目链接&#xff1a;https://aistudio.baidu.com/bd-cpu-02/user/2961857/8113198/home#codelab 任务目标 根据给的test&…

微服务粒度难题:找到合适的微服务大小

序言 在微服务架构风格中&#xff0c;微服务通常设计遵循SRP&#xff08;单一职责原则&#xff09;&#xff0c;作为一个独立部署的软件单元&#xff0c;专注于做一件事&#xff0c;并且做到极致。作为开发人员&#xff0c;我们常常倾向于在没有考虑为什么的情况下尽可能地将服…

华为OD机试c卷(100分)-数组连续和

题目描述 给定一个含有N个正整数的数组, 求出有多少个连续区间&#xff08;包括单个正整数&#xff09;, 它们的和大于等于x。 输入描述 第一行两个整数N x&#xff08;0 < N < 100000, 0 < x < 10000000) 第二行有N个正整数&#xff08;每个正整数小于等于100)…

C#——StringBuilder和string的区别与用法

在C#中,StringBuilder和string有一些重要的区别,主要体现在内存管理和性能上。 区别: 可变性: string 是不可变的,意味着一旦创建,其内容无法更改。对string进行操作(如拼接、替换等)实际上是创建新的string对象。StringBuilder 是可变的,允许动态修改其内容而不创建…

每日Attention学习8——Rectangular self-Calibration Attention

模块出处 [ECCV 24] [link] [code] Context-Guided Spatial Feature Reconstruction for Efficient Semantic Segmentation 模块名称 Rectangular self-Calibration Attention (RCA) 模块作用 空间注意力 模块结构 模块代码 import torch import torch.nn as nn import tor…

Three.js机器人与星系动态场景(三):如何实现动画

在前面的博客中分别介绍了如何快速搭建3D交互场景以及通过坐标辅助工具加深对坐标系的理解。本文将继续探讨其中动画实现的细节。通过调整rotation加深对动画的印象。 Three.js机器人与星系动态场景&#xff1a;实现3D渲染与交互式控制-CSDN博客 Three.js机器人与星系动态场景…

【Python机器学习】模型评估与改进——二分类指标

目录 1、错误类型 2、不平衡数据集 3、混淆矩阵 与精度的关系。 准确率、召回率与f-分数 分类报告 4、考虑不确定性 5、准确率-召回率曲线 6、受试者工作特征&#xff08;ROC&#xff09;与AUC 二分类可能是实践中最常见的机器学习应用&#xff0c;也是概念最简单的应…

c++习题04-忙碌的工人

目录 一&#xff0c;问题 二&#xff0c;思路 1&#xff0c;图形 2&#xff0c;分析 3&#xff0c;伪代码 三&#xff0c;代码 一&#xff0c;问题 二&#xff0c;思路 1&#xff0c;图形 根据题目&#xff0c;绘制出来的图形如下&#x1f447; 之后再绘制甲经过楼梯…