快速入门
Elasticsearch 快速入门
ElasticSearch 是一个开源的搜索引擎，建立在一个全文搜索引擎库 Apache Lucene™ 基础之上。 Lucene 可以说是当下最先进、高性能、全功能的搜索引擎库，无论是开源还是私有。
但是 Lucene 仅仅只是一个库。为了充分发挥其功能，你需要使用 Java 并将 Lucene 直接集成到应用程序中。 更糟糕的是，您可能需要获得信息检索学位才能了解其工作原理。Lucene 非常 复杂。
ElasticSearch 也是使用 Java 编写的，它的内部使用 Lucene 做索引与搜索，但是它的目的是使全文检索变得简单， 通过隐藏 Lucene 的复杂性，取而代之的提供一套简单一致的 RESTful API。
然而，Elasticsearch 不仅仅是 Lucene，并且也不仅仅只是一个全文搜索引擎。 它可以被下面这样准确的形容：
- 一个分布式的实时文档存储，每个字段 可以被索引与搜索
- 一个分布式实时分析搜索引擎
- 能胜任上百个服务节点的扩展，并支持 PB 级别的结构化或者非结构化数据
官方客户端在Java、.NET、PHP、Python、Ruby、Nodejs和许多其他语言中都是可用的。根据 DB-Engines 的排名显示，ElasticSearch 是最受欢迎的企业搜索引擎，其次是Apache Solr，也是基于Lucene。
ES 开发指南
中文文档请参考：《Elasticsearch: 权威指南》
英文文档请参考：《Elasticsearch Reference》
下载： https://www.elastic.co/cn/downloads/
ES API文档
API Conventions
Document APIs
Search APIs
Indices APIs
cat APIs
Cluster APIs
Javascript api
Logstash
Logstash Reference
Configuring Logstash
Input plugins
Output plugins
Filter plugins
Kibana DevTools 快捷键
- Ctrl+i 自动缩进
- Ctrl+Enter 提交
- Down 打开自动补全菜单
- Enter 或 Tab 选中项自动补全
- Esc 关闭补全菜单
pretty = true在任意的查询字符串中增加pretty参数，会让 Elasticsearch 美化输出(pretty-print)JSON响应以便更加容易阅读。
Kibana 命令
// 查询集群的磁盘状态GET _cat/allocation?v// 获取所有索引GET _cat/indices// 按索引数量排序GET _cat/indices?s=docs.count:descGET _cat/indices?v&s=index// 集群有多少节点GET _cat/nodes// 集群的状态GET _cluster/health?pretty=trueGET _cat/indices/*?v&s=index//获取指定索引的分片信息GET logs/_search_shards...集群状态
curl -s -XGET 'http://<host>:9200/_cluster/health?pretty'//系统正常，返回的结果{ "cluster_name" : "es-qwerty", "status" : "green", "timed_out" : false, "number_of_nodes" : 3, "number_of_data_nodes" : 3, "active_primary_shards" : 1, "active_shards" : 2, "relocating_shards" : 0, "initializing_shards" : 0, "unassigned_shards" : 0, "delayed_unassigned_shards" : 0, "number_of_pending_tasks" : 0, "number_of_in_flight_fetch" : 0, "task_max_waiting_in_queue_millis" : 0, "active_shards_percent_as_number" : 100.0}检索文档
POST logs/_search{ "query":{ "range":{ "createdAt":{ "gt":"2020-04-25", "lt":"2020-04-27", "format": "yyyy-MM-dd" } } }, "size":0, "aggs":{ "url_type_stats":{ "terms": { "field": "urlType.keyword", "size": 2 } } }}POST logs/_search{ "query":{ "range":{ "createdAt":{ "gte":"2020-04-26 00:00:00", "lte":"now", "format": "yyyy-MM-dd hh:mm:ss" } } }, "size":0, "aggs":{ "url_type_stats":{ "terms": { "field": "urlType.keyword", "size": 2 } } }}POST logs/_search{ "query":{ "range": { "createdAt": { "gte": "2020-04-26 00:00:00", "lte": "now", "format": "yyyy-MM-dd hh:mm:ss" } } }, "size" : 0, "aggs":{ "total_clientIp":{ "cardinality":{ "field": "clientIp.keyword" } }, "total_userAgent":{ "cardinality": { "field": "userAgent.keyword" } } }}POST logs/_search{ "size" : 0, "aggs":{ "date_total_ClientIp":{ "date_histogram":{ "field": "createdAt", "interval": "quarter", "format": "yyyy-MM-dd", "extended_bounds":{ "min": "2020-04-26 13:00:00", "max": "2020-04-26 14:00:00", } }, "aggs":{ "url_type_api": { "terms": { "field": "urlType.keyword", "size": 10 } } } } }}POST logs/_search{ "size" : 0, "aggs":{ "total_clientIp":{ "terms":{ "size":30, "field": "clientIp.keyword" } } }}删除文档
// 删除POST logs/_delete_by_query {"query":{"match_all": {}}}// 删除索引DELETE logs创建索引
数据迁移本质是索引的重建，重建索引不会尝试设置目标索引，它不会复制源索引的设置。 所以在操作之前设置目标索引，包括设置映射，分片数，副本等。
数据迁移
Reindex from Remoteedit
// Reindex支持从远程Elasticsearch集群重建索引：POST _reindex{ "source": { "remote": { "host": " "username": "user", "password": "pass" }, "index": "source", "query": { "match": { "test": "data" } } }, "dest": { "index": "dest" }}// host参数必须包含scheme、host和port（例如https://lotherhost:9200）// username和password参数可选使用时需要在elasticsearch.yml中配置 reindex.remote.whitelist 属性。可以设置多组（例如，lotherhost:9200, another:9200, 127.0.10.*:9200, localhost:*）。
具体使用可参考 Reindex from Remoteedit
Elasticsearch-Dump
Elasticsearch-Dump是一个elasticsearch数据导入导出开源工具包。安装、迁移相关执行可以在相同可用区的云主机上进行，使用方便。
需要node环境，npm安装elasticdump
npm install elasticdump -gelasticdump// Copy an index from production to staging with analyzer and mapping:elasticdump \ --input=http://production.es.com:9200/my_index \ --output=http://staging.es.com:9200/my_index \ --type=analyzerelasticdump \ --input=http://production.es.com:9200/my_index \ --output=http://staging.es.com:9200/my_index \ --type=mappingelasticdump \ --input=http://production.es.com:9200/my_index \ --output=http://staging.es.com:9200/my_index \ --type=data// Copy a single shard data:elasticdump \ --input=http://es.com:9200/api \ --output=http://es.com:9200/api2 \ --params='{"preference" : "_shards:0"}'elasticdump 命令其他参数使用参考 Elasticdump Options
深度分页
- elasticsearch 超过10000条数据的分页查询会报异常，官方提供了 search_after 的方式来支持
- search_after 要求提供上一页两个必须的排序标识
//https://www.elastic.co/guide/en/elasticsearch/reference/5.6/search-request-search-after.htmlGET logs/_search{ "from":9990, "size":10, "_source": ["url","clientIp","createdAt"], "query":{ "match_all": {} }, "sort":[ { "createdAt":{ "order":"desc" } }, { "_id":{ "order":"desc" } } ]}GET logs/_search{ "from":-1, "size":10, "_source": ["url","clientIp","createdAt"], "query":{ "match_all": {} }, "search_after": [1588042597000, "V363vnEBz1D1HVfYBb0V"], "sort":[ { "createdAt":{ "order":"desc" } }, { "_id":{ "order":"desc" } } ]}安装
- docker下安装Elasticsearch
docker pull docker.elastic.co/elasticsearch/elasticsearch:7.8.1docker run -p 9200:9200 --name elasticsearch -p 9300:9300 -e "discovery.type=single-node" docker.elastic.co/elasticsearch/elasticsearch:7.8.1docker pull docker.elastic.co/kibana/kibana:7.8.1docker run -p 5601:5601 --name kibana --link 14e385b1e761:elasticsearch -e "elasticsearch.hosts=http://127.0.0.1:9200" -d docker.elastic.co/kibana/kibana:7.8.1- 其它平台安装Elasticsearch
接入使用
新建一个webapi项目，然后安装两个组件。
Install-Package NESTInstall-Package Swashbuckle.AspNetCore通过NEST来实现操作Elasticsearch，开源地址：https://github.com/elastic/elasticsearch-net，同时将swagger也添加以下方便后面调用接口。
接下来演示一个对Elasticsearch的增删改查操作。
添加实体类：VisitLog.cs。
using System;namespace ESDemo.Domain{ public class VisitLog { public string Id { get; set; } /// <summary> /// UserAgent /// </summary> public string UserAgent { get; set; } /// <summary> /// Method /// </summary> public string Method { get; set; } /// <summary> /// Url /// </summary> public string Url { get; set; } /// <summary> /// Referrer /// </summary> public string Referrer { get; set; } /// <summary> /// IpAddress /// </summary> public string IpAddress { get; set; } /// <summary> /// Milliseconds /// </summary> public int Milliseconds { get; set; } /// <summary> /// QueryString /// </summary> public string QueryString { get; set; } /// <summary> /// Request Body /// </summary> public string RequestBody { get; set; } /// <summary> /// Cookies /// </summary> public string Cookies { get; set; } /// <summary> /// Headers /// </summary> public string Headers { get; set; } /// <summary> /// StatusCode /// </summary> public int StatusCode { get; set; } /// <summary> /// Response Body /// </summary> public string ResponseBody { get; set; } public DateTimeOffset CreatedAt { get; set; } = DateTimeOffset.UtcNow; }}确定好实体类后，来包装一下Elasticsearch，简单封装一个基类用于仓储的集成使用。
添加一个接口类IElasticsearchProvider。
using Nest;namespace ESDemo.Elasticsearch{ public interface IElasticsearchProvider { IElasticClient GetClient(); }}在ElasticsearchProvider中实现IElasticsearchProvider接口。
using Nest;using System;namespace ESDemo.Elasticsearch{ public class ElasticsearchProvider : IElasticsearchProvider { public IElasticClient GetClient() { var connectionSettings = new ConnectionSettings(new Uri(" return new ElasticClient(connectionSettings); } }}添加Elasticsearch仓储基类，ElasticsearchRepositoryBase。
using Nest;namespace ESDemo.Elasticsearch{ public abstract class ElasticsearchRepositoryBase { private readonly IElasticsearchProvider _elasticsearchProvider; public ElasticsearchRepositoryBase(IElasticsearchProvider elasticsearchProvider) { _elasticsearchProvider = elasticsearchProvider; } protected IElasticClient Client => _elasticsearchProvider.GetClient(); protected abstract string IndexName { get; } }}也就是一个抽象类，当我们集成此基类的时候需要重写protected abstract string IndexName { get; }，指定IndexName。
完成上面简单封装，现在新建一个IVisitLogRepository仓储接口，里面添加四个方法：
using ESDemo.Domain;using System;using System.Collections.Generic;using System.Threading.Tasks;namespace ESDemo.Repositories{ public interface IVisitLogRepository { Task InsertAsync(VisitLog visitLog); Task DeleteAsync(string id); Task UpdateAsync(VisitLog visitLog); Task<Tuple<int, IList<VisitLog>>> QueryAsync(int page, int limit); }}所以接下来不用说你也知道改干嘛，实现这个仓储接口，添加VisitLogRepository，代码如下：
using ESDemo.Domain;using ESDemo.Elasticsearch;using System;using System.Collections.Generic;using System.Linq;using System.Threading.Tasks;namespace ESDemo.Repositories{ public class VisitLogRepository : ElasticsearchRepositoryBase, IVisitLogRepository { public VisitLogRepository(IElasticsearchProvider elasticsearchProvider) : base(elasticsearchProvider) { } protected override string IndexName => "visitlogs"; public async Task InsertAsync(VisitLog visitLog) { await Client.IndexAsync(visitLog, x => x.Index(IndexName)); } public async Task DeleteAsync(string id) { await Client.DeleteAsync<VisitLog>(id, x => x.Index(IndexName)); } public async Task UpdateAsync(VisitLog visitLog) { await Client.UpdateAsync<VisitLog>(visitLog.Id, x => x.Index(IndexName).Doc(visitLog)); } public async Task<Tuple<int, IList<VisitLog>>> QueryAsync(int page, int limit) { var query = await Client.SearchAsync<VisitLog>(x => x.Index(IndexName) .From((page - 1) * limit) .Size(limit) .Sort(x => x.Descending(v => v.CreatedAt))); return new Tuple<int, IList<VisitLog>>(Convert.ToInt32(query.Total), query.Documents.ToList()); } }}现在去写接口，添加一个VisitLogControllerAPI控制器，代码如下：
using ESDemo.Domain;using ESDemo.Repositories;using Microsoft.AspNetCore.Mvc;using System.ComponentModel.DataAnnotations;using System.Threading.Tasks;namespace ESDemo.Controllers{ [Route("api/[controller]")] [ApiController] public class VisitLogController : ControllerBase { private readonly IVisitLogRepository _visitLogRepository; public VisitLogController(IVisitLogRepository visitLogRepository) { _visitLogRepository = visitLogRepository; } [HttpGet] public async Task<IActionResult> QueryAsync(int page = 1, int limit = 10) { var result = await _visitLogRepository.QueryAsync(page, limit); return Ok(new { total = result.Item1, items = result.Item2 }); } [HttpPost] public async Task<IActionResult> InsertAsync([FromBody] VisitLog visitLog) { await _visitLogRepository.InsertAsync(visitLog); return Ok("新增成功"); } [HttpDelete] public async Task<IActionResult> DeleteAsync([Required] string id) { await _visitLogRepository.DeleteAsync(id); return Ok("删除成功"); } [HttpPut] public async Task<IActionResult> UpdateAsync([FromBody] VisitLog visitLog) { await _visitLogRepository.UpdateAsync(visitLog); return Ok("修改成功"); } }}大功告成，最后一步不要忘记在Startup.cs中添加服务，不然无法使用依赖注入。
...services.AddSingleton<IElasticsearchProvider, ElasticsearchProvider>();services.AddSingleton<IVisitLogRepository, VisitLogRepository>();...一切准备就绪，现在满怀期待的运行项目，打开swagger界面。
按照新增、更新、删除、查询的顺序依次调用接口。新增可以多来几次，因为默认是没有数据的，多添加一点可以测试分页是否ok，这里就不再演示了。
如果你有安装kibana，现在可以满怀惊喜的去查看一下刚才添加的数据。
GET _cat/indicesGET visitlogs/_search{}
可以看到，数据已经安安静静的躺在这里了。
本篇简单介绍Elasticsearch在.NET Core中的使用，关于检索数据还有很多语法没有体现出来，如果在开发中需要用到，可以参考官方的各种数据查询示例：https://github.com/elastic/elasticsearch-net/tree/master/examples
.NET Core 下使用 ElasticSearch三剑客闭门集训营-亚马逊爆破攻略、 后台6大基础设置解析、 打折网站、 备战下半年旺季，这个选品思路非常值得一看，开启你的选品新思维！【绝对干货】、 为什么国内电商都选择亚马逊？亚马逊店群运营思路是什么？、 箱包工厂转型之路：一年换掉5任厂长，600万库存滞留！、 普通卖家选品VS亚马逊大卖选品，怎么选？、 亚马逊CPC 广告到底要用哪个、 知识产权之专利篇、 亿恩网、 Shopify 高价值 APP、 想入驻巴西电商平台？巴西电商市场必须知道的那些事！、 【供应商资源】------床上用品 被套A、 Gearbest就用户数据泄露问题发表官方声明、 作价20亿美金，网易考拉将卖身阿里巴巴？、 全球综合B2C排名第二的德国平台OTTO，联手PingPong向中国卖家进行新一轮招商、
No comments:
Post a Comment