在 Mapping 里面，将 dynamic 参数设置成 strict 可以拒绝索引包含未知字段的文档。 此条 Tips 由 medcl 贡献。

【杭州站】Elastic & 阿里云 Meetup 6月5号

banner

活动介绍

本次Meetup杭州站由阿里云和Elastic联合举办，邀请来自滴滴、安恒信息、阿里云的资深技术专家探讨在搜索、安全、内核优化等方向的实践与创新，以及发布由数十位优秀技术开发者共创而成的实战指南，共同分享 Elasticsearch技术大咖的一线经验与深度思考。

报名方式

链接：https://www.bagevent.com/event/7449056
扫码:
sign up

活动时间

2021年06月05日 13:00-17:30

活动地址

浙江省杭州市余杭区阿里巴巴西溪园区访客中心 206-S越秀书院

活动流程

13:00~13:15 签到入座
13:15~13:30 开发者共创书籍《Elastic Stack 实战手册V1.0》发布
13:30~14:30 滴滴Elasticsearch内核优化之路
            韩宝君 滴滴Elasticsearch资深开发工程师/ES社区Contributor
14:30~15:30 Elasticsearch在SIEM的应用与实践
            汤乐奇 安恒信息AiLPHA大数据资深研发经理
15:30~16:30 Elasticsearch Serverless 云原生时代的创新实践
            马华标(城破) 阿里巴巴高级技术专家/阿里云ES内核研发负责人
16:30~17:20 圆桌交流
17:20~17:30 抽奖合影

活动奖品

阿里云双肩包、T恤、Elastic定制礼物

阿里云ACE

阿里云ACE即全称 Alibaba Cloud Engineer，是意为阿里云的工程师、代表着云计算的建设者。同时“ACE”又是扑克牌中的“A”，因此阿里云ACE也寓意着是云计算领域王牌的一群人。在线上，ACE拥有专属的页面和29个社群，承载论坛及专栏等内容； 在线下，ACE通过组织丰富的活动，包括技术沙龙、TechDay、Meetup、官方互动等来形成本地化的开发者的学习、社交平台。

通过ACE组织的各种活动，ACE用户可以结识本地的开发者，收获前沿知识，积累行业经验，并加深对阿里云的了解。

活动交流及杭州ACE同城会钉群

DingTalk

活动海报

poster

继续阅读 »

banner

活动介绍

本次Meetup杭州站由阿里云和Elastic联合举办，邀请来自滴滴、安恒信息、阿里云的资深技术专家探讨在搜索、安全、内核优化等方向的实践与创新，以及发布由数十位优秀技术开发者共创而成的实战指南，共同分享 Elasticsearch技术大咖的一线经验与深度思考。

报名方式

链接：https://www.bagevent.com/event/7449056
扫码:
sign up

活动时间

2021年06月05日 13:00-17:30

活动地址

浙江省杭州市余杭区阿里巴巴西溪园区访客中心 206-S越秀书院

活动流程

13:00~13:15 签到入座
13:15~13:30 开发者共创书籍《Elastic Stack 实战手册V1.0》发布
13:30~14:30 滴滴Elasticsearch内核优化之路
            韩宝君 滴滴Elasticsearch资深开发工程师/ES社区Contributor
14:30~15:30 Elasticsearch在SIEM的应用与实践
            汤乐奇 安恒信息AiLPHA大数据资深研发经理
15:30~16:30 Elasticsearch Serverless 云原生时代的创新实践
            马华标(城破) 阿里巴巴高级技术专家/阿里云ES内核研发负责人
16:30~17:20 圆桌交流
17:20~17:30 抽奖合影

活动奖品

阿里云双肩包、T恤、Elastic定制礼物

阿里云ACE

阿里云ACE即全称 Alibaba Cloud Engineer，是意为阿里云的工程师、代表着云计算的建设者。同时“ACE”又是扑克牌中的“A”，因此阿里云ACE也寓意着是云计算领域王牌的一群人。在线上，ACE拥有专属的页面和29个社群，承载论坛及专栏等内容； 在线下，ACE通过组织丰富的活动，包括技术沙龙、TechDay、Meetup、官方互动等来形成本地化的开发者的学习、社交平台。

通过ACE组织的各种活动，ACE用户可以结识本地的开发者，收获前沿知识，积累行业经验，并加深对阿里云的了解。

活动交流及杭州ACE同城会钉群

DingTalk

活动海报

poster

收起阅读 »
 Elastic Stack  云原生  腾讯云
liaosy 发表于 : 2021-05-22 17:38 评论 (0)

社区日报 第1253期 (2021-05-21）

1. Sonic:rust编写的elasticsearch另外一种搜索引擎
https://www.notamonadtutorial. ... rust/

2. 使用 Elasticsearch 进行地理位置搜索
https://zhuanlan.zhihu.com/p/315931530

3. 又拍图片管家亿级图像之搜图系统的两代演进及底层原理
https://segmentfault.com/a/1190000022842774

编辑：wt
归档：https://ela.st/cn-daily-all
订阅：https://ela.st/cn-daily-sub
沙龙：https://ela.st/cn-meetup
继续阅读 »
1. Sonic:rust编写的elasticsearch另外一种搜索引擎
https://www.notamonadtutorial. ... rust/

2. 使用 Elasticsearch 进行地理位置搜索
https://zhuanlan.zhihu.com/p/315931530

3. 又拍图片管家亿级图像之搜图系统的两代演进及底层原理
https://segmentfault.com/a/1190000022842774

编辑：wt
归档：https://ela.st/cn-daily-all
订阅：https://ela.st/cn-daily-sub
沙龙：https://ela.st/cn-meetup 收起阅读 »
 社区日报
elk123 发表于 : 2021-05-21 23:23 评论 (0)

2021 Elastic 中文社区深圳线下 Meetup 重磅重启，讲师招募进行中！

各位社区的小伙伴们大家好！过去一年多以来，疫情阻挡了我们聚会的脚步，但阻挡不了我们 ES 技术演进的脚步，ES 中文社区前期持续举办了多期线上 meetup 活动，输出了多个高质量的技术主题分享。如今在深圳，线下 meetup 活动重磅重启！6月26日我们将在深圳腾讯滨海大厦多功能厅，和大家欢聚一堂，畅谈 ES 各个领域最新的黑科技。目前讲师招募持续进行中，欢迎各路大佬扫码报名！


Elastic_中文社区深圳_Meetup.jpg



活动链接：https://www.bagevent.com/event/7440283
继续阅读 »
各位社区的小伙伴们大家好！过去一年多以来，疫情阻挡了我们聚会的脚步，但阻挡不了我们 ES 技术演进的脚步，ES 中文社区前期持续举办了多期线上 meetup 活动，输出了多个高质量的技术主题分享。如今在深圳，线下 meetup 活动重磅重启！6月26日我们将在深圳腾讯滨海大厦多功能厅，和大家欢聚一堂，畅谈 ES 各个领域最新的黑科技。目前讲师招募持续进行中，欢迎各路大佬扫码报名！


Elastic_中文社区深圳_Meetup.jpg



活动链接：https://www.bagevent.com/event/7440283 收起阅读 »
 ElasticStack  meetup  ELK
howardhuang 发表于 : 2021-05-21 15:49 评论 (0)

管理 Elasticsearch 内存并进行故障排除

随着 Elastic 扩展我们的 Elasticsearch Service Cloud 产品和自动上线，我们已经将 Elastic Stack 的受众范围从完整的运营团队扩展到了数据工程师，安全团队和顾问。作为 Elastic 支持团队的代表，我喜欢与更多用户背景甚至更广泛的用例进行交互。

在更广泛的听众中，我看到了更多有关管理资源分配的问题，尤其是神秘的 shard 堆比率和避免使用熔断器（circuit breaker）的问题。我完全理解！当我开始使用 Elastic Stack 时，我遇到了同样的问题。这是我关于 Java 堆和时间序列数据库分片以及扩展自己的基础结构的第一个介绍。

当我加入 Elastic 团队时，我很喜欢文档之外的内容，我们有博客和教程，因此我可以很快上手。但是后来我在第一个月就非常费劲地使我的理论知识与用户通过我的问题队列发送的错误相关联。最终，我发现像其他支持团队成员一样，许多报告的错误仅是分配问题的征兆，而相同的七个链接（在下面的理论部分可以看到）会带给用户加快成功管理其资源分配的速度。

作为支持团队的代表，在以下各节中，我将遍历我们向用户发送的最重要的分配管理理论链接，我们看到的最重要的症状以及我们指导用户更新其配置以解决其资源分配问题的地方。
 
https://elasticstack.blog.csdn ... 74695
继续阅读 »
随着 Elastic 扩展我们的 Elasticsearch Service Cloud 产品和自动上线，我们已经将 Elastic Stack 的受众范围从完整的运营团队扩展到了数据工程师，安全团队和顾问。作为 Elastic 支持团队的代表，我喜欢与更多用户背景甚至更广泛的用例进行交互。

在更广泛的听众中，我看到了更多有关管理资源分配的问题，尤其是神秘的 shard 堆比率和避免使用熔断器（circuit breaker）的问题。我完全理解！当我开始使用 Elastic Stack 时，我遇到了同样的问题。这是我关于 Java 堆和时间序列数据库分片以及扩展自己的基础结构的第一个介绍。

当我加入 Elastic 团队时，我很喜欢文档之外的内容，我们有博客和教程，因此我可以很快上手。但是后来我在第一个月就非常费劲地使我的理论知识与用户通过我的问题队列发送的错误相关联。最终，我发现像其他支持团队成员一样，许多报告的错误仅是分配问题的征兆，而相同的七个链接（在下面的理论部分可以看到）会带给用户加快成功管理其资源分配的速度。

作为支持团队的代表，在以下各节中，我将遍历我们向用户发送的最重要的分配管理理论链接，我们看到的最重要的症状以及我们指导用户更新其配置以解决其资源分配问题的地方。
 
https://elasticstack.blog.csdn ... 74695 收起阅读 »
liuxg 发表于 : 2021-05-18 15:10 评论 (0)

在 Elastic Observability 部署中添加免费和开放的 Elastic APM

在最近的一篇文章中，我们向你展示了 如何开始使用 Elastic Observability 的免费开放层。 今天，我们将逐步介绍扩展部署所需的操作，以便你可以免费从应用程序性能监视（APM）或 “可观测性” 群集中的 “跟踪” 数据中收集指标。 

distributed-trace.png

 
详细阅读请参阅 https://elasticstack.blog.csdn ... 18083
继续阅读 »
在最近的一篇文章中，我们向你展示了 如何开始使用 Elastic Observability 的免费开放层。 今天，我们将逐步介绍扩展部署所需的操作，以便你可以免费从应用程序性能监视（APM）或 “可观测性” 群集中的 “跟踪” 数据中收集指标。 

distributed-trace.png

 
详细阅读请参阅 https://elasticstack.blog.csdn ... 18083 收起阅读 »
liuxg 发表于 : 2021-05-17 17:30 评论 (0)

社区日报 第1252期 (2021-05-17）

1.用Flink SQL CDC + ES实现数据实时化真香！
https://dbaplus.cn/news-73-3561-1.html

2.kibana wazuh 插件，使用kibana进行wazuh数据可视化
https://github.com/wazuh/wazuh-kibana-app

3.使用 heartBeat 来进行 Uptime 监控
https://blog.csdn.net/UbuntuTo ... 69821

编辑：cyberdak
归档：https://ela.st/cn-daily-all
订阅：https://ela.st/cn-daily-sub
沙龙：https://ela.st/cn-meetup
继续阅读 »
1.用Flink SQL CDC + ES实现数据实时化真香！
https://dbaplus.cn/news-73-3561-1.html

2.kibana wazuh 插件，使用kibana进行wazuh数据可视化
https://github.com/wazuh/wazuh-kibana-app

3.使用 heartBeat 来进行 Uptime 监控
https://blog.csdn.net/UbuntuTo ... 69821

编辑：cyberdak
归档：https://ela.st/cn-daily-all
订阅：https://ela.st/cn-daily-sub
沙龙：https://ela.st/cn-meetup 收起阅读 »
 社区日报
cyberdak 发表于 : 2021-05-17 13:05 评论 (0)

社区日报 第1251期 (2021-5-16)

1.使用Elasticsearch全文搜索Linux手册页。 
https://iridakos.com/programmi ... pages 
2.使用GraphQL，React和Elasticsearch的搜索UI。 
https://github.com/searchkit/searchkit 
3.现代Javascript：过去十年来您错过的所有内容。 
https://turriate.com/articles/ ... years
 
编辑：至尊宝 
归档：https://ela.st/cn-daily-all 
订阅：https://ela.st/cn-daily-sub 
沙龙：https://ela.st/cn-meetup
继续阅读 »
1.使用Elasticsearch全文搜索Linux手册页。 
https://iridakos.com/programmi ... pages 
2.使用GraphQL，React和Elasticsearch的搜索UI。 
https://github.com/searchkit/searchkit 
3.现代Javascript：过去十年来您错过的所有内容。 
https://turriate.com/articles/ ... years
 
编辑：至尊宝 
归档：https://ela.st/cn-daily-all 
订阅：https://ela.st/cn-daily-sub 
沙龙：https://ela.st/cn-meetup 收起阅读 »
 社区日报
至尊宝 发表于 : 2021-05-16 21:49 评论 (0)

社区日报 第1250期 (2021-05-15）

1.使用reindex应该注意什么

https://stackoverflow.com/questions/64090672/elasticsearch-reindex-api-not-able-to-reindex-large-number-of-documents

2.es内存管理及异常分析

https://www.elastic.co/cn/blog/managing-and-troubleshooting-elasticsearch-memory

3.go-es 开发指南

https://developer.okta.com/blog/2021/04/23/elasticsearch-go-developers-guide

继续阅读 »

1.使用reindex应该注意什么

https://stackoverflow.com/questions/64090672/elasticsearch-reindex-api-not-able-to-reindex-large-number-of-documents

2.es内存管理及异常分析

https://www.elastic.co/cn/blog/managing-and-troubleshooting-elasticsearch-memory

3.go-es 开发指南

https://developer.okta.com/blog/2021/04/23/elasticsearch-go-developers-guide

收起阅读 »
 社区日报
bsll 发表于 : 2021-05-15 22:11 评论 (0)

社区日报 第1249期 (2021-05-13）

1.Elastic在2021年Gartner魔力象限中被评为应用程序性能监控远见者
https://www.elastic.co/blog/el ... oring
2.跨集群搜索 Cross-cluster search（CCS）及安全
https://mp.weixin.qq.com/s/kdft1Xm15-YlBqjADBZEpg
3.Elasticsearch使用总结
https://zhuanlan.zhihu.com/p/352935519

编辑：金桥
归档：https://ela.st/cn-daily-all
订阅：https://ela.st/cn-daily-sub
沙龙：https://ela.st/cn-meetup
继续阅读 »
1.Elastic在2021年Gartner魔力象限中被评为应用程序性能监控远见者
https://www.elastic.co/blog/el ... oring
2.跨集群搜索 Cross-cluster search（CCS）及安全
https://mp.weixin.qq.com/s/kdft1Xm15-YlBqjADBZEpg
3.Elasticsearch使用总结
https://zhuanlan.zhihu.com/p/352935519

编辑：金桥
归档：https://ela.st/cn-daily-all
订阅：https://ela.st/cn-daily-sub
沙龙：https://ela.st/cn-meetup 收起阅读 »
 社区日报
白衬衣 发表于 : 2021-05-13 16:00 评论 (0)

社区日报 第1248期 (2021-05-10）

1.Elastic Stack 的可观测性新统一agent
https://blog.csdn.net/UbuntuTo ... 69755

2.Elasticsearch单机多实例部署
https://blog.51cto.com/u_10546390/2066815

3.Elasticsearch 索引自动化管理
https://blog.csdn.net/yzf91321 ... 56103

编辑：cyberdak
归档：https://ela.st/cn-daily-all
订阅：https://ela.st/cn-daily-sub
沙龙：https://ela.st/cn-meetup
继续阅读 »
1.Elastic Stack 的可观测性新统一agent
https://blog.csdn.net/UbuntuTo ... 69755

2.Elasticsearch单机多实例部署
https://blog.51cto.com/u_10546390/2066815

3.Elasticsearch 索引自动化管理
https://blog.csdn.net/yzf91321 ... 56103

编辑：cyberdak
归档：https://ela.st/cn-daily-all
订阅：https://ela.st/cn-daily-sub
沙龙：https://ela.st/cn-meetup 收起阅读 »
 社区日报
cyberdak 发表于 : 2021-05-10 12:47 评论 (0)

Elasticsearch：跨集群搜索 Cross-cluster search（CCS）及安全

跨集群搜索启用跨多个集群的联合搜索。 将跨集群搜索与受保护集群一起使用时，所有集群都必须启用 Elasticsearch 安全功能。必须允许本地群集（用于启动跨群集搜索的群集）连接到远程群集，这意味着用于签署本地群集的 SSL/TLS 密钥的 CA 必须受到远程群集的信任。

用户身份验证是在本地群集上执行的，并且用户和用户的角色（role）将传递到远程群集。 远程集群会根据其本地角色定义检查用户的角色，以确定允许用户访问哪些索引。

原文链接：https://blog.csdn.net/UbuntuTo ... 69527
继续阅读 »
跨集群搜索启用跨多个集群的联合搜索。 将跨集群搜索与受保护集群一起使用时，所有集群都必须启用 Elasticsearch 安全功能。必须允许本地群集（用于启动跨群集搜索的群集）连接到远程群集，这意味着用于签署本地群集的 SSL/TLS 密钥的 CA 必须受到远程群集的信任。

用户身份验证是在本地群集上执行的，并且用户和用户的角色（role）将传递到远程群集。 远程集群会根据其本地角色定义检查用户的角色，以确定允许用户访问哪些索引。

原文链接：https://blog.csdn.net/UbuntuTo ... 69527 收起阅读 »
liuxg 发表于 : 2021-05-10 10:38 评论 (0)

社区日报 第1247期 (2021-05-08）

1.Elasticsearch如何设计索引

https://www.cnblogs.com/zsql/p/14418018.html

2.Elasticsearch frozen层，支持PB级数据10分钟内返回查询结果

https://www.elastic.co/cn/blog/querying-a-petabyte-of-cloud-storage-in-10-minutes

3.腾讯云 Elasticsearch 集群多可用区容灾实现原理及最佳实践

https://www.infoq.cn/article/X5Z9iL06A21gV7VY8BEE

继续阅读 »

1.Elasticsearch如何设计索引

https://www.cnblogs.com/zsql/p/14418018.html

2.Elasticsearch frozen层，支持PB级数据10分钟内返回查询结果

https://www.elastic.co/cn/blog/querying-a-petabyte-of-cloud-storage-in-10-minutes

3.腾讯云 Elasticsearch 集群多可用区容灾实现原理及最佳实践

https://www.infoq.cn/article/X5Z9iL06A21gV7VY8BEE

收起阅读 »
 社区日报
bsll 发表于 : 2021-05-08 23:16 评论 (0)

社区日报 第1246期 (2021-05-07）

1、Elasticsearch 忘记密码如何解决？
https://discuss.elastic.co/t/i ... 91867
2、csv数据导入Elasticsearch实战指南
https://alexmarquardt.com/enri ... iles/
3、Elasticsearch 慢查询解决方案
https://opster.com/elasticsear ... uide/
 
编辑：铭毅天下
归档：https://ela.st/cn-daily-all
订阅：https://ela.st/cn-daily-sub
沙龙：https://ela.st/cn-meetup
继续阅读 »
1、Elasticsearch 忘记密码如何解决？
https://discuss.elastic.co/t/i ... 91867
2、csv数据导入Elasticsearch实战指南
https://alexmarquardt.com/enri ... iles/
3、Elasticsearch 慢查询解决方案
https://opster.com/elasticsear ... uide/
 
编辑：铭毅天下
归档：https://ela.st/cn-daily-all
订阅：https://ela.st/cn-daily-sub
沙龙：https://ela.st/cn-meetup 收起阅读 »
 社区日报
laoyang360 发表于 : 2021-05-07 21:58 评论 (0)

【字节跳动】【组内直推】搜索高级工程师

一、职位描述
1、负责字节跳动飞书业务的搜索中台的搜索研发工作，推动技术的升级和优化；
2、能够深入理解搜索领域的业务场景和业务痛点，能够设计出好的索引结构，并且对于检索和排序的主要策略熟悉，能够很好地构建高可靠性、高性能、高扩展的分布式检索系统；
3、能够深刻理解搜索的各项衡量指标，构建衡量搜索各个环节的指标体系；
4、能够深入理解后端服务相关的中间件，及微服务的设计，及后端服务的容灾；
  
二、职位要求
1、良好的设计和编码品味，热爱写代码能产出高质量的设计和代码；
2、对稳定性和性能有超乎寻常的关注；
3、熟悉 Linux 操作系统，拥有极强的排查、解决问题（trouble shooting）的能力；
4、熟悉 Lucene、ES、Solr 等原理及相关技术，对索引、分词、排序等相关技术有深入的理解；
5、有主流大规模搜索引擎架构和稳定性经验者加分者优先；
6、了解分布式, 有过高并发场景/项目的优化经验者优先。
  
三、福利待遇：          
各种职级都招，期待牛人加入    
      
四、简历投递  
简历发送至：lihaifeng.0314   AT  bytedance.com      
      
五、工作地址：北京、深圳都可以      
  
六、其他
没有搜索经验，但是有高并发的后端工程经验也特别欢迎
继续阅读 »
一、职位描述
1、负责字节跳动飞书业务的搜索中台的搜索研发工作，推动技术的升级和优化；
2、能够深入理解搜索领域的业务场景和业务痛点，能够设计出好的索引结构，并且对于检索和排序的主要策略熟悉，能够很好地构建高可靠性、高性能、高扩展的分布式检索系统；
3、能够深刻理解搜索的各项衡量指标，构建衡量搜索各个环节的指标体系；
4、能够深入理解后端服务相关的中间件，及微服务的设计，及后端服务的容灾；
  
二、职位要求
1、良好的设计和编码品味，热爱写代码能产出高质量的设计和代码；
2、对稳定性和性能有超乎寻常的关注；
3、熟悉 Linux 操作系统，拥有极强的排查、解决问题（trouble shooting）的能力；
4、熟悉 Lucene、ES、Solr 等原理及相关技术，对索引、分词、排序等相关技术有深入的理解；
5、有主流大规模搜索引擎架构和稳定性经验者加分者优先；
6、了解分布式, 有过高并发场景/项目的优化经验者优先。
  
三、福利待遇：          
各种职级都招，期待牛人加入    
      
四、简历投递  
简历发送至：lihaifeng.0314   AT  bytedance.com      
      
五、工作地址：北京、深圳都可以      
  
六、其他
没有搜索经验，但是有高并发的后端工程经验也特别欢迎 收起阅读 »
hello3521 发表于 : 2021-05-07 21:44 评论 (0)

社区日报 第1245期 (2021-04-29）

1.基于腾讯云Elasticsearch搭建QQ邮箱全文检索
https://mp.weixin.qq.com/s/clXOIGxnOWx8k3vowyFO_Q
2.Elasticsearch性能优化之valueCountAgg的8~20倍性能提升
https://zhuanlan.zhihu.com/p/130998404
3.使用Elastic Logs app搜索日志
https://www.elastic.co/blog/se ... ibana

编辑：金桥
归档：https://ela.st/cn-daily-all
订阅：https://ela.st/cn-daily-sub
沙龙：https://ela.st/cn-meetup
继续阅读 »
1.基于腾讯云Elasticsearch搭建QQ邮箱全文检索
https://mp.weixin.qq.com/s/clXOIGxnOWx8k3vowyFO_Q
2.Elasticsearch性能优化之valueCountAgg的8~20倍性能提升
https://zhuanlan.zhihu.com/p/130998404
3.使用Elastic Logs app搜索日志
https://www.elastic.co/blog/se ... ibana

编辑：金桥
归档：https://ela.st/cn-daily-all
订阅：https://ela.st/cn-daily-sub
沙龙：https://ela.st/cn-meetup 收起阅读 »
 社区日报
白衬衣 发表于 : 2021-04-29 20:01 评论 (0)
Copyright © 2025 · CC BY-NC-SA 3.0

本站服务器及带宽由 提供赞助