一文详解 | 开放搜索兼容Elasticsearch做召回引擎
简介:开放搜索发布开源兼容版,支持阿里云Elasticsearch做搜索召回引擎,本文详细介绍阿里云ES用户如何通过接入开放搜索兼容版丰富行业分词库,提升查询语义理解能力,无需开发、算法投入,即可获得淘系同款搜索效果。
开放搜索开源兼容版简介
很多客户在搭建搜索业务时更熟悉开源技术栈,会选择Elasticsearch/Solr等开源引擎负责搜索的召回环节,然而在召回引擎以外训练NLP、排序等算法能力,不仅耗时耗力,而且大部分处于高投入低回报的状态。
开放搜索开源兼容版的Elasticsearch引擎则是基于阿里巴巴在搜索领域的积累,开放搜索的Elasticsearch引擎实例作为一个阿里云Elasticsearch的插件,运行在用户的阿里云Elasticsearch集群中,提供阿里自研行业分词能力、Query分析理解能力,从而减少了用户对算法模块的投入,可以将更多精力投入到业务转化、产品功能等需求上。
业务流程图:
开放搜索兼容版优势
- 基于阿里巴巴多年词库积累及达摩院NLP技术,丰富Elasticsearch开源引擎分词库,提升搜索效果;
在通用分词基础上还增加行业分词能力,可覆盖电商、IT内容、教育、游戏、互娱等行业。
- 赋予Elasticsearch引擎Query理解能力,精准定位用户搜索意图;
通过对Query进行一系列智能语义分析(拼写纠错、同义词改写、词权重、停用词、实体识别)理解用户搜索意图,改写用户搜索Query,使召回结果更符合需求;
- 提供
用户可根据自身业务进行调整和优化,高效响应搜索需求,提升搜索效果和用户体验;
开源兼容版ES引擎实例创建及配置
一、创建Elasticsearch引擎实例
1.登录
二、配置Elasticsearch引擎实例
配置应用包含关联阿里云Elasticsearch实例、安装插件、配置完成三步:
- 实例管理-Elasticsearch引擎页面,找到待配置状态的实例,点击配置,进入关联阿里云Elasticsearch应用页面:
- 安装插件:
- 点击“确定”,则开始安装自定义插件(会触发Elasticsearch集群重启):
- 配置成功,等待插件安装:
三、Elasticsearch引擎实例搜索测试
- 在阿里云
- 登录Elasticsearch可视化控制台通过Dev Tools工具测试已安装的插件:
了解更多详细配置内容,查看产品文档:
客户案例
某新零售客户,打造1公里社区网店服务,为用户提供吃、喝、玩、乐一体化生活服务。
客户搜索业务痛点
- 自建搜索效果差,搜不准、搜不到直接影响用户体验;
- 缺乏行业分词库,自研难度大,开发周期长,难以响应业务需求;
- 成熟的搜索引擎涉及离线模块、在线模块、查询理解服务、算法平台等系统组成,所需大量开发、算法调优以及持续的复杂运维工作,自建成本高;
开源兼容版解决方案
- 调用开放搜索电商行业分词库
集成淘宝搜索同款电商分词器,训练语料来自淘宝搜索多年积累的百万级有标注的电商行业数据,可准确识别商品品牌、品类、产品特性等电商属性query;
- 调用电商查询语义理解功能
- 电商拼写纠错
用户输入的query并不总是正确的,错误的输入可能导致查询结果不符合预期或者是无结果,因此需要对用户的输入进行拼写检查。OpenSearch的查询分析中提供的拼写检查功能,对查询词中的错误进行纠正,给出正确的查询词。并根据纠错的可信度高低,决定当前查询是否用纠错后的词进行查询。
- 电商同义词
同义词功能主要是对查询词进行同义扩展,扩大召回和查询词同义的文档。
- 电商实体识别
全称命名实体识别(Named Entity Recognition,简称NER),指对查询词中的具有特定意义的语义实体进行识别。查询分析根据识别的结果,依据实体类型的权重对查询词进行改写,使得召回的文档符合查询的意图。
效果反馈
无需额外投入人力资源,在不改变现有ES使用习惯情况下,从了解到测试到接入上线短短15天就获得高质量搜索效果,企业有更多资源精力投入到产品功能和业务提升中去。
- 商品搜索无结果率30%降至5%以下,指标还在持续优化中;
- 搜索引导的业务转化率增长7%;
- 商家店铺搜索CTR提升5%,将直接影响拉动商家入住和广告营收;
本文为阿里云原创内容,未经允许不得转载。
推荐这些技术文章:
1. 什么是图
近几年,全球大数据进入了加速发展时期,数据量呈指数级增长。大数据中不同个体间的关联关系产生的数据以图的形式呈现。这里的图是针对数学中的“图论”而言,主要是由点和边组成的数据结构。顶点相当于树中的节点。顶点之间的关联关系,被称之为边。例如:坐在办公室的三个人,这三个人就是三个点。三个人之间的关系称之为边,如:同事关系,师妹关系,项目合作关系等等。
&nb...
大家好,我是爱学习的小xiong熊妹。
今天分享的是商品分析。在过去,商品分析曾经是最重要的分析内容,但现在已经让位给推广分析了,一起来看下吧。
一、商品分析,在分析啥?
商品分析,指的是分析在售商品的进货、销售、存货情况。大部分企业都是靠销售商品赚取利润,因此要及时掌握:
有多少商品在售
一定时间内,能卖出多少
仓库里,还剩多少
掌握情况以后,就能进一步决定:
...
elasticsearch 搜索过程详解
本文基于elasticsearch8.1。在es搜索中,经常会使用索引+星号,采用时间戳来进行搜索,比如aaaa-*在es中是怎么处理这类请求的呢?是对匹配的进行搜索呢还是仅仅根据时间找出索引,然后才遍历索引进行搜索。在了解其原理前先了解一些基本知识。
SearchType
QUERY_THEN_FETCH(默认):第一步,先向所有的shard发出请求,...
大家好,我是爱学习的小xiong熊妹。
用户分析,是当前数据分析领域最热门的话题了。不管是互联网企业还是传统企业,都在问题:
我的用户是谁?
用户从哪里来?
用户做了什么?
用户会到哪去?
几乎所有部门,都会用到用户分析的结论,所以用户分析,在整个分析体系中,是最基础的环节(如下图)。
今天就简单分享一下,用户分析该怎做。
一、用户分...
必备!一文掌握Wordpress插件
什么是插件?
Wordpress是一个非常强大的建站系统,而在我们建站的过程中,插件的使用必不可少。
插件是WordPress功能的扩展,也是WordPress得以独步天下的“杀手锏”,其插件实现了名副其实的“即插即用”。全球有超过100万的WordPress插件,涵盖电商、表单、邮件、论坛、备份、美化、社交分享、轮播等领域。
插件的出现让我们的建站更加得心...
Linux 环境Skywalking部署Elasticsearch
一、环境准备
1、Java jdk 11+(安装教程可参考https://www.cnblogs.com/sportsky/p/15973713.html)
2、elasticsearch
二、环境搭建
1、创建目录
mkdir /usr/local/skywalking
2、将资源目录中的elasticsearch安装包上传到虚拟机/usr/local/skywalking目录下
下载地...
文章链接:https://www.dianjilingqu.com/4680.html
本文章来源于网络,版权归原作者所有,如果本站文章侵犯了您的权益,请联系我们删除,联系邮箱:saisai#email.cn,感谢支持理解。