原标题：亚马逊云科技Amazon OpenSearch Serverless，助力客户轻松构建生成式AI应用

　　亚马逊云科技宣布Amazon OpenSearch Serverless向量引擎预览版正式可用。Amazon OpenSearch Serverless向量引擎为用户提供一种简单、可扩展、高性能的相似性搜索功能,使用户在不需要管理底层向量数据库基础设施的情况下,可以方便地建立基于现代化机器学习(ML)技术的搜索体验和生成式AI应用程序。

　　向量嵌入助力机器学习增强的搜索和生成式AI的应用

　　由于生成式AI可以处理大量数据、生成自动化内容,以及提供与正常人相似的互动反应,所以各行各业的公司都在争先采用生成式AI。随着人工智能技术的发展,如聊天机器人、问答系统、个性化推荐等对话生成式AI应用程序,客户正试图从根本上改变终端用户的使用方式和互动方式。在这种对话应用程序中,用户可以使用自然的语言来进行搜索和询问,并且可以通过理解用户的意图,以及询问的上下文来做出非常人性化的回答。

　　向量嵌入技术是机器学习增强的搜索应用和生成式AI的应用程序地一种有效方法,它是基于文本、图像、音频、视频等数据的一种数字化表达方式,能够有效地产生与之相关联的内容。向量嵌入利用用户的私有数据训练得到的,它能反映出信息的语义与情境特性。最理想的是,这些信息能够被存储并在最近的地方进行管理,比如在某一特定的领域中,已有的搜索引擎或者数据库中。这样,公司就可以在用户的查询中寻找离自己最近的向量,然后与其他元数据结合,从而集成搜索结果。这个过程不需要依靠任何外部的资料来源或其他的应用程序。用户想要一个容易建立的向量数据库,且便于从原型设计快速进入到生产环境,以便他们能够专注于创造不同的应用程序上。Amazon OpenSearch Serverless向量引擎极大地拓展了Amazon OpenSearch的搜索能力,使得用户可以在不依赖于其底层架构的情况下,实时地存储、检索和追踪海量向量嵌入,实现对相似匹配和语义搜索。

　　探索向量引擎功能

　　构建于Amazon OpenSearch Serverless的向量引擎天然具备鲁棒性。有了向量引擎,用户不必担心后端基础设施的选型、调优和扩展问题。向量引擎可以根据不同的工作负荷类型和要求,自动地对资源进行调整,以保证在合适的尺寸下保持一致的快速性能。即使向量的数目从最初的几千个,增长到现在的几百万个,向量引擎依然可以进行无缝的扩充,而不需要对向量进行重新索引和载入。另外,向量引擎还提供独立的计算资源,使得用户能够在不影响查询效率的情况下,实现向量的获取、更新和删除。所有的数据都被长期储存在Amazon Simple Storage Service(Amazon S3)中,这样用户就能得到和Amazon S3一样的 数据保障(11个9,也就是99.999999999%)。虽然目前还处于预览阶段,但向量引擎是为生产环境工作负载设计的,具有应对可用区中断和基础设施故障的冗余机制。

　　Amazon OpenSearch Serverless向量引擎由开源OpenSearch项目中的k近邻(kNN)搜索功能提供支持,该功能能够提供可靠而 的结果。现在,很多用户都会在主机上使用OpenSearch kNN搜索,来为自己的应用提供语义检索和个性化的推荐。向量引擎的用户体验和Serverless环境同样容易使用。向量引擎提供了一些常用的距离度量,如欧氏距离、余弦距离、点积,这些度量都有16000个维度,因此,向量引擎可以很好地支持多种基本模型,也可以很好地支持其它AI/ML模型。使用者也可以储存资料的不同字段,例如元数据中的数字、布尔值、日期、关键字和地理位置,或文字中的描述资讯,以增加储存的资料内容。通过融合多类数据,可以减少数据的复杂度,提高数据的可维护性,同时还可以解决数据重复、版本兼容、授权等问题,从而有效地简化了应用程序栈。向量引擎支持相同的OpenSearch开源套件API,让用户可以充分利用其丰富的查询功能,例如全文搜索、高级过滤、聚合、地理空间查询、嵌套查询,以加快数据检索和增强搜索结果。以要求查找距离用户15英里以内的结果的用例为例,向量引擎可以在单个查询中完成这项任务,而不需要维护两个不同系统,并利用应用逻辑将结果合并。通过集成LangChain、Amazon Bedrock和Amazon SageMaker,用户可以轻松地将 机器学习和AI系统与向量引擎集成。

　　向量引擎支持不同领域的广泛用例,如图片搜索、文件搜索、音乐搜索、产品推荐、视频搜索、定位搜索、欺诈检测和异常检测等。亚马逊云科技预测,将词汇搜索方法与先进的机器学习和生成式AI功能结合的混合搜索将会日益流行。比如,在一个电商站点,用户搜索“红色衬衫”的时候,语义搜索可以将全部的红色信息都提取出来,从而扩展搜索的范围,并对词汇搜索进行优化(BM25算法),从而达到逻辑强化的目的。通过Amazon OpenSearch的筛选,商家可以根据商品的大小、品牌、价格范围以及邻近店铺等信息,为顾客提供最优的搜索选择,进而提高搜索结果的关联度,为顾客提供更加个性化、更加精准的购物体验。向量引擎支持的复合型检索,允许使用者在一个简单的检索过程中同时查询向量嵌入、元数据和描述性信息,为检索提供更加 的、具有情境依赖性的检索结果。

　　从预览到正式可用

　　在向量引擎正式可用之前,亚马逊云技术还将推出两个新的功能,以减少用户成本。第一项功能是新的开发-测试选项,这使得用户可以不需要备份或者拷贝就可以开始收集,这样就减少了50%的启动费用。由于向量引擎在Amazon S3中保持了所有的数据,因此它仍提供了持久的保障。第二项功能是在初始阶段配置0.5 OCU(OpenSearch计算单位)资源,并根据使用者的实际工作负荷,对该资源进行扩充;如果初始工作负荷为几万至几十万个向量(视维数的多少而定),那么用户还可以进一步减少开销。此外,亚马逊云科技将把支持用户 集合所需的 OCU从每小时4个降至每小时1个。

　　此外,亚马逊云科技也正在研发一系列新的功能,以协助使用者完成工作负荷的“暂停”和“恢复”,这对于向量引擎来说是非常重要的,因为其中许多用例不需要持续索引数据。

　　最后,亚马逊云科技通过对诸如缓存、融合等特性的改善,不断地对向量图进行性能和内存利用方面的优化。

　　由于在亚马逊云科技 为用户节省开支,因此在亚马逊云科技将会为用户提供1400 OCU/月的免费向量集合,直到开发-测试选项宣布可用为止。

　　Amazon OpenSearch Serverless向量引擎预览版现已在全球八个地区可用:美国东部(俄亥俄州)、美国东部(弗吉尼亚州北部)、美国西部(俄勒冈州)、亚太地区(新加坡)、亚太地区(悉尼)、亚太地区(东京)、欧洲(法兰克福)和欧洲(爱尔兰)。

   投稿邮箱：chuanbeiol@163.com   详情请访问川北在线：http://www.guangyuanol.cn/