原標(biāo)題：亞馬遜云科技Amazon OpenSearch Serverless，助力客戶輕松構(gòu)建生成式AI應(yīng)用

　　亞馬遜云科技宣布Amazon OpenSearch Serverless向量引擎預(yù)覽版正式可用。Amazon OpenSearch Serverless向量引擎為用戶提供一種簡單、可擴(kuò)展、高性能的相似性搜索功能,使用戶在不需要管理底層向量數(shù)據(jù)庫基礎(chǔ)設(shè)施的情況下,可以方便地建立基于現(xiàn)代化機(jī)器學(xué)習(xí)(ML)技術(shù)的搜索體驗(yàn)和生成式AI應(yīng)用程序。

　　向量嵌入助力機(jī)器學(xué)習(xí)增強(qiáng)的搜索和生成式AI的應(yīng)用

　　由于生成式AI可以處理大量數(shù)據(jù)、生成自動(dòng)化內(nèi)容,以及提供與正常人相似的互動(dòng)反應(yīng),所以各行各業(yè)的公司都在爭先采用生成式AI。隨著人工智能技術(shù)的發(fā)展,如聊天機(jī)器人、問答系統(tǒng)、個(gè)性化推薦等對話生成式AI應(yīng)用程序,客戶正試圖從根本上改變終端用戶的使用方式和互動(dòng)方式。在這種對話應(yīng)用程序中,用戶可以使用自然的語言來進(jìn)行搜索和詢問,并且可以通過理解用戶的意圖,以及詢問的上下文來做出非常人性化的回答。

　　向量嵌入技術(shù)是機(jī)器學(xué)習(xí)增強(qiáng)的搜索應(yīng)用和生成式AI的應(yīng)用程序地一種有效方法,它是基于文本、圖像、音頻、視頻等數(shù)據(jù)的一種數(shù)字化表達(dá)方式,能夠有效地產(chǎn)生與之相關(guān)聯(lián)的內(nèi)容。向量嵌入利用用戶的私有數(shù)據(jù)訓(xùn)練得到的,它能反映出信息的語義與情境特性。最理想的是,這些信息能夠被存儲(chǔ)并在最近的地方進(jìn)行管理,比如在某一特定的領(lǐng)域中,已有的搜索引擎或者數(shù)據(jù)庫中。這樣,公司就可以在用戶的查詢中尋找離自己最近的向量,然后與其他元數(shù)據(jù)結(jié)合,從而集成搜索結(jié)果。這個(gè)過程不需要依靠任何外部的資料來源或其他的應(yīng)用程序。用戶想要一個(gè)容易建立的向量數(shù)據(jù)庫,且便于從原型設(shè)計(jì)快速進(jìn)入到生產(chǎn)環(huán)境,以便他們能夠?qū)Ｗ⒂趧?chuàng)造不同的應(yīng)用程序上。Amazon OpenSearch Serverless向量引擎極大地拓展了Amazon OpenSearch的搜索能力,使得用戶可以在不依賴于其底層架構(gòu)的情況下,實(shí)時(shí)地存儲(chǔ)、檢索和追蹤海量向量嵌入,實(shí)現(xiàn)對相似匹配和語義搜索。

　　探索向量引擎功能

　　構(gòu)建于Amazon OpenSearch Serverless的向量引擎天然具備魯棒性。有了向量引擎,用戶不必?fù)?dān)心后端基礎(chǔ)設(shè)施的選型、調(diào)優(yōu)和擴(kuò)展問題。向量引擎可以根據(jù)不同的工作負(fù)荷類型和要求,自動(dòng)地對資源進(jìn)行調(diào)整,以保證在合適的尺寸下保持一致的快速性能。即使向量的數(shù)目從最初的幾千個(gè),增長到現(xiàn)在的幾百萬個(gè),向量引擎依然可以進(jìn)行無縫的擴(kuò)充,而不需要對向量進(jìn)行重新索引和載入。另外,向量引擎還提供獨(dú)立的計(jì)算資源,使得用戶能夠在不影響查詢效率的情況下,實(shí)現(xiàn)向量的獲取、更新和刪除。所有的數(shù)據(jù)都被長期儲(chǔ)存在Amazon Simple Storage Service(Amazon S3)中,這樣用戶就能得到和Amazon S3一樣的 數(shù)據(jù)保障(11個(gè)9,也就是99.999999999%)。雖然目前還處于預(yù)覽階段,但向量引擎是為生產(chǎn)環(huán)境工作負(fù)載設(shè)計(jì)的,具有應(yīng)對可用區(qū)中斷和基礎(chǔ)設(shè)施故障的冗余機(jī)制。

　　Amazon OpenSearch Serverless向量引擎由開源OpenSearch項(xiàng)目中的k近鄰(kNN)搜索功能提供支持,該功能能夠提供可靠而 的結(jié)果。現(xiàn)在,很多用戶都會(huì)在主機(jī)上使用OpenSearch kNN搜索,來為自己的應(yīng)用提供語義檢索和個(gè)性化的推薦。向量引擎的用戶體驗(yàn)和Serverless環(huán)境同樣容易使用。向量引擎提供了一些常用的距離度量,如歐氏距離、余弦距離、點(diǎn)積,這些度量都有16000個(gè)維度,因此,向量引擎可以很好地支持多種基本模型,也可以很好地支持其它AI/ML模型。使用者也可以儲(chǔ)存資料的不同字段,例如元數(shù)據(jù)中的數(shù)字、布爾值、日期、關(guān)鍵字和地理位置,或文字中的描述資訊,以增加儲(chǔ)存的資料內(nèi)容。通過融合多類數(shù)據(jù),可以減少數(shù)據(jù)的復(fù)雜度,提高數(shù)據(jù)的可維護(hù)性,同時(shí)還可以解決數(shù)據(jù)重復(fù)、版本兼容、授權(quán)等問題,從而有效地簡化了應(yīng)用程序棧。向量引擎支持相同的OpenSearch開源套件API,讓用戶可以充分利用其豐富的查詢功能,例如全文搜索、高級(jí)過濾、聚合、地理空間查詢、嵌套查詢,以加快數(shù)據(jù)檢索和增強(qiáng)搜索結(jié)果。以要求查找距離用戶15英里以內(nèi)的結(jié)果的用例為例,向量引擎可以在單個(gè)查詢中完成這項(xiàng)任務(wù),而不需要維護(hù)兩個(gè)不同系統(tǒng),并利用應(yīng)用邏輯將結(jié)果合并。通過集成LangChain、Amazon Bedrock和Amazon SageMaker,用戶可以輕松地將 機(jī)器學(xué)習(xí)和AI系統(tǒng)與向量引擎集成。

　　向量引擎支持不同領(lǐng)域的廣泛用例,如圖片搜索、文件搜索、音樂搜索、產(chǎn)品推薦、視頻搜索、定位搜索、欺詐檢測和異常檢測等。亞馬遜云科技預(yù)測,將詞匯搜索方法與先進(jìn)的機(jī)器學(xué)習(xí)和生成式AI功能結(jié)合的混合搜索將會(huì)日益流行。比如,在一個(gè)電商站點(diǎn),用戶搜索“紅色襯衫”的時(shí)候,語義搜索可以將全部的紅色信息都提取出來,從而擴(kuò)展搜索的范圍,并對詞匯搜索進(jìn)行優(yōu)化(BM25算法),從而達(dá)到邏輯強(qiáng)化的目的。通過Amazon OpenSearch的篩選,商家可以根據(jù)商品的大小、品牌、價(jià)格范圍以及鄰近店鋪等信息,為顧客提供最優(yōu)的搜索選擇,進(jìn)而提高搜索結(jié)果的關(guān)聯(lián)度,為顧客提供更加個(gè)性化、更加精準(zhǔn)的購物體驗(yàn)。向量引擎支持的復(fù)合型檢索,允許使用者在一個(gè)簡單的檢索過程中同時(shí)查詢向量嵌入、元數(shù)據(jù)和描述性信息,為檢索提供更加 的、具有情境依賴性的檢索結(jié)果。

　　從預(yù)覽到正式可用

　　在向量引擎正式可用之前,亞馬遜云技術(shù)還將推出兩個(gè)新的功能,以減少用戶成本。第一項(xiàng)功能是新的開發(fā)-測試選項(xiàng),這使得用戶可以不需要備份或者拷貝就可以開始收集,這樣就減少了50%的啟動(dòng)費(fèi)用。由于向量引擎在Amazon S3中保持了所有的數(shù)據(jù),因此它仍提供了持久的保障。第二項(xiàng)功能是在初始階段配置0.5 OCU(OpenSearch計(jì)算單位)資源,并根據(jù)使用者的實(shí)際工作負(fù)荷,對該資源進(jìn)行擴(kuò)充;如果初始工作負(fù)荷為幾萬至幾十萬個(gè)向量(視維數(shù)的多少而定),那么用戶還可以進(jìn)一步減少開銷。此外,亞馬遜云科技將把支持用戶 集合所需的 OCU從每小時(shí)4個(gè)降至每小時(shí)1個(gè)。

　　此外,亞馬遜云科技也正在研發(fā)一系列新的功能,以協(xié)助使用者完成工作負(fù)荷的“暫停”和“恢復(fù)”,這對于向量引擎來說是非常重要的,因?yàn)槠渲性S多用例不需要持續(xù)索引數(shù)據(jù)。

　　最后,亞馬遜云科技通過對諸如緩存、融合等特性的改善,不斷地對向量圖進(jìn)行性能和內(nèi)存利用方面的優(yōu)化。

　　由于在亞馬遜云科技 為用戶節(jié)省開支,因此在亞馬遜云科技將會(huì)為用戶提供1400 OCU/月的免費(fèi)向量集合,直到開發(fā)-測試選項(xiàng)宣布可用為止。

　　Amazon OpenSearch Serverless向量引擎預(yù)覽版現(xiàn)已在全球八個(gè)地區(qū)可用:美國東部(俄亥俄州)、美國東部(弗吉尼亞州北部)、美國西部(俄勒岡州)、亞太地區(qū)(新加坡)、亞太地區(qū)(悉尼)、亞太地區(qū)(東京)、歐洲(法蘭克福)和歐洲(愛爾蘭)。

   投稿郵箱：chuanbeiol@163.com   詳情請?jiān)L問川北在線：http://www.sanmuled.cn/