原標題：亞馬遜云科技Amazon OpenSearch Serverless，助力客戶輕松構建生成式AI應用
亞馬遜云科技宣布Amazon OpenSearch Serverless向量引擎預覽版正式可用。Amazon OpenSearch Serverless向量引擎為用戶提供一種簡單、可擴展、高性能的相似性搜索功能,使用戶在不需要管理底層向量數(shù)據(jù)庫基礎設施的情況下,可以方便地建立基于現(xiàn)代化機器學習(ML)技術的搜索體驗和生成式AI應用程序。
向量嵌入助力機器學習增強的搜索和生成式AI的應用
由于生成式AI可以處理大量數(shù)據(jù)、生成自動化內容,以及提供與正常人相似的互動反應,所以各行各業(yè)的公司都在爭先采用生成式AI。隨著人工智能技術的發(fā)展,如聊天機器人、問答系統(tǒng)、個性化推薦等對話生成式AI應用程序,客戶正試圖從根本上改變終端用戶的使用方式和互動方式。在這種對話應用程序中,用戶可以使用自然的語言來進行搜索和詢問,并且可以通過理解用戶的意圖,以及詢問的上下文來做出非常人性化的回答。
向量嵌入技術是機器學習增強的搜索應用和生成式AI的應用程序地一種有效方法,它是基于文本、圖像、音頻、視頻等數(shù)據(jù)的一種數(shù)字化表達方式,能夠有效地產(chǎn)生與之相關聯(lián)的內容。向量嵌入利用用戶的私有數(shù)據(jù)訓練得到的,它能反映出信息的語義與情境特性。最理想的是,這些信息能夠被存儲并在最近的地方進行管理,比如在某一特定的領域中,已有的搜索引擎或者數(shù)據(jù)庫中。這樣,公司就可以在用戶的查詢中尋找離自己最近的向量,然后與其他元數(shù)據(jù)結合,從而集成搜索結果。這個過程不需要依靠任何外部的資料來源或其他的應用程序。用戶想要一個容易建立的向量數(shù)據(jù)庫,且便于從原型設計快速進入到生產(chǎn)環(huán)境,以便他們能夠專注于創(chuàng)造不同的應用程序上。Amazon OpenSearch Serverless向量引擎極大地拓展了Amazon OpenSearch的搜索能力,使得用戶可以在不依賴于其底層架構的情況下,實時地存儲、檢索和追蹤海量向量嵌入,實現(xiàn)對相似匹配和語義搜索。
探索向量引擎功能
構建于Amazon OpenSearch Serverless的向量引擎天然具備魯棒性。有了向量引擎,用戶不必擔心后端基礎設施的選型、調優(yōu)和擴展問題。向量引擎可以根據(jù)不同的工作負荷類型和要求,自動地對資源進行調整,以保證在合適的尺寸下保持一致的快速性能。即使向量的數(shù)目從最初的幾千個,增長到現(xiàn)在的幾百萬個,向量引擎依然可以進行無縫的擴充,而不需要對向量進行重新索引和載入。另外,向量引擎還提供獨立的計算資源,使得用戶能夠在不影響查詢效率的情況下,實現(xiàn)向量的獲取、更新和刪除。所有的數(shù)據(jù)都被長期儲存在Amazon Simple Storage Service(Amazon S3)中,這樣用戶就能得到和Amazon S3一樣的 數(shù)據(jù)保障(11個9,也就是99.999999999%)。雖然目前還處于預覽階段,但向量引擎是為生產(chǎn)環(huán)境工作負載設計的,具有應對可用區(qū)中斷和基礎設施故障的冗余機制。
Amazon OpenSearch Serverless向量引擎由開源OpenSearch項目中的k近鄰(kNN)搜索功能提供支持,該功能能夠提供可靠而 的結果�，F(xiàn)在,很多用戶都會在主機上使用OpenSearch kNN搜索,來為自己的應用提供語義檢索和個性化的推薦。向量引擎的用戶體驗和Serverless環(huán)境同樣容易使用。向量引擎提供了一些常用的距離度量,如歐氏距離、余弦距離、點積,這些度量都有16000個維度,因此,向量引擎可以很好地支持多種基本模型,也可以很好地支持其它AI/ML模型。使用者也可以儲存資料的不同字段,例如元數(shù)據(jù)中的數(shù)字、布爾值、日期、關鍵字和地理位置,或文字中的描述資訊,以增加儲存的資料內容。通過融合多類數(shù)據(jù),可以減少數(shù)據(jù)的復雜度,提高數(shù)據(jù)的可維護性,同時還可以解決數(shù)據(jù)重復、版本兼容、授權等問題,從而有效地簡化了應用程序棧。向量引擎支持相同的OpenSearch開源套件API,讓用戶可以充分利用其豐富的查詢功能,例如全文搜索、高級過濾、聚合、地理空間查詢、嵌套查詢,以加快數(shù)據(jù)檢索和增強搜索結果。以要求查找距離用戶15英里以內的結果的用例為例,向量引擎可以在單個查詢中完成這項任務,而不需要維護兩個不同系統(tǒng),并利用應用邏輯將結果合并。通過集成LangChain、Amazon Bedrock和Amazon SageMaker,用戶可以輕松地將 機器學習和AI系統(tǒng)與向量引擎集成。
向量引擎支持不同領域的廣泛用例,如圖片搜索、文件搜索、音樂搜索、產(chǎn)品推薦、視頻搜索、定位搜索、欺詐檢測和異常檢測等。亞馬遜云科技預測,將詞匯搜索方法與先進的機器學習和生成式AI功能結合的混合搜索將會日益流行。比如,在一個電商站點,用戶搜索“紅色襯衫”的時候,語義搜索可以將全部的紅色信息都提取出來,從而擴展搜索的范圍,并對詞匯搜索進行優(yōu)化(BM25算法),從而達到邏輯強化的目的。通過Amazon OpenSearch的篩選,商家可以根據(jù)商品的大小、品牌、價格范圍以及鄰近店鋪等信息,為顧客提供最優(yōu)的搜索選擇,進而提高搜索結果的關聯(lián)度,為顧客提供更加個性化、更加精準的購物體驗。向量引擎支持的復合型檢索,允許使用者在一個簡單的檢索過程中同時查詢向量嵌入、元數(shù)據(jù)和描述性信息,為檢索提供更加 的、具有情境依賴性的檢索結果。
從預覽到正式可用
在向量引擎正式可用之前,亞馬遜云技術還將推出兩個新的功能,以減少用戶成本。第一項功能是新的開發(fā)-測試選項,這使得用戶可以不需要備份或者拷貝就可以開始收集,這樣就減少了50%的啟動費用。由于向量引擎在Amazon S3中保持了所有的數(shù)據(jù),因此它仍提供了持久的保障。第二項功能是在初始階段配置0.5 OCU(OpenSearch計算單位)資源,并根據(jù)使用者的實際工作負荷,對該資源進行擴充;如果初始工作負荷為幾萬至幾十萬個向量(視維數(shù)的多少而定),那么用戶還可以進一步減少開銷。此外,亞馬遜云科技將把支持用戶 集合所需的 OCU從每小時4個降至每小時1個。
此外,亞馬遜云科技也正在研發(fā)一系列新的功能,以協(xié)助使用者完成工作負荷的“暫停”和“恢復”,這對于向量引擎來說是非常重要的,因為其中許多用例不需要持續(xù)索引數(shù)據(jù)。
最后,亞馬遜云科技通過對諸如緩存、融合等特性的改善,不斷地對向量圖進行性能和內存利用方面的優(yōu)化。
由于在亞馬遜云科技 為用戶節(jié)省開支,因此在亞馬遜云科技將會為用戶提供1400 OCU/月的免費向量集合,直到開發(fā)-測試選項宣布可用為止。
Amazon OpenSearch Serverless向量引擎預覽版現(xiàn)已在全球八個地區(qū)可用:美國東部(俄亥俄州)、美國東部(弗吉尼亞州北部)、美國西部(俄勒岡州)、亞太地區(qū)(新加坡)、亞太地區(qū)(悉尼)、亞太地區(qū)(東京)、歐洲(法蘭克福)和歐洲(愛爾蘭)。
投稿郵箱：chuanbeiol@163.com 詳情請訪問川北在線：http://fishbao.com.cn/
