原標(biāo)題：亞馬遜云科技Inf2為數(shù)百萬用戶交付更優(yōu)質(zhì)的體驗(yàn)
亞馬遜云科技一直致力于不斷降低機(jī)器學(xué)習(xí)的使用門檻，已經(jīng)幫助超過10萬家來自各行各業(yè)的不同規(guī)模的客戶使用機(jī)器學(xué)習(xí)進(jìn)行創(chuàng)新。亞馬遜云科技在人工智能和機(jī)器學(xué)習(xí)堆棧的三個(gè)層級(jí)都擁有至深至廣的產(chǎn)品組合。長(zhǎng)期以來不斷投入、持續(xù)創(chuàng)新，為機(jī)器學(xué)習(xí)提供高性能、可伸縮的基礎(chǔ)設(shè)施，和極具性價(jià)比的機(jī)器學(xué)習(xí)訓(xùn)練和推理;亞馬遜云科技研發(fā)了Amazon SageMaker，為所有開發(fā)人員構(gòu)建、訓(xùn)練和部署模型提供最大的便利;還推出了大量服務(wù)，使客戶通過簡(jiǎn)單的API調(diào)用就可添加AI功能到應(yīng)用程序中，如圖像識(shí)別、預(yù)測(cè)和智能搜索。得益于此，Intuit、湯森路透、阿斯利康、法拉利、德甲聯(lián)賽、3M和寶馬等客戶，以及全球數(shù)千家初創(chuàng)企業(yè)和政府機(jī)構(gòu)正在通過機(jī)器學(xué)習(xí)進(jìn)行數(shù)字化轉(zhuǎn)型，帶動(dòng)產(chǎn)業(yè)升級(jí)，重新定義機(jī)器學(xué)習(xí)的使命。
宣布Amazon EC2 Trn1n和Amazon EC2 Inf2實(shí)例正式可用： 成本效益的生成式AI云基礎(chǔ)設(shè)施
無論運(yùn)行、構(gòu)建還是定制基礎(chǔ)模型，都需要高性能、低成本且為機(jī)器學(xué)習(xí)專門構(gòu)建的基礎(chǔ)設(shè)施。過去五年，亞馬遜云科技持續(xù)加大在自研芯片方面的投入，不斷突破性能和價(jià)格的極限，以支持對(duì)此有極高要求的機(jī)器學(xué)習(xí)訓(xùn)練與推理等工作負(fù)載。亞馬遜云科技Trainium和Inferentia芯片可以提供在云上訓(xùn)練模型和運(yùn)行推理的 成本。正是因?yàn)樵诔杀竞托阅芊矫娴膬?yōu)勢(shì)，像AI21 Labs、Anthropic、Cohere、Grammarly、Hugging Face、Runway、Stability AI等領(lǐng)先的AI初創(chuàng)公司都選擇運(yùn)行在亞馬遜云科技上。
由Trainium支持的Trn1計(jì)算實(shí)例與其他任何EC2實(shí)例相比，都可以節(jié)省高達(dá)50%的訓(xùn)練成本，并經(jīng)過優(yōu)化，可以在與高達(dá)800Gbps的第二代EFA(彈性結(jié)構(gòu)適配器)網(wǎng)絡(luò)相連的多個(gè)服務(wù)器上分發(fā)訓(xùn)練任務(wù)�？蛻艨梢栽诔笠�(guī)模集群(UltraClusters)中部署Trn1實(shí)例，數(shù)量可以擴(kuò)展到在同一可用區(qū)中3萬個(gè)Trainium芯片，相當(dāng)于超過6 exaflops的計(jì)算能力，并具有PB級(jí)網(wǎng)絡(luò)。許多亞馬遜云科技客戶，包括Helixon、Money Forward和亞馬遜的搜索團(tuán)隊(duì)，都使用Trn1實(shí)例將訓(xùn)練最大規(guī)模的深度學(xué)習(xí)模型所需的時(shí)間從幾個(gè)月縮短到幾周甚至幾天，并且降低了成本。
今天，基礎(chǔ)模型花費(fèi)的時(shí)間和金錢主要用于訓(xùn)練，這是因?yàn)樵S多客戶才剛剛開始將基礎(chǔ)模型部署到生產(chǎn)中。但是，在未來，當(dāng)基礎(chǔ)模型進(jìn)入大規(guī)模部署時(shí)，大部分成本將用于運(yùn)行模型和進(jìn)行推理�？蛻敉ǔ�(huì)定期訓(xùn)練模型，于是生產(chǎn)應(yīng)用程序會(huì)不斷生成預(yù)測(cè)(稱為推理)——每小時(shí)可能生成數(shù)百萬預(yù)測(cè)。而且這些預(yù)測(cè)需要實(shí)時(shí)發(fā)生，這就需要極低延遲和高吞吐量的網(wǎng)絡(luò)。Alexa就是一個(gè)典型的例子，它每分鐘都會(huì)接受數(shù)百萬次請(qǐng)求，處理這些請(qǐng)求占所有計(jì)算成本的40%。
2018年，我們發(fā)布了首款推理專用芯片Inferentia。每年，亞馬遜都運(yùn)用Inferentia運(yùn)行數(shù)萬億次推理，并節(jié)省數(shù)億美元成本。這是十分顯著的成果，繼續(xù)創(chuàng)新的空間依然巨大，因?yàn)殡S著越來越多的客戶將生成式AI集成到他們的應(yīng)用程序中，工作負(fù)載的規(guī)模和復(fù)雜性只會(huì)越來越大。
因此，亞馬遜云科技宣布由Amazon Inferentia2提供支持的Inf2實(shí)例正式可用，這些實(shí)例專門針對(duì)運(yùn)行數(shù)千億個(gè)參數(shù)模型的大規(guī)模生成式AI應(yīng)用程序進(jìn)行了優(yōu)化。與上一代相比，Inf2實(shí)例不僅吞吐量提高了4倍，延遲降低了10倍，還可實(shí)現(xiàn)加速器之間的超高速連接以支持大規(guī)模分布式推理。與同類Amazon EC2實(shí)例相比，這些能力將推理性價(jià)比提高了40%，并把云中的推理成本降到 ，Runway等客戶有望利用Inf2將部分模型的吞吐量提升至原來的兩倍。受益于高性能和低成本的推理，Runway能夠引入更多功能，部署更復(fù)雜的模型，并最終為自己的數(shù)百萬用戶交付更優(yōu)質(zhì)的體驗(yàn)。
投稿郵箱：chuanbeiol@163.com 詳情請(qǐng)?jiān)L問川北在線：http://fishbao.com.cn/
