采用生成式人工智能系統可能會改變企業的云架構
2024-11-8 8:40:03 點擊：
從(cong)數(shu)據可(ke)用性(xing)和(he)安全(quan)性(xing)到大型語言模型和(he)選(xuan)擇和(he)監(jian)控，企(qi)業(ye)采用生成(cheng)式(shi)人(ren)工(gong)智能意(yi)味(wei)著(zhu)需要(yao)重新審視自己的(de)云架構。
所以，很多企(qi)(qi)業(ye)正在重新構建(jian)云架(jia)構，同時也在開發生成式人工智能系統(tong)。那么(me)，這些企(qi)(qi)業(ye)需要做些什么(me)改變?新興的(de)最(zui)佳實踐(jian)是(shi)什么(me)?行業(ye)專家表(biao)示，在過去(qu)的(de)20年里，特(te)別是(shi)在過去(qu)的(de)兩年，他(ta)幫(bang)助企(qi)(qi)業(ye)建(jian)立了一些這樣(yang)的(de)平臺，以下是(shi)他(ta)為企(qi)(qi)業(ye)提出的(de)一些建(jian)議：
理解自己(ji)的用例(li)
企業(ye)(ye)坱要(yao)明確定義云架構中(zhong)生(sheng)成式(shi)人(ren)工智(zhi)能的(de)目的(de)和目標。如果看到(dao)一(yi)些錯誤(wu)反復出現，那就是他們(men)沒有理解業(ye)(ye)務系統中(zhong)生(sheng)成人(ren)工智(zhi)能的(de)含義。企業(ye)(ye)需要(yao)了解其目標是什么(me)，無論(lun)是內容生(sheng)成、推(tui)薦系統還是其他應(ying)用(yong)程序。
這(zhe)意味著(zhu)企業高管需要(yao)(yao)就制定(ding)的(de)目(mu)標(biao)達成共識，并且明確如何實現(xian)目(mu)標(biao)，最重要(yao)(yao)的(de)是，如何定(ding)義成功(gong)。這(zhe)并非(fei)只有生成式人工智能才會出現(xian)。而(er)這(zhe)是在每一次遷(qian)移和(he)在云中構(gou)建的(de)新系統(tong)獲得成功(gong)的(de)一步。
很多企(qi)(qi)業在云平臺中開發的(de)生成式(shi)人(ren)工(gong)智能項目(mu)都失敗了，因(yin)為他們沒(mei)有很好(hao)地理解業務用例(li)。雖然企(qi)(qi)業開發的(de)產品(pin)很酷，但不(bu)(bu)會給其業務帶來任(ren)何價值。那么這種方法就會行不(bu)(bu)通。
數(shu)據來源(yuan)和質量(liang)是(shi)關鍵
識別生成式(shi)人工智(zhi)能模型訓(xun)練和推理需要(yao)有效的(de)數據(ju)(ju)來源，必須是可(ke)訪(fang)問的(de)、高(gao)質量的(de)和精心管理的(de)數據(ju)(ju)。企業還必須確保云計算存儲解決方案(an)的(de)可(ke)用性和兼容性。
生成式(shi)人工智能系統(tong)(tong)是(shi)(shi)高度(du)以(yi)數據(ju)(ju)為中心的(de)，可以(yi)稱之(zhi)為數據(ju)(ju)導向系統(tong)(tong)。數據(ju)(ju)是(shi)(shi)驅動生成式(shi)人工智能系統(tong)(tong)產生結果的(de)燃料(liao)。然而，數據(ju)(ju)質(zhi)量(liang)仍然是(shi)(shi)“垃(la)圾進，垃(la)圾出”。
因(yin)此，將(jiang)數據(ju)(ju)可訪問性作(zuo)(zuo)為云(yun)架構的(de)主要驅(qu)動(dong)因(yin)素是(shi)有幫(bang)助的(de)。企業需要將(jiang)大多數相關數據(ju)(ju)作(zuo)(zuo)為訓練數據(ju)(ju)訪問，通(tong)常將(jiang)其(qi)保留在其(qi)存在的(de)位置，而(er)不(bu)是(shi)將(jiang)其(qi)遷移到(dao)單一的(de)物(wu)理(li)(li)實體(ti)。否則，最(zui)終會得到(dao)多余的(de)數據(ju)(ju)，沒有單一的(de)真相來源。考慮在將(jiang)數據(ju)(ju)輸(shu)入人工智能模型之前，對數據(ju)(ju)進行預(yu)處理(li)(li)和(he)清理(li)(li)的(de)高效數據(ju)(ju)管(guan)道。這確(que)保了數據(ju)(ju)質量和(he)模型性能。
使用生成式人(ren)工(gong)智(zhi)能的(de)云架構80%獲得了成功(gong)。然(ran)而，這是最容易被(bei)忽視的(de)因素，因為云架構師更關(guan)注生成式人(ren)工(gong)智(zhi)能系(xi)統的(de)處理，而不是為這些系(xi)統提供高質量的(de)數(shu)據，實際上(shang)，數(shu)據就是一(yi)切。
資(zi)料(liao)保護及(ji)隱私
正如數(shu)據至關重要(yao)一樣(yang)，數(shu)據的(de)安全(quan)性和隱私性也(ye)很重要(yao)。生成式人工智能(neng)處理(li)可以將看似無(wu)意義的(de)數(shu)據轉化為可以暴露敏感信息的(de)數(shu)據。
企業需(xu)要(yao)實施(shi)穩健的數據安全措施(shi)、加密和(he)訪問控制，以保(bao)(bao)護生成人工智能使用的敏感數據和(he)生成人工智能可能產(chan)生的新(xin)數據。企業需(xu)要(yao)遵守(shou)相關的數據隱私(si)法(fa)規。這并不意味著在企業的架構上安裝一些(xie)安全系統(tong)(tong)作為最后保(bao)(bao)障，而是(shi)在每(mei)個(ge)步驟中(zhong)(zhong)都必須將安全性應用到系統(tong)(tong)中(zhong)(zhong)。
可擴展(zhan)性和(he)推(tui)理資源(yuan)
企業(ye)需要規劃可擴(kuo)展的(de)云資(zi)源(yuan)，以適應不(bu)同的(de)工作負載(zai)和數(shu)據處理需求。大(da)多(duo)數(shu)企業(ye)都考慮自動擴(kuo)展和負載(zai)平衡解決方案。而(er)看(kan)到的(de)一個更(geng)嚴重的(de)錯誤是(shi)，構建可擴(kuo)展性(xing)良(liang)好(hao)但成本非常高的(de)系統。最好(hao)是(shi)平衡可擴(kuo)展性(xing)和成本，這是(shi)可以做到的(de)，但需要良(liang)好(hao)的(de)架構和云成本的(de)優(you)化實(shi)踐。
另外，企業需要檢查推理(li)資源。人們已經注意(yi)到(dao)，云計算行業會議上(shang)的(de)許多新(xin)聞都是(shi)圍繞這個主(zhu)題(ti)，而且(qie)有充(chong)分(fen)的(de)理(li)由。選擇合適的(de)帶有GPU或TPU的(de)云實(shi)例進行模型訓(xun)練和推理(li)。而優化資源配置以(yi)實(shi)現成本效益。
考慮模型(xing)選擇
根據(ju)企(qi)(qi)業的具體(ti)用(yong)例(li)(li)和(he)需求選(xuan)擇示例(li)(li)生(sheng)成(cheng)式人工智(zhi)能架(jia)構(通(tong)用(yong)對(dui)抗網絡和(he)Transformers等)。考(kao)慮使用(yong)云服(fu)務(wu)進行模(mo)型訓練(lian)（例(li)(li)如(ru)AWSSageMaker等）并找到(dao)優化的解決方案。這也意(yi)味著理解企(qi)(qi)業可能有許多(duo)連(lian)接的模(mo)型，這將(jiang)是(shi)常態。
企(qi)業需要實現一個健(jian)壯的模(mo)(mo)型部署策略，包括版(ban)本控制(zhi)和(he)容器化，以使企(qi)業的云架構中(zhong)的應(ying)用(yong)程序(xu)和(he)服務可以訪問人工智能模(mo)(mo)型。
監控和日志記錄
設置監控和記錄系統(tong)來跟蹤人(ren)工(gong)智能(neng)模型(xing)的性能(neng)、資源利用(yong)率(lv)和潛在問題是不可(ke)選(xuan)擇的。建立異常警(jing)報機制以及可(ke)觀察性系統(tong)，以處(chu)理云(yun)中生成的人(ren)工(gong)智能(neng)。
此外，持續監控(kong)和優(you)(you)化云資源成(cheng)本(ben)，因為(wei)生成(cheng)式人工智能(neng)可(ke)能(neng)是資源密集(ji)型的(de)。使用(yong)云成(cheng)本(ben)管理工具和實踐(jian)，意味著(zhu)讓云成(cheng)本(ben)優(you)(you)化監控(kong)部署(shu)的(de)所有(you)方面——可(ke)以最小化運營(ying)成(cheng)本(ben)，并提高架構效率(lv)佳。大多數架構都需要調優(you)(you)和持續改進。
其他的考慮因素
需要故障(zhang)轉移和冗余(yu)(yu)來確保高可用性(xing)，災難恢復計劃可以在系(xi)統(tong)故障(zhang)時最大限度(du)地減少停機時間和數據丟失(shi)。必要時實現(xian)冗余(yu)(yu)。此外，定(ding)期審計和評估云(yun)基礎設施中生成式人(ren)工智能(neng)系(xi)統(tong)的安全性(xing)。處理漏洞并維護合(he)規(gui)性(xing)。
為人(ren)工(gong)(gong)智(zhi)(zhi)能(neng)的(de)(de)道德使用(yong)(yong)建立指導方(fang)針是個(ge)好主意，尤其是在生成(cheng)式人(ren)工(gong)(gong)智(zhi)(zhi)能(neng)系統(tong)生成(cheng)內容(rong)或做(zuo)出影響用(yong)(yong)戶(hu)的(de)(de)決策時。此外(wai)，還要解決偏見和公平(ping)問題。目前有關于人(ren)工(gong)(gong)智(zhi)(zhi)能(neng)和公平(ping)的(de)(de)訴訟(song)，企業(ye)需要確保在做(zuo)正確的(de)(de)事情。企業(ye)需要持續(xu)評估用(yong)(yong)戶(hu)體(ti)驗，以確保人(ren)工(gong)(gong)智(zhi)(zhi)能(neng)生成(cheng)的(de)(de)內容(rong)符合用(yong)(yong)戶(hu)期望(wang)并提高(gao)參與度。
無(wu)論(lun)企業(ye)是(shi)否使用生成式(shi)人工智能(neng)系(xi)統，云架構的其他方面幾乎(hu)是(shi)相同的。關鍵是(shi)要(yao)(yao)意識(shi)到有些(xie)事情要(yao)(yao)重要(yao)(yao)得(de)多，而且一直改(gai)進云架構。
所以，很多企(qi)(qi)業(ye)正在重新構建(jian)云架(jia)構，同時也在開發生成式人工智能系統(tong)。那么(me)，這些企(qi)(qi)業(ye)需要做些什么(me)改變?新興的(de)最(zui)佳實踐(jian)是(shi)什么(me)?行業(ye)專家表(biao)示，在過去(qu)的(de)20年里，特(te)別是(shi)在過去(qu)的(de)兩年，他(ta)幫(bang)助企(qi)(qi)業(ye)建(jian)立了一些這樣(yang)的(de)平臺，以下是(shi)他(ta)為企(qi)(qi)業(ye)提出的(de)一些建(jian)議：
理解自己(ji)的用例(li)
企業(ye)(ye)坱要(yao)明確定義云架構中(zhong)生(sheng)成式(shi)人(ren)工智(zhi)能的(de)目的(de)和目標。如果看到(dao)一(yi)些錯誤(wu)反復出現，那就是他們(men)沒有理解業(ye)(ye)務系統中(zhong)生(sheng)成人(ren)工智(zhi)能的(de)含義。企業(ye)(ye)需要(yao)了解其目標是什么(me)，無論(lun)是內容生(sheng)成、推(tui)薦系統還是其他應(ying)用(yong)程序。
這(zhe)意味著(zhu)企業高管需要(yao)(yao)就制定(ding)的(de)目(mu)標(biao)達成共識，并且明確如何實現(xian)目(mu)標(biao)，最重要(yao)(yao)的(de)是，如何定(ding)義成功(gong)。這(zhe)并非(fei)只有生成式人工智能才會出現(xian)。而(er)這(zhe)是在每一次遷(qian)移和(he)在云中構(gou)建的(de)新系統(tong)獲得成功(gong)的(de)一步。
很多企(qi)(qi)業在云平臺中開發的(de)生成式(shi)人(ren)工(gong)智能項目(mu)都失敗了，因(yin)為他們沒(mei)有很好(hao)地理解業務用例(li)。雖然企(qi)(qi)業開發的(de)產品(pin)很酷，但不(bu)(bu)會給其業務帶來任(ren)何價值。那么這種方法就會行不(bu)(bu)通。
數(shu)據來源(yuan)和質量(liang)是(shi)關鍵
識別生成式(shi)人工智(zhi)能模型訓(xun)練和推理需要(yao)有效的(de)數據(ju)(ju)來源，必須是可(ke)訪(fang)問的(de)、高(gao)質量的(de)和精心管理的(de)數據(ju)(ju)。企業還必須確保云計算存儲解決方案(an)的(de)可(ke)用性和兼容性。
生成式(shi)人工智能系統(tong)(tong)是(shi)(shi)高度(du)以(yi)數據(ju)(ju)為中心的(de)，可以(yi)稱之(zhi)為數據(ju)(ju)導向系統(tong)(tong)。數據(ju)(ju)是(shi)(shi)驅動生成式(shi)人工智能系統(tong)(tong)產生結果的(de)燃料(liao)。然而，數據(ju)(ju)質(zhi)量(liang)仍然是(shi)(shi)“垃(la)圾進，垃(la)圾出”。
因(yin)此，將(jiang)數據(ju)(ju)可訪問性作(zuo)(zuo)為云(yun)架構的(de)主要驅(qu)動(dong)因(yin)素是(shi)有幫(bang)助的(de)。企業需要將(jiang)大多數相關數據(ju)(ju)作(zuo)(zuo)為訓練數據(ju)(ju)訪問，通(tong)常將(jiang)其(qi)保留在其(qi)存在的(de)位置，而(er)不(bu)是(shi)將(jiang)其(qi)遷移到(dao)單一的(de)物(wu)理(li)(li)實體(ti)。否則，最(zui)終會得到(dao)多余的(de)數據(ju)(ju)，沒有單一的(de)真相來源。考慮在將(jiang)數據(ju)(ju)輸(shu)入人工智能模型之前，對數據(ju)(ju)進行預(yu)處理(li)(li)和(he)清理(li)(li)的(de)高效數據(ju)(ju)管(guan)道。這確(que)保了數據(ju)(ju)質量和(he)模型性能。
使用生成式人(ren)工(gong)智(zhi)能的(de)云架構80%獲得了成功(gong)。然(ran)而，這是最容易被(bei)忽視的(de)因素，因為云架構師更關(guan)注生成式人(ren)工(gong)智(zhi)能系(xi)統的(de)處理，而不是為這些系(xi)統提供高質量的(de)數(shu)據，實際上(shang)，數(shu)據就是一(yi)切。
資(zi)料(liao)保護及(ji)隱私
正如數(shu)據至關重要(yao)一樣(yang)，數(shu)據的(de)安全(quan)性和隱私性也(ye)很重要(yao)。生成式人工智能(neng)處理(li)可以將看似無(wu)意義的(de)數(shu)據轉化為可以暴露敏感信息的(de)數(shu)據。
企業需(xu)要(yao)實施(shi)穩健的數據安全措施(shi)、加密和(he)訪問控制，以保(bao)(bao)護生成人工智能使用的敏感數據和(he)生成人工智能可能產(chan)生的新(xin)數據。企業需(xu)要(yao)遵守(shou)相關的數據隱私(si)法(fa)規。這并不意味著在企業的架構上安裝一些(xie)安全系統(tong)(tong)作為最后保(bao)(bao)障，而是(shi)在每(mei)個(ge)步驟中(zhong)(zhong)都必須將安全性應用到系統(tong)(tong)中(zhong)(zhong)。
可擴展(zhan)性和(he)推(tui)理資源(yuan)
企業(ye)需要規劃可擴(kuo)展的(de)云資(zi)源(yuan)，以適應不(bu)同的(de)工作負載(zai)和數(shu)據處理需求。大(da)多(duo)數(shu)企業(ye)都考慮自動擴(kuo)展和負載(zai)平衡解決方案。而(er)看(kan)到的(de)一個更(geng)嚴重的(de)錯誤是(shi)，構建可擴(kuo)展性(xing)良(liang)好(hao)但成本非常高的(de)系統。最好(hao)是(shi)平衡可擴(kuo)展性(xing)和成本，這是(shi)可以做到的(de)，但需要良(liang)好(hao)的(de)架構和云成本的(de)優(you)化實(shi)踐。
另外，企業需要檢查推理(li)資源。人們已經注意(yi)到(dao)，云計算行業會議上(shang)的(de)許多新(xin)聞都是(shi)圍繞這個主(zhu)題(ti)，而且(qie)有充(chong)分(fen)的(de)理(li)由。選擇合適的(de)帶有GPU或TPU的(de)云實(shi)例進行模型訓(xun)練和推理(li)。而優化資源配置以(yi)實(shi)現成本效益。
考慮模型(xing)選擇
根據(ju)企(qi)(qi)業的具體(ti)用(yong)例(li)(li)和(he)需求選(xuan)擇示例(li)(li)生(sheng)成(cheng)式人工智(zhi)能架(jia)構(通(tong)用(yong)對(dui)抗網絡和(he)Transformers等)。考(kao)慮使用(yong)云服(fu)務(wu)進行模(mo)型訓練(lian)（例(li)(li)如(ru)AWSSageMaker等）并找到(dao)優化的解決方案。這也意(yi)味著理解企(qi)(qi)業可能有許多(duo)連(lian)接的模(mo)型，這將(jiang)是(shi)常態。
企(qi)業需要實現一個健(jian)壯的模(mo)(mo)型部署策略，包括版(ban)本控制(zhi)和(he)容器化，以使企(qi)業的云架構中(zhong)的應(ying)用(yong)程序(xu)和(he)服務可以訪問人工智能模(mo)(mo)型。
監控和日志記錄
設置監控和記錄系統(tong)來跟蹤人(ren)工(gong)智能(neng)模型(xing)的性能(neng)、資源利用(yong)率(lv)和潛在問題是不可(ke)選(xuan)擇的。建立異常警(jing)報機制以及可(ke)觀察性系統(tong)，以處(chu)理云(yun)中生成的人(ren)工(gong)智能(neng)。
此外，持續監控(kong)和優(you)(you)化云資源成(cheng)本(ben)，因為(wei)生成(cheng)式人工智能(neng)可(ke)能(neng)是資源密集(ji)型的(de)。使用(yong)云成(cheng)本(ben)管理工具和實踐(jian)，意味著(zhu)讓云成(cheng)本(ben)優(you)(you)化監控(kong)部署(shu)的(de)所有(you)方面——可(ke)以最小化運營(ying)成(cheng)本(ben)，并提高架構效率(lv)佳。大多數架構都需要調優(you)(you)和持續改進。
其他的考慮因素
需要故障(zhang)轉移和冗余(yu)(yu)來確保高可用性(xing)，災難恢復計劃可以在系(xi)統(tong)故障(zhang)時最大限度(du)地減少停機時間和數據丟失(shi)。必要時實現(xian)冗余(yu)(yu)。此外，定(ding)期審計和評估云(yun)基礎設施中生成式人(ren)工智能(neng)系(xi)統(tong)的安全性(xing)。處理漏洞并維護合(he)規(gui)性(xing)。
為人(ren)工(gong)(gong)智(zhi)(zhi)能(neng)的(de)(de)道德使用(yong)(yong)建立指導方(fang)針是個(ge)好主意，尤其是在生成(cheng)式人(ren)工(gong)(gong)智(zhi)(zhi)能(neng)系統(tong)生成(cheng)內容(rong)或做(zuo)出影響用(yong)(yong)戶(hu)的(de)(de)決策時。此外(wai)，還要解決偏見和公平(ping)問題。目前有關于人(ren)工(gong)(gong)智(zhi)(zhi)能(neng)和公平(ping)的(de)(de)訴訟(song)，企業(ye)需要確保在做(zuo)正確的(de)(de)事情。企業(ye)需要持續(xu)評估用(yong)(yong)戶(hu)體(ti)驗，以確保人(ren)工(gong)(gong)智(zhi)(zhi)能(neng)生成(cheng)的(de)(de)內容(rong)符合用(yong)(yong)戶(hu)期望(wang)并提高(gao)參與度。
無(wu)論(lun)企業(ye)是(shi)否使用生成式(shi)人工智能(neng)系(xi)統，云架構的其他方面幾乎(hu)是(shi)相同的。關鍵是(shi)要(yao)(yao)意識(shi)到有些(xie)事情要(yao)(yao)重要(yao)(yao)得(de)多，而且一直改(gai)進云架構。
- 上一篇：云中的CI/CD管道：云托管如何加速軟件交付 2024/11/8
- 下一篇：強化多功能應用 手機銀行進入普及期 2013/5/21
