微軟數(shù)據(jù)安全、隱私和合規(guī)總經(jīng)理Herain Oberoi稱，圍繞AI和安全開展的工作“對于合作伙伴來說是一個巨大的機會”——尤其是在幫助客戶了解AI風險、構建解決這些風險的應用、以及圍繞新攻擊面構建儀表板和報告等領域。
Oberoi在接受采訪時強調了這些方法，認為這些方法可以幫助首席信息安全官(CISO)和類似的領導角色與公司董事會和CEO進行溝通，從而快速推動AI創(chuàng)新。
對于那些客戶不太愿意采用AI產(chǎn)品的解決方案提供商，Oberoi的建議是關注在客戶競爭之后進入AI實驗階段并進一步落后的風險。
“我們承認這(AI)具有極大的破壞性，”O(jiān)beroi說。“而降低風險的一個簡單方法就是，你不需要在生產(chǎn)中推廣。但如果你不嘗試，你就沒有學習。如果你坐在場邊看著別人做實驗，你的學習機會只會更少。通過觀察別人，你能學到的東西是有限的。真正的學習來自于實踐。”
總部位于紐約的解決方案提供商Troinet公司首席執(zhí)行官Wayne Roye在最近的一次采訪中表示，最近他和客戶探討了安全和AI策略是專注于數(shù)據(jù)治理。
對于Roye來說，數(shù)據(jù)治理更具主動性，解決了“AI可能接觸和看到我(客戶)可能不知道的信息。”
Oberoi談到了微軟幾個值得信賴的AI計劃所涉及的領域，對于這家位于華盛頓州雷德蒙德的科技巨頭擁有40萬成員的生態(tài)系統(tǒng)解決方案提供商來說，這些領域尤為重要。
微軟最近幾天宣布推出了AI產(chǎn)品組合的各種安全更新，包括針對Copilot+ PC Recall功能的新安全架構、Azure AI Content Safety中用于實時修復幻覺問題的校正功能。
值得注意的是，去年Oberoi重返微軟，擔任了目前的職務。此前，他在競爭對手Okta公司擔任營銷和戰(zhàn)略高級副總裁約一年時間，在云計算競爭對手AWS擔任數(shù)據(jù)庫、分析和區(qū)塊鏈營銷總經(jīng)理約四年時間。
根據(jù)Oberoi在微軟旗下社交媒體網(wǎng)絡LinkedIn的賬戶顯示，之前他在微軟任職約12年，2017年離職時擔任的是微軟大數(shù)據(jù)和機器學習產(chǎn)品組合(包括Azure機器學習)產(chǎn)品營銷高級總監(jiān)。
以下是Oberoi關于給AI數(shù)據(jù)安全合作伙伴帶來機會的更多觀點。
您給微軟安全解決方案提供商在AI安全方面的建議是什么?
我們和我們的合作伙伴共同都有巨大的機會為這個領域的客戶提供幫助。這是一個相對較新的領域，每周都在發(fā)生變化。……我會說，在某種程度上，我們感到有責任盡可能地提供框架和最佳實踐。
在某些情況下，我們還需要提供工具和功能來幫助合作伙伴和客戶?！壳埃蠹叶荚诓渴鸹蛑辽僭谠u估AI。因此，AI在組織中發(fā)揮作用的方式是，董事會會問CEO，“你的AI策略是什么?你將如何顛覆或者重塑?”
然后CEO會關注高管層。在我的領域，在高管層中，我們會與首席安全官進行交談。
在某些情況下，他們還要為更廣泛的風險負責。因此，他們試圖理解……我該如何界定風險?他們不想被視為說“不”的人，他們想成為推動者。
因此，我們一直在嘗試通過這項“值得信賴的AI”計劃，開始幫助CISO以及風險領導者理解，我們如何看待風險?
關于可信賴的AI計劃，合作伙伴應該了解哪些信息?
這個計劃實際上包含兩個部分，包含了我們作為一家公司在構建AI系統(tǒng)時做出的承諾，這是我們的AI系統(tǒng)是安全的、私密的原因。
這些承諾包括了我們在“Secure Future Initiative”中所討論的內容，例如我們的隱私原則，我們說，您的數(shù)據(jù)是您的數(shù)據(jù)，我們永遠不會使用您的數(shù)據(jù)來訓練我們的基礎模型——諸如此類。
然后還有負責任的AI原則，其中包括安全、防止有害內容、偏見等。
因此，我們做出的承諾和我們?yōu)榭蛻籼峁┑墓δ?，在這個背景下思考問題，以便他們可以對他們構建的應用做同樣的事情——這很有幫助。
聽起來這項計劃對合作伙伴來說是一個機會?
在(該計劃的)所有領域，我們的合作伙伴都有機會，幫助客戶了解風險，然后開發(fā)應用幫助客戶以非常非常具體的方式處理這些風險，這些方面都是有機會的。
接下來談談安全性……當我們考慮組織必須考慮的一些安全風險時——顯然，數(shù)據(jù)安全、治理、合規(guī)性等問題經(jīng)常出現(xiàn)——AI應用本質上是非常以數(shù)據(jù)為中心的。
我喜歡幫助客戶構建框架，是因為如果你考慮安全方面，現(xiàn)有的攻擊面包括你的應用、你的數(shù)據(jù)、你的端點、你的網(wǎng)絡、你的云。
因此，你有產(chǎn)品和功能可以提供針對這些不同攻擊面的安全性。隨著AI系統(tǒng)的出現(xiàn)，就有了新的攻擊面是你須考慮到的。
比如AI模型本身、實際的提示和響應，內容中是否包含敏感信息，都必須考慮……像LangChain這樣的編排框架。
因此，如果是安全態(tài)勢管理方面，你的LangChain版本中是否包含任何漏洞?我怎么知道呢?
然后是數(shù)據(jù)本身。你用來訓練模型的數(shù)據(jù)、用來微調模型的數(shù)據(jù)、用來為模型打下基礎以防止幻覺的數(shù)據(jù)，所有這些數(shù)據(jù)都是你必須保護的。
因此，你看到新型的攻擊是提示和響應中的提示注入攻擊、越獄嘗試或數(shù)據(jù)中毒……這些例子都是我們正在考慮的風險類型。
合作伙伴應該如何看待AI監(jiān)管環(huán)境?
很多新法規(guī)即將出臺，例如在EMEA(歐洲、中東和非洲)實施的歐盟AI法案。
在美國，有更多的NIST(美國國家標準與技術研究所，隸屬于美國商務部)AI風險管理框架?！缓?，正如我之前所說，這些法規(guī)正在發(fā)生變化。
因此，客戶會說，幫我跟上法規(guī)的變化。我怎么知道我今天構建的系統(tǒng)將來是否符合法規(guī)?……我們(微軟)承認，這就是關于如何考慮風險的問題。
這就是關于如何將其分類，以便你可以掌握它。然后說，我們想要采取方法解決這個問題……我們試圖在這方面進行規(guī)范。
你必須考慮——有一個準備階段，然后是圍繞風險的發(fā)現(xiàn)階段，然后是保護和治理階段。我想說準備和發(fā)現(xiàn)是連續(xù)的，但保護和治理是相輔相成的。
有所準備，意味著，你是否已經(jīng)完成了全面的身份和身份治理方面的工作和控制。像Entra(以前稱為Microsoft Azure Active Directory或Azure AD)這樣的產(chǎn)品就是我們用來解決這個問題的功能之一。
或者我們經(jīng)常看到的一個問題，你是否已經(jīng)考慮過數(shù)據(jù)分類和標記?元數(shù)據(jù)管理呢?血統(tǒng)，所有這些。...這就是微軟數(shù)據(jù)丟失預防工具Purview所實現(xiàn)的功能。
合作伙伴在發(fā)現(xiàn)、保護和治理階段發(fā)揮怎樣的作用?
發(fā)現(xiàn)意味著，我是否可以看到組織中使用的AI應用?我是否可以看到通過組織中這些AI應用的提示和響應共享的敏感數(shù)據(jù)?然后誰可以訪問什么?
因此，即使只是了解共享了多少數(shù)據(jù)并具有這種可見性?！@對合作伙伴來說是一個巨大的機會，因為合作伙伴找到我們說，我們一直在為客戶構建儀表板，以便他們能夠發(fā)現(xiàn)和了解哪些敏感數(shù)據(jù)處于危險之中，或者哪些應用正在使用中。
一旦我們向他們展示這種儀表板，他們就會看到風險，就無法忽視風險，必須采取行動。因此，一旦你必須采取行動，就可以開始分解問題并真正取得進展。
合作伙伴在這里發(fā)揮著關鍵作用，因為你可以通過多種不同方式構建特定領域或特定行業(yè)的自定義報告或自定義儀表板，幫助組織內的領導者了解：我所關注的風險面有多大?
然后是保護和治理階段。保護包括以下內容：現(xiàn)在你正在制定數(shù)據(jù)丟失預防、策略和控制等政策，正在為數(shù)據(jù)安全態(tài)勢管理設置控制，以了解我的配置中是否存在漏洞。
你正在采取威脅防護等措施，但會把威脅防護擴展到AI工作負載，以防范諸如提示注入、越獄等問題。
最后，在治理方面，例如，我們在Purview中提供了我們稱為合規(guī)管理器的功能，你可以在其中根據(jù)特定法規(guī)進行自我評估，查看自己在特定法規(guī)方便的合規(guī)性如何。
然后它會給你提供一些建議，以及你需要采取的后續(xù)步驟，以改善你的合規(guī)性分數(shù)。因此，引入歐盟AI法案、NIST AI風險管理框架等法規(guī)，都是我們一直在做的事情，為了確保產(chǎn)品中的監(jiān)管支持包括了AI領域正在發(fā)生的所有最新的和最大的變化。
能告訴我一些關于儀表板的更多信息嗎?
儀表板實際上是……我們對安全態(tài)勢管理和數(shù)據(jù)安全態(tài)勢管理看法的一種延伸。
因此，數(shù)據(jù)安全態(tài)勢管理不僅限于AI。……但你可以深入研究，好的，告訴我生成式AI應用的具體提示和響應。
告訴我，里面有害內容嗎?或者里面有敏感數(shù)據(jù)嗎?像Defender for Cloud(微軟的云安全態(tài)勢管理(CSPM)、云工作負載保護(CWP)和開發(fā)運營(DevOps)安全工具)這樣的工具讓客戶能夠看到我的任何應用的風險。
它不一定是AI應用程序。但是現(xiàn)在你可以具體深入研究，例如對于生成式AI應用，我可能還有其他風險因素，我認為這些因素可能會改變這些應用的風險評分。...我們可以將現(xiàn)有產(chǎn)品擴展到AI工作負載，因為這樣做很容易。
但是，回到我之前的觀點，在某些情況下，你會遇到新的攻擊面，針對這些新的威脅載體，我們正在構建全新的功能。...在過去的一年里，我們推出了大量功能，首先就是針對Microsoft 365的Copilot。
從合作伙伴的角度來看，很多與Purview相關的M365 Copilot，現(xiàn)在擴展到了自定義AI應用上比如Azure、Azure AI、Azure OpenAI。
這兩個領域都是我們擴展現(xiàn)有控件、構建更多控件的方面，然后可見性部分實際上是給了他們一個起點。
如果客戶表示采用AI還為時過早，他們希望先看到變化速度穩(wěn)定下來，那么對于解決方案提供商，您有什么建議嗎?
在微軟，我們有強大的成長心態(tài)企業(yè)文化，這意味著，如果你不進行試驗和失敗，就無法從中學習。...我們承認這(AI)具有極大的顛覆性。
降低風險的一種簡單方法是，你不需要在生產(chǎn)中推廣。但是，如果你不進行試驗，就無法從中學習。如果你坐在場邊看著別人試驗，你學習機會就越來越少。通過觀察別人，你只能學到這么多。真正的學習來自實踐。
坦率地說，我不知道我是否遇到過沒有進行某種試驗的客戶。其中一部分原因是，當你進行試驗時，你會了解它，你也會更好地控制風險。
這更像是一個功能——你想以多快的速度行動起來?在你所在的行業(yè)中，即使這個行業(yè)在歷史上可能不是一個技術領先的行業(yè)。
我曾與一家礦業(yè)公司的CISO進行了溝通……他面臨的挑戰(zhàn)之一是，我們開發(fā)的技術應該在那些重型機械中使用50年，所以這些技術的發(fā)展速度不會那么快。
但即使在這種情況下，他們也在研究AI，他們會問，我如何超越我今天所做的事情?我肯定會鼓勵他們進行試驗，主要是從這樣的角度來看，如果你不做，你就不會學到東西。失敗是這個過程的其中一部分。
鑒于技術和監(jiān)管環(huán)境變化如此之快，您會猶豫是否要使用“面向未來”一詞來形容AI嗎?
我實際上并不使用面向未來這個詞，其中一部分原因是我們不知道未來會是什么樣子?！憧梢詫φ麄€事情持樂觀態(tài)度，也可以持悲觀態(tài)度。
顯然，在微軟，我們是非常樂觀的。而且……我們認為這可以真正地推動以前沒有變革的領域發(fā)生變革，甚至可以增加國家的國內生產(chǎn)總值。
但為了實現(xiàn)這一點，我們的心態(tài)應該更多的是學習、試驗和創(chuàng)造，而不是恐懼和冒險。降低風險這個部分極其重要，這是我們在芯片和安全方面的工作重點。但真的……我們如何在這種可能改變游戲規(guī)則的推動力方面成為推動者?其中一種方法就是開始使用它并從中學習。