企業(yè)專用AI 模型

當(dāng)然，有些商業(yè)生成式AI SaaS產(chǎn)品承諾不使用提交的數(shù)據(jù)來(lái)改進(jìn)其公共模型。但是，并非所有公司都愿意將私人數(shù)據(jù)發(fā)送到他們幾乎無(wú)法控制的cloud 服務(wù)中。某些組織可能受主權(quán)和監(jiān)管合規(guī)性的約束，禁止使用在其他地區(qū)或國(guó)家托管的服務(wù)。

其他可以從私有人工智能模型中受益的公司是那些業(yè)務(wù)需要從頭開始訓(xùn)練自己的法學(xué)碩士模型，或者需要保護(hù)數(shù)據(jù)增強(qiáng)和優(yōu)化的法學(xué)碩士模型，這些模型已經(jīng)針對(duì)特定任務(wù)（例如客戶支持、財(cái)務(wù)咨詢等）進(jìn)行了預(yù)先訓(xùn)練。

構(gòu)建自己的私有生成式AI 和MLOps基礎(chǔ)結(jié)構(gòu)的公司能夠?qū)⑦@些工具的強(qiáng)大功能置于自己的IT控制之下（無(wú)論是在本地還是在私有cloud中），使他們能夠與業(yè)務(wù)需求、合規(guī)性和主權(quán)要求保持一致。這種設(shè)置可確保用于訓(xùn)練、微調(diào)或增強(qiáng)對(duì) LLM的查詢的任何敏感和機(jī)密數(shù)據(jù)都不會(huì)泄露給外部各方。

保護(hù)所有級(jí)別的訪問權(quán)限

Splashtop安全工作區(qū)支持一組豐富的選項(xiàng)來(lái)控制對(duì)任何私有企業(yè)應(yīng)用程序（包括LLM）的訪問。主要功能包括：

單點(diǎn)登錄 （SSO）集成 – 與流行的身份提供商（包括Google、Microsoft、Okta）同步

多因素身份驗(yàn)證(MFA) — 為所有支持SSO 的企業(yè)應(yīng)用程序（包括私有企業(yè)LLM 的聊天界面）的前端和后端用戶啟用強(qiáng)大的身份驗(yàn)證控制。

條件訪問控制-通過(guò)檢查關(guān)鍵合規(guī)性和安全標(biāo)準(zhǔn)（包括地理位置和使用公司發(fā)行的筆記本電腦）來(lái)限制對(duì)應(yīng)用程序的訪問。例如，遵守?cái)?shù)據(jù)主權(quán)規(guī)則的組織可能希望在員工出國(guó)旅行時(shí)阻止訪問私人法學(xué)碩士。

具有委派控制的特權(quán)訪問— Splashtop可以通過(guò)安全地委派指定用于管理企業(yè)應(yīng)用程序中的關(guān)鍵子系統(tǒng)和數(shù)據(jù)的特權(quán)帳戶或服務(wù)帳戶來(lái)控制訪問。對(duì)于 LLM 來(lái)說(shuō)，這允許您控制和跟蹤對(duì)模型本身、矢量或圖形數(shù)據(jù)庫(kù)、非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)庫(kù)或ML 管道的訪問權(quán)限，而不會(huì)不必要地暴露敏感憑據(jù)。

安全的第三方訪問— 我們的平臺(tái)為可能需要臨時(shí)訪問企業(yè)應(yīng)用程序的第三方提供安全的訪問共享。這可能包括需要安全訪問權(quán)限才能進(jìn)行現(xiàn)場(chǎng)故障排除的私有LLM 解決方案提供商。Secure Workspace 可實(shí)現(xiàn)便捷的訪問，同時(shí)完全記錄會(huì)話以用于審計(jì)和合規(guī)目的。

零信任網(wǎng)絡(luò)訪問（ZTNA）— 與授予對(duì)整個(gè)網(wǎng)絡(luò)子網(wǎng)的完全訪問權(quán)限的傳統(tǒng) VPN相比，Splashtop安全工作區(qū)的 ZTNA方法授予對(duì)已批準(zhǔn)資源的精確訪問權(quán)限，從而確保最小的攻擊面。“默認(rèn)拒絕” 方法為企業(yè) LLM 處理高度敏感的數(shù)據(jù)提供了保證。

API 驅(qū)動(dòng)的自動(dòng)化— 致力于自動(dòng)化 和 DevOps 工作流程的公司將欣賞我們的Secure Workspace 平臺(tái)緊密集成和自動(dòng)化的能力。在生成式 AI 環(huán)境中，Splashtop安全工作區(qū)可無(wú)縫融入任何MLOps管道，從而促進(jìn)對(duì)關(guān)鍵資源的自動(dòng)配置訪問以及安全工作區(qū)平臺(tái)本身的自動(dòng)配置，從而最大限度地提高生產(chǎn)力并減少人為錯(cuò)誤。

現(xiàn)在，我們將演示如何使用我們的安全工作空間實(shí)現(xiàn)對(duì)企業(yè)生成式AI 的安全訪問。而且，為了繼續(xù)關(guān)注，你最終會(huì)得到自己的基于 LLM的私人聊天機(jī)器人 ——你自己的個(gè)人 ChatGPT。

如何為你的私人LLM 設(shè)置Secure Workspace

現(xiàn)在，讓我們采取必要的步驟來(lái)保護(hù)對(duì)您自己的私有大型語(yǔ)言模型LLM 的訪問，其中包含Splashtop 安全工作區(qū)。我們的連接器可為您的私有應(yīng)用程序提供安全連接，讓您集中控制訪問權(quán)限。

步驟1：創(chuàng)建連接器并復(fù)制連接器令牌

登錄到您的 Splashtop安全工作區(qū)管理員帳戶。

轉(zhuǎn)到 “部 署” 菜單，選擇“連接器”，然后單擊 “添加連接器”。

選擇Headless/CLI，填寫連接器名稱，然后單擊“下一步”。然后選擇 Linux 并單擊“完成”。

創(chuàng)建連接器后，單擊連接器列表中的連接器名稱以查看詳細(xì)信息。復(fù)制 令牌 以供在下方使用。

步驟2：創(chuàng)建LLM 應(yīng)用程序

將私人 LLM聊天機(jī)器人服務(wù)添加為私有應(yīng)用程序，為您的員工提供此服務(wù)。

導(dǎo)航到 “應(yīng)用程序/應(yīng)用程序”，然后單擊“添加應(yīng)用程序 /添加私有應(yīng)用程序”按鈕。

在表格中填寫應(yīng)用程序名稱，“l(fā)ocalhost”作為 主機(jī) ，“6006”作為端口。

選擇 HTTP 作為協(xié)議，選擇之前創(chuàng)建的連接器名稱，然后為該應(yīng)用程序分配正確的組。單擊 “保存”。

SecureWorkspace 將自動(dòng)為私有LLM 應(yīng)用程序生成完全限定的域名(FQDN)。

步驟3：在cloud中運(yùn)行應(yīng)用

在 LLM-As-Chatbot文件夾中，使用 dstackrun 命令在 cloud中預(yù)配專用 LLM和安全工作區(qū)（ 將$token替換為步驟 1中的連接器令牌）：dstackrun . -f ssw-private-llm.yml $token

此命令將在 cloud中預(yù)配和運(yùn)行 LLM即聊天機(jī)器人，并啟動(dòng)安全工作區(qū)連接器實(shí)例。

一切啟動(dòng)并運(yùn)行后，使用您創(chuàng)建的FQDN 訪問私有LLM。同時(shí)，您可以為此應(yīng)用程序設(shè)置授權(quán)和條件訪問策略。

審核編輯：湯梓紅