生成式人工智能系統(tǒng)測試員尚未形成統(tǒng)一管理標準
專家:建議健全相關(guān)崗位科技倫理管理體系
法治日報全媒體記者 趙麗
法治日報見習(xí)記者 王宇翔
2025年,人力資源和社會保障部在“生成式人工智能系統(tǒng)應(yīng)用員”職業(yè)下新增“生成式人工智能系統(tǒng)測試員”工種,由此,為AI(人工智能)落地把關(guān)的“守門人”擁有了正規(guī)職業(yè)認定。
《法治日報》記者在此前的采訪過程中發(fā)現(xiàn),隨著生成式人工智能合規(guī)測試行業(yè)加速發(fā)展,相關(guān)職業(yè)培訓(xùn)也迅速興起,而講師缺乏實操經(jīng)驗、培訓(xùn)收費高課程價值低等問題也逐步顯現(xiàn)。
受訪專家認為,生成式人工智能系統(tǒng)測試員在人工智能領(lǐng)域的合規(guī)性保障中舉足輕重,因此,該行業(yè)從人才培訓(xùn)到人才監(jiān)管的各個環(huán)節(jié)均應(yīng)受到足夠重視。
中國傳媒大學(xué)媒體融合與傳播國家重點實驗室、計算機與網(wǎng)絡(luò)空間安全學(xué)院教授范永開告訴記者,當(dāng)前,“人+智能工具”已經(jīng)成為一種普遍存在的模式,生成式人工智能系統(tǒng)測試員的專業(yè)工作、倫理敏感度以及創(chuàng)意測試思維,為人工智能的健康、可持續(xù)發(fā)展奠定了堅實的基礎(chǔ)。他們不僅要扮演好把關(guān)者的角色,更要在機器所不具備的人文、道德、價值觀等方面作出合理決策。生成式人工智能系統(tǒng)測試員在職業(yè)發(fā)展過程中,可能面臨數(shù)據(jù)隱私性、知識產(chǎn)權(quán)等方面的困境,這些則關(guān)系到整個AI產(chǎn)業(yè)能否在法治軌道上健康發(fā)展。
中國社會科學(xué)院大學(xué)法學(xué)院副教授、互聯(lián)網(wǎng)法治研究中心主任劉曉春告訴記者,目前針對生成式人工智能系統(tǒng)測試員尚未形成統(tǒng)一、規(guī)范的管理標準。企業(yè)自主開展測試工作時,相關(guān)崗位多為內(nèi)部設(shè)置崗位,行業(yè)層面未建立統(tǒng)一的人員資質(zhì)管理體系。
范永開指出,生成式人工智能系統(tǒng)測試員在工作中面臨的隱私測試標準不清晰、濫用風(fēng)險測試方法不統(tǒng)一、知識產(chǎn)權(quán)歸屬認定標準不明確等問題,根源之一在于缺乏針對這一職業(yè)的法律細則。為此,他建議在相關(guān)法律法規(guī)中明確AI從業(yè)人員的職業(yè)資格管理要求,為認證體系提供上位法依據(jù)。同時,可借鑒其他領(lǐng)域“持證上崗”的經(jīng)驗,對涉及AI安全測試、倫理審查等關(guān)鍵崗位的人員設(shè)定法定從業(yè)門檻。
范永開還提到,應(yīng)以認證考試的方式評估個人是否具備從事生成式人工智能系統(tǒng)測試員相關(guān)工作的資格。通過認證將職業(yè)標準從“紙面規(guī)定”轉(zhuǎn)化為“可驗證的能力評價”。認證考試的設(shè)計應(yīng)遵循“以職業(yè)活動為導(dǎo)向,以專業(yè)能力為核心”的原則,突出核心理論知識、主流技術(shù)及未來發(fā)展要求,同時兼顧規(guī)范性和可操作性。
“具體而言,考試應(yīng)包含理論知識考核和實際操作能力測試兩個部分——理論部分涵蓋AI倫理、法律法規(guī)、數(shù)據(jù)安全等知識模塊,實操部分則通過模擬真實測試場景,考查測試員在隱私風(fēng)險識別、倫理合規(guī)判斷、濫用場景測試等方面的實際能力?!狈队篱_表示。
在他看來,與AI相關(guān)的標準需要建立更新機制,這一機制對生成式人工智能系統(tǒng)測試員尤為重要。AI技術(shù)迭代速度極快,而AI濫用和利用AI進行惡意攻擊的手段也在不斷翻新,測試員需要不斷學(xué)習(xí)新的測試方法和防護策略。
近期,工業(yè)和信息化部、國家發(fā)展改革委、教育部、科技部等十部門聯(lián)合印發(fā)《人工智能科技倫理審查與服務(wù)辦法(試行)》。受訪專家認為,這標志著我國人工智能倫理治理實現(xiàn)了從原則倡導(dǎo)、行業(yè)自律向制度化、程序化、全鏈條、可落地的關(guān)鍵跨越,填補了人工智能領(lǐng)域?qū)iT性倫理審查制度的空白。
范永開認為,綜合現(xiàn)行法律框架和最新出臺的治理規(guī)則,在制度層面可以確立“單位主責(zé)、個人負責(zé)”的責(zé)任體系。單位必須通過設(shè)立倫理委員會、開展培訓(xùn)、建立內(nèi)部制度等方式,將倫理原則轉(zhuǎn)化為對個人的具體行為要求,個人行為通過單位管理機制實現(xiàn)規(guī)范化。此外,可以對密切相關(guān)單位開展人工智能科技倫理管理體系相關(guān)認證,為從業(yè)者提供可供遵循的認證標準和職業(yè)發(fā)展路徑。
同時,在受訪專家看來,對于直接運用生成式人工智能技術(shù)及工具,從事生成式人工智能系統(tǒng)設(shè)計、調(diào)用、訓(xùn)練、優(yōu)化、維護管理等關(guān)鍵環(huán)節(jié)的測試員而言,其所在單位也負有對其進行有效管理和規(guī)范的義務(wù),包括但不限于實施嚴格的崗前培訓(xùn)、制定行為規(guī)范,確保人工智能應(yīng)用的每一步操作都符合法律法規(guī)與倫理要求。
在范永開看來,技術(shù)手段也是規(guī)范從業(yè)人員個人行為的重要抓手。可將區(qū)塊鏈與人工智能相結(jié)合,搭建全鏈路行為審計系統(tǒng),完整留存測試員操作過程中的提示詞輸入、推理過程及工具調(diào)用日志,實現(xiàn)所有操作全程留痕、可溯源、可核查。
范永開建議,行業(yè)從業(yè)者及相關(guān)單位應(yīng)與高校、科研機構(gòu)開展深度合作,把實驗室科研成果在適配場景中落地應(yīng)用。例如研發(fā)AI驅(qū)動的智能合規(guī)審查工具,自動核驗訓(xùn)練數(shù)據(jù)的合法性與安全合規(guī)性;同時對人員操作進行動態(tài)合規(guī)監(jiān)測,一旦出現(xiàn)行為偏離規(guī)范的情況,即刻觸發(fā)預(yù)警并開展介入干預(yù)。
劉曉春認為,亟須建立相關(guān)從業(yè)人員的專業(yè)化培訓(xùn)規(guī)范體系。生成式人工智能系統(tǒng)測試員應(yīng)全面掌握人工智能領(lǐng)域相關(guān)法律法規(guī)、合規(guī)管理要求及技術(shù)標準規(guī)范。從業(yè)人員在開展模型輸出內(nèi)容評價、內(nèi)容引導(dǎo)工作時,需恪守基本職業(yè)倫理,對測試中發(fā)現(xiàn)的違規(guī)風(fēng)險問題及時履行上報義務(wù)。此外,企業(yè)后臺基于真實用戶交互數(shù)據(jù)開展的評測工作,需建立嚴格的隱私信息保護機制,明確從業(yè)人員保密管理要求,構(gòu)建全流程、規(guī)范化的人員管理與作業(yè)管控體系。
編輯:韓煜琛




京公網(wǎng)安備 11010502000576號