2024年政府工作報(bào)告首次提出開(kāi)展“人工智能+”行動(dòng)，明確加快形成以人工智能為引擎的新質(zhì)生產(chǎn)力。過(guò)去十年，我國(guó)人工智能技術(shù)發(fā)展迅猛，已成功應(yīng)用于制造業(yè)、能源、交通運(yùn)輸、金融、教育和醫(yī)療等領(lǐng)域，為“人工智能+”行動(dòng)順利實(shí)施奠定了堅(jiān)實(shí)基礎(chǔ)。“人工智能+”行動(dòng)的實(shí)施，不僅體現(xiàn)出我國(guó)對(duì)人工智能等新一代信息技術(shù)的高度重視，更是對(duì)未來(lái)經(jīng)濟(jì)社會(huì)發(fā)展的深遠(yuǎn)布局，人工智能未來(lái)將在推動(dòng)我國(guó)產(chǎn)業(yè)升級(jí)、促進(jìn)發(fā)展新質(zhì)生產(chǎn)力等方面發(fā)揮出更加重要的作用。

人工智能技術(shù)在推動(dòng)核科學(xué)、核技術(shù)發(fā)展及應(yīng)用方面具有巨大潛能。我國(guó)高度重視和支持核能智能化技術(shù)研發(fā)，科技部“新一代人工智能”重大項(xiàng)目通過(guò)支持建設(shè)新一代人工智能示范應(yīng)用場(chǎng)景，構(gòu)建全鏈條、全過(guò)程的人工智能行業(yè)應(yīng)用生態(tài)。這些示范場(chǎng)景的應(yīng)用不僅提升了各行業(yè)的智能化水平，也為核能領(lǐng)域人工智能技術(shù)的開(kāi)發(fā)應(yīng)用提供了技術(shù)支持和示范效應(yīng)。《“十四五”現(xiàn)代能源體系規(guī)劃》等明確提出推動(dòng)人工智能在核電等領(lǐng)域的應(yīng)用，積極建設(shè)智慧能源系統(tǒng)。當(dāng)前，積極推進(jìn)核能領(lǐng)域人工智能的開(kāi)發(fā)應(yīng)用，落實(shí)“人工智能+”行動(dòng)，走融合發(fā)展的路徑進(jìn)一步明晰。以人工智能賦能核能發(fā)展，必將成為促進(jìn)核能轉(zhuǎn)型升級(jí)的新動(dòng)能、新業(yè)態(tài)。

一、核能領(lǐng)域人工智能的開(kāi)發(fā)應(yīng)用呈現(xiàn)出積極的發(fā)展態(tài)勢(shì)

人工智能技術(shù)在核能領(lǐng)域的應(yīng)用日益廣泛‌，特別是針對(duì)核電廠(chǎng)(NPP)，人工智能應(yīng)用已被廣泛引入，‌核能與人工智能技術(shù)的協(xié)同發(fā)展帶來(lái)顯著的降本增效效果‌。國(guó)際上人工智能應(yīng)用主要集中在核電廠(chǎng)的運(yùn)行和維護(hù)、核燃料循環(huán)管理、核設(shè)施安全監(jiān)測(cè)及智能巡檢與機(jī)器人應(yīng)用等方面。通過(guò)實(shí)時(shí)數(shù)據(jù)分析、異常模式識(shí)別、數(shù)據(jù)可視化等技術(shù)，人工智能能夠顯著提高核電建設(shè)運(yùn)行效率、降低成本，提高運(yùn)行安全性‌。為促進(jìn)核能發(fā)展及開(kāi)發(fā)應(yīng)用人工智能等新技術(shù)，美國(guó)核管制委員會(huì)(NRC)發(fā)布《人工智能戰(zhàn)略計(jì)劃：2023—2027財(cái)年》(NUREG-2261)，涉及使用人工智能技術(shù)的許可申請(qǐng)的審查和批準(zhǔn)等，以進(jìn)一步促進(jìn)核能領(lǐng)域人工智能的開(kāi)發(fā)應(yīng)用。

當(dāng)前，國(guó)內(nèi)核電企業(yè)積極通過(guò)引入AI等先進(jìn)技術(shù)，賦能核能安全發(fā)展。例如，目前已應(yīng)用于核電廠(chǎng)、鈾礦山運(yùn)維等的智能化人機(jī)接口系統(tǒng)、大數(shù)據(jù)壽命預(yù)測(cè)診斷和運(yùn)維支持系統(tǒng)等‌，主要是以人工智能、大數(shù)據(jù)、物聯(lián)網(wǎng)、云技術(shù)等為基礎(chǔ)，強(qiáng)調(diào)技術(shù)與人的深度融合，由機(jī)器替代或輔助人進(jìn)行分析、判斷、決策‌。此外，國(guó)內(nèi)正在開(kāi)展的“核電廠(chǎng)智能化的自主監(jiān)控系統(tǒng)的開(kāi)發(fā)應(yīng)用”等，也是基于數(shù)據(jù)分析、理論建模和實(shí)驗(yàn)設(shè)計(jì)，以及反應(yīng)堆的監(jiān)測(cè)、維護(hù)和優(yōu)化，幫助預(yù)測(cè)和解決潛在的核能建設(shè)運(yùn)行問(wèn)題。這類(lèi)研發(fā)項(xiàng)目，主要是通過(guò)確立基于AI的安全評(píng)估方法、支持操作員做出正常運(yùn)行和事故條件的決策、考慮人與AI應(yīng)用界面的人因工程，開(kāi)發(fā)應(yīng)用適配的智能技術(shù)與軟件、自主運(yùn)行控制系統(tǒng)等，以提高安全性和運(yùn)行效率，降低運(yùn)營(yíng)成本。

中核集團(tuán)開(kāi)發(fā)的智能化核動(dòng)力仿真平臺(tái)(RINSIM2.0)及核能建模與仿真平臺(tái)(NIMOS)等，可應(yīng)用于設(shè)計(jì)驗(yàn)證、操縱員培訓(xùn)、應(yīng)急演練、V&V驗(yàn)證等應(yīng)用需求，具有良好的推廣前景。中廣核福建寧德核電有限公司與浙江大學(xué)合作，共同研發(fā)“云中錦書(shū)”核工業(yè)大語(yǔ)言模型平臺(tái)，已具備知識(shí)庫(kù)管理、專(zhuān)家系統(tǒng)、人因預(yù)測(cè)等功能，計(jì)劃2025年投入生產(chǎn)領(lǐng)域應(yīng)用‌。中核集團(tuán)八所與上海人工智能實(shí)驗(yàn)室聯(lián)合研發(fā)‌‌“龍吟·萬(wàn)界”大模型，是國(guó)內(nèi)首個(gè)核領(lǐng)域數(shù)字生產(chǎn)力平臺(tái)，集大模型智能體的開(kāi)發(fā)、使用、管理于一體，提供算力、核領(lǐng)域大模型、智能體、AI原生應(yīng)用的整體解決方案。此外，小型模塊化反應(yīng)堆(SMR)等新技術(shù)產(chǎn)品的開(kāi)發(fā)和應(yīng)用，也受益于AI在數(shù)據(jù)分析、模擬和優(yōu)化等方面的應(yīng)用，并推動(dòng)AI和核科學(xué)工程仿真等融合發(fā)展。‌

為積極推進(jìn)核能綜合利用，“國(guó)和一號(hào)+”智慧核能綜合利用示范項(xiàng)目、“和氣一號(hào)”核能供汽項(xiàng)目等，在國(guó)家“建設(shè)智慧能源系統(tǒng)”的指引及統(tǒng)籌協(xié)調(diào)下，加強(qiáng)與我國(guó)“新一代人工智能”等重大項(xiàng)目多個(gè)方面的借鑒和互動(dòng)，積極打造集核能供熱、海水淡化、核風(fēng)光儲(chǔ)綜合智慧能源系統(tǒng)、智慧多能管控平臺(tái)等于一體的“核能+”創(chuàng)新發(fā)展模式，進(jìn)一步推動(dòng)了核能的多領(lǐng)域應(yīng)用。

總體看，人工智能在核工程建設(shè)降本增效、提升設(shè)備運(yùn)行維護(hù)質(zhì)量和效率、降低核電全壽期管理成本、提升核能開(kāi)發(fā)利用的功能性等方面，發(fā)揮著越來(lái)越重要的作用。但是，人工智能在核能領(lǐng)域的應(yīng)用也面臨一些風(fēng)險(xiǎn)和挑戰(zhàn)，不僅包括數(shù)據(jù)安全、系統(tǒng)故障、人為錯(cuò)誤和監(jiān)管挑戰(zhàn)等數(shù)字技術(shù)應(yīng)用方面風(fēng)險(xiǎn)，而且包括人工智能應(yīng)用的特有問(wèn)題，涉及與核科學(xué)工程技術(shù)的開(kāi)發(fā)應(yīng)用的融合、人工智能模型資源的優(yōu)化利用，以及安全監(jiān)管和政策法規(guī)不完善等問(wèn)題。在核能領(lǐng)域，人工智能技術(shù)的應(yīng)用需要特別謹(jǐn)慎，必須確保信息安全、決策可靠及合規(guī)性，避免人為因素、監(jiān)管障礙等帶來(lái)的風(fēng)險(xiǎn)。

二、核能領(lǐng)域人工智能開(kāi)發(fā)應(yīng)用的風(fēng)險(xiǎn)不容忽視

2023年首屆人工智能安全全球峰會(huì)簽署的《布萊切利宣言》，強(qiáng)調(diào)了理解和解決人工智能安全問(wèn)題的緊迫性。2024年歐盟發(fā)布《人工智能法案》，基于風(fēng)險(xiǎn)框架，提出全面的人工智能分級(jí)監(jiān)管機(jī)制。美國(guó)也已通過(guò)行政命令，要求評(píng)估人工智能的安全風(fēng)險(xiǎn)。美國(guó)核管會(huì)(NRC)與西南研究所合作，分析了相關(guān)單位利用人工智能相關(guān)規(guī)章制度中的漏洞，認(rèn)為人工智能系統(tǒng)極有可能產(chǎn)生異常輸出等情況，有必要進(jìn)一步探索其安全風(fēng)險(xiǎn)的防護(hù)措施。

(一)數(shù)據(jù)傳輸和處理帶來(lái)的影響可能增加

數(shù)據(jù)是人工智能的基礎(chǔ)，數(shù)據(jù)生成是確保人工智能系統(tǒng)持續(xù)獲取新信息的關(guān)鍵環(huán)節(jié)。然而，人工智能系統(tǒng)的決策可能會(huì)受到數(shù)據(jù)偏見(jiàn)的影響，出現(xiàn)模型偏見(jiàn)和不公平性問(wèn)題，甚至在某些情況下，可能會(huì)因數(shù)據(jù)原因出現(xiàn)錯(cuò)誤或無(wú)法解釋其決策過(guò)程，這可能導(dǎo)致不可預(yù)測(cè)的結(jié)果。這種無(wú)法解釋和失控的風(fēng)險(xiǎn)可能對(duì)決策的可靠性和可信度產(chǎn)生負(fù)面影響‌。而“數(shù)據(jù)投毒”風(fēng)險(xiǎn)不容忽視，若“投毒”傳導(dǎo)到核能傳統(tǒng)系統(tǒng)，可能導(dǎo)致核安全事故;傳導(dǎo)至輿論，一些負(fù)面信息可以更加隱蔽地影響社會(huì)公眾的正確認(rèn)知。

隨著人工智能在核能領(lǐng)域的應(yīng)用，首先，智能設(shè)備如智能監(jiān)測(cè)系統(tǒng)、數(shù)據(jù)分析平臺(tái)等會(huì)收集大量的敏感數(shù)據(jù)，包括核設(shè)施的運(yùn)行狀態(tài)、維護(hù)記錄等。這些數(shù)據(jù)如果被未經(jīng)授權(quán)的人員獲取，可能會(huì)導(dǎo)致核設(shè)施的安全隱患和運(yùn)營(yíng)風(fēng)險(xiǎn)。其次，在核能領(lǐng)域，人工智能系統(tǒng)需要處理和分析大量的實(shí)時(shí)數(shù)據(jù)，任何數(shù)據(jù)的異常或錯(cuò)誤都可能導(dǎo)致錯(cuò)誤的決策，進(jìn)而影響核設(shè)施的安全運(yùn)行。第三，人工智能模型和算法容易被攻擊和竊取，這可能導(dǎo)致核能相關(guān)系統(tǒng)的建設(shè)運(yùn)營(yíng)數(shù)據(jù)和安全策略被泄露，從而影響核能的安全性和穩(wěn)定性。第四，在核能領(lǐng)域使用人工智能技術(shù)時(shí)，同樣可能會(huì)涉及到單位及個(gè)人信息等敏感數(shù)據(jù)。如果這些信息處理不當(dāng)，可能會(huì)導(dǎo)致隱私泄露，帶來(lái)信息安全問(wèn)題。

(二)人工智能系統(tǒng)的安全性評(píng)估有待加強(qiáng)

核能領(lǐng)域人工智能系統(tǒng)的構(gòu)建，可能涉及智能運(yùn)維與故障預(yù)測(cè)‌、智能設(shè)備管理、‌核反應(yīng)堆智能輔助決策及智能安全管理等，助力核能傳統(tǒng)系統(tǒng)的升級(jí)，并通過(guò)對(duì)實(shí)時(shí)數(shù)據(jù)監(jiān)測(cè)、場(chǎng)景模擬及整合物聯(lián)網(wǎng)和大數(shù)據(jù)技術(shù)等，應(yīng)用人工智能技術(shù)和算法，優(yōu)化核技術(shù)開(kāi)發(fā)應(yīng)用的各個(gè)環(huán)節(jié)，提高核設(shè)施建設(shè)運(yùn)行安全、能源生產(chǎn)效率和廢物管理能力等，并助力合規(guī)性問(wèn)題解決‌。但是核能領(lǐng)域人工智能系統(tǒng)通常比傳統(tǒng)系統(tǒng)更復(fù)雜，這可能導(dǎo)致故障模式等更加難以預(yù)測(cè)和理解。而在人工智能系統(tǒng)參與及輔助決策的情況下，一旦發(fā)生事故，出現(xiàn)確定責(zé)任方可能變得復(fù)雜等情況，控制好核能領(lǐng)域人工智能系統(tǒng)的安全問(wèn)題，值得高度重視。

同時(shí)，鑒于人工智能應(yīng)用基于數(shù)學(xué)模型而非物理模型，這使得核能領(lǐng)域人工智能系統(tǒng)的可靠性評(píng)估更加困難，因此使用人工智能應(yīng)用進(jìn)行核電廠(chǎng)設(shè)計(jì)優(yōu)化、自主運(yùn)行和控制以及安全分析需要仔細(xì)證實(shí)，如核電廠(chǎng)智能化的自主監(jiān)控系統(tǒng)的開(kāi)發(fā)應(yīng)用，需要在硬件和系統(tǒng)架構(gòu)、數(shù)據(jù)處理、安全性和效率提升等方面，不斷探索滿(mǎn)足核電建設(shè)安全運(yùn)行要求的智能化軟、硬件技術(shù)，逐步建立技術(shù)驗(yàn)證方法與標(biāo)準(zhǔn)體系, 并在應(yīng)用實(shí)踐中不斷迭代發(fā)展, 實(shí)現(xiàn)智能系統(tǒng)的高可靠性。特別是，目前由于人工智能應(yīng)用使用的算法復(fù)雜，分析涉及大量數(shù)據(jù)，僅通過(guò)傳統(tǒng)的軟件驗(yàn)證和確認(rèn)方法無(wú)法評(píng)估人工智能應(yīng)用程序的可靠性，證明基于人工智能的應(yīng)用程序的故障不會(huì)干擾安全功能是具有挑戰(zhàn)性的。

此外，由于目前在人工智能系統(tǒng)應(yīng)用的安全性評(píng)估方面積累的經(jīng)驗(yàn)不多，美國(guó)等西方國(guó)家在設(shè)計(jì)、計(jì)算等的評(píng)估方面，沒(méi)有專(zhuān)門(mén)針對(duì)人工智能應(yīng)用的指南，我國(guó)法規(guī)也并未明確執(zhí)行計(jì)劃必須由人類(lèi)或人工智能執(zhí)行等情況。

(三)大模型開(kāi)發(fā)利用的監(jiān)管規(guī)范需加強(qiáng)

目前人工智能大模型層出不窮，已經(jīng)成為全球人工智能領(lǐng)域的重要力量。多模態(tài)大模型不僅在文本生成方面表現(xiàn)出色，還在音頻、圖像等多種模態(tài)的處理和生成上取得重要進(jìn)展。這些技術(shù)革新為人工智能大模型在更多領(lǐng)域的應(yīng)用奠定堅(jiān)實(shí)基礎(chǔ)。近年來(lái)，以生成式預(yù)訓(xùn)練大模型為代表的生成式人工智能大模型(簡(jiǎn)稱(chēng)“大模型”)迅猛發(fā)展，并積極投入到大模型賦能的新型應(yīng)用中，但也帶來(lái)前所未有的安全風(fēng)險(xiǎn)。

大模型的算法可能存在缺陷，在處理核能行業(yè)數(shù)據(jù)時(shí)，可能會(huì)因?yàn)閿?shù)據(jù)不完整或存在偏差而導(dǎo)致生成結(jié)果不可控，而一些算法的可解釋性較差，難以追溯和解釋模型的決策過(guò)程，特別是智能體具有自主決策的能力，一旦失控，可能會(huì)對(duì)核能設(shè)施造成不可預(yù)測(cè)的后果。此外，惡意行為者可能利用人工智能的算法模型發(fā)起先進(jìn)的、有針對(duì)性的攻擊，更隱蔽地破壞人工智能系統(tǒng)及其算法模型，而算法模型遭受攻擊風(fēng)險(xiǎn)主要包括模型中毒、數(shù)據(jù)投毒、后門(mén)植入、對(duì)抗攻擊等。

總體看，當(dāng)前全球人工智能監(jiān)管框架尚處初期，缺乏統(tǒng)一有效的協(xié)調(diào)機(jī)制。不同國(guó)家和地區(qū)的監(jiān)管政策差異大，難以對(duì)人工智能在核能領(lǐng)域的應(yīng)用進(jìn)行全面及時(shí)規(guī)范‌。此外，數(shù)字化技術(shù)及人工智能的應(yīng)用需要專(zhuān)業(yè)的技術(shù)支持和維護(hù)團(tuán)隊(duì)。操作人員可能過(guò)于信任人工智能系統(tǒng)，甚至在系統(tǒng)給出錯(cuò)誤建議時(shí)也不知人工干預(yù)。過(guò)度依賴(lài)人工智能可能導(dǎo)致操作人員的技能退化，影響其在緊急情況下的反應(yīng)能力。

三、安全有序推進(jìn)核能領(lǐng)域人工智能開(kāi)發(fā)應(yīng)用的思考與建議

國(guó)務(wù)院發(fā)布的《新一代人工智能發(fā)展規(guī)劃》明確提出，在大力發(fā)展人工智能的同時(shí)，必須高度重視可能帶來(lái)的安全風(fēng)險(xiǎn)挑戰(zhàn)，加強(qiáng)前瞻預(yù)防與約束引導(dǎo)，最大限度降低風(fēng)險(xiǎn)，確保人工智能的安全、可靠、可控發(fā)展。國(guó)務(wù)院安委會(huì)辦公室發(fā)布的《能源電力系統(tǒng)安全生產(chǎn)治本攻堅(jiān)三年行動(dòng)方案(2024—2026年)》明確要求，要結(jié)合人工智能、大數(shù)據(jù)、物聯(lián)網(wǎng)等技術(shù)，持續(xù)加大安全風(fēng)險(xiǎn)監(jiān)測(cè)預(yù)警系統(tǒng)建設(shè)應(yīng)用和升級(jí)改造力度，2026 年底安全生產(chǎn)風(fēng)險(xiǎn)智能化管控能力顯著增強(qiáng)。

為此，核能行業(yè)要按照《全球人工智能治理倡議》及相關(guān)政策文件要求，結(jié)合核能行業(yè)人工智能應(yīng)用的實(shí)際情況，統(tǒng)籌人工智能發(fā)展與安全，保持戰(zhàn)略定力，增強(qiáng)戰(zhàn)略信心，穩(wěn)妥應(yīng)對(duì)各種風(fēng)險(xiǎn)挑戰(zhàn)，在積極穩(wěn)健推進(jìn)核能領(lǐng)域人工智能的開(kāi)發(fā)應(yīng)用的同時(shí)，重點(diǎn)做好核能數(shù)據(jù)安全帶來(lái)的風(fēng)險(xiǎn)影響、人工智能系統(tǒng)的安全性風(fēng)險(xiǎn)，以及算法模型遭受攻擊的風(fēng)險(xiǎn)等的應(yīng)對(duì)工作。

(一)強(qiáng)化數(shù)據(jù)安全帶來(lái)的風(fēng)險(xiǎn)防范

核能領(lǐng)域人工智能的開(kāi)發(fā)應(yīng)用，要充分利用數(shù)據(jù)資源和先進(jìn)技術(shù)，采取‌數(shù)據(jù)驅(qū)動(dòng)的技術(shù)創(chuàng)新和主動(dòng)的數(shù)據(jù)生成策略等方式方法，強(qiáng)化數(shù)據(jù)推動(dòng)技術(shù)迭代升級(jí)，促進(jìn)核能創(chuàng)新發(fā)展。同時(shí)，高度重視數(shù)據(jù)質(zhì)量和安全性等問(wèn)題。為應(yīng)對(duì)數(shù)據(jù)安全帶來(lái)的風(fēng)險(xiǎn)影響，要積極做好核能行業(yè)人工智能數(shù)據(jù)的收集與開(kāi)發(fā)應(yīng)用。

一要需確保內(nèi)容不涉及違法、不良信息。建立內(nèi)容審查機(jī)制，防止生成虛假信息、侵權(quán)內(nèi)容等，在數(shù)據(jù)交易協(xié)議中，要求提供方對(duì)數(shù)據(jù)的合法來(lái)源和處理行為進(jìn)行保證，并避免因內(nèi)容生成引發(fā)法律糾紛;

二要開(kāi)展數(shù)據(jù)標(biāo)注及清洗，保證模型訓(xùn)練階段的數(shù)據(jù)的透明性、可解釋性及公平性。這包括制定標(biāo)注準(zhǔn)則、開(kāi)展核能行業(yè)人工智能數(shù)據(jù)標(biāo)注質(zhì)量評(píng)估、抽樣核驗(yàn)等，處理好仿真數(shù)據(jù)與實(shí)際數(shù)據(jù)等關(guān)系;

三要建立嚴(yán)格的數(shù)據(jù)管理機(jī)制，明確‌數(shù)據(jù)可用性限制，并加強(qiáng)“數(shù)據(jù)投毒”檢測(cè)與防御方法的研究與創(chuàng)新，采用聯(lián)邦學(xué)習(xí)等可信的人工智能技術(shù)，通過(guò)模塊化設(shè)計(jì)，加強(qiáng)多樣化、冗余和隔離系統(tǒng)的優(yōu)化、軟件輸入和輸出的控制及監(jiān)控等措施，避免不利影響‌;

四要建立用戶(hù)個(gè)人信息保護(hù)制度，提高員工對(duì)數(shù)據(jù)安全重要性的認(rèn)識(shí)，嚴(yán)格遵守相關(guān)規(guī)定‌，并確保用戶(hù)知情權(quán)、選擇權(quán)等;

五要完善核安全監(jiān)管和應(yīng)急機(jī)制，加強(qiáng)核能領(lǐng)域人工智能開(kāi)發(fā)應(yīng)用的安全監(jiān)管，建立健全數(shù)據(jù)安全事件應(yīng)急響應(yīng)機(jī)制，強(qiáng)化數(shù)據(jù)泄露、設(shè)備故障、網(wǎng)絡(luò)攻擊等安全防范，并注意消除負(fù)面因素的影響。

(二)加強(qiáng)人工智能系統(tǒng)的安全風(fēng)險(xiǎn)主動(dòng)防御

隨著人工智能技術(shù)的廣泛應(yīng)用，‌技術(shù)進(jìn)步推動(dòng)了核能與人工智能系統(tǒng)的結(jié)合，而人工智能系統(tǒng)的優(yōu)化也促進(jìn)了核能技術(shù)進(jìn)步。人工智能安全涉及數(shù)據(jù)安全、算法安全、系統(tǒng)安全、網(wǎng)絡(luò)安全等多個(gè)方面，旨在確保人工智能系統(tǒng)的安全、可靠和可控。核能行業(yè)人工智能技術(shù)應(yīng)用系統(tǒng)，要加強(qiáng)包括被動(dòng)防御和主動(dòng)防御兩大類(lèi)的安全防護(hù)措施。原則上要將人工智能系統(tǒng)與核能其他系統(tǒng)隔離，以降低安全風(fēng)險(xiǎn)，并更加注重預(yù)測(cè)和識(shí)別潛在的安全威脅，通過(guò)持續(xù)監(jiān)控和分析系統(tǒng)行為來(lái)及時(shí)發(fā)現(xiàn)并響應(yīng)異常活動(dòng)。

在核能行業(yè)人工智能系統(tǒng)的安全研究發(fā)展中，建議以自適應(yīng)和智能化的安全防護(hù)系統(tǒng)、隱私保護(hù)技術(shù)的創(chuàng)新、人工智能對(duì)抗性攻防技術(shù)的提升、人工智能安全評(píng)估與認(rèn)證體系的完善，以及跨領(lǐng)域合作與技術(shù)創(chuàng)新為重點(diǎn)。為提升人工智能系統(tǒng)的安全性，核能行業(yè)可加強(qiáng)核能行業(yè)外專(zhuān)業(yè)化企業(yè)合作，合作研究實(shí)施核能行業(yè)人工智能技術(shù)應(yīng)用的安全整體應(yīng)對(duì)方案，包括核能行業(yè)人工智能安全框架，以及基于安全框架下的人工智能安全解決方案、人工智能評(píng)估服務(wù)和安全檢測(cè)工具等，幫助核能企業(yè)提前洞察風(fēng)險(xiǎn)并采取應(yīng)對(duì)措施。

要加強(qiáng)核能行業(yè)人工智能技術(shù)應(yīng)用安全運(yùn)行的經(jīng)驗(yàn)反饋。注意在經(jīng)驗(yàn)反饋的基礎(chǔ)上，依據(jù)相關(guān)法規(guī)要求，在核能行業(yè)人工智能系統(tǒng)的設(shè)計(jì)、計(jì)算、建設(shè)運(yùn)行等的評(píng)估方面，逐步建立健全專(zhuān)門(mén)針對(duì)核能行業(yè)人工智能系統(tǒng)應(yīng)用的指南，注重集成化工作流程與嵌入式系統(tǒng)的開(kāi)發(fā)研究，以應(yīng)對(duì)復(fù)雜多變的工作環(huán)境，并同步制定相關(guān)法規(guī)標(biāo)準(zhǔn)，明確系統(tǒng)的操作執(zhí)行計(jì)劃是由人類(lèi)或人工智能執(zhí)行等。

為了確保人工智能系統(tǒng)的安全，需要重點(diǎn)限制由傳統(tǒng)系統(tǒng)控制的軟件輸入和輸出。一是確保核能領(lǐng)域人工智能系統(tǒng)的訓(xùn)練、測(cè)試和正式部署階段在隔離環(huán)境中運(yùn)行;二是對(duì)人工智能實(shí)施技術(shù)限制，并‌加強(qiáng)監(jiān)控，確保監(jiān)控系統(tǒng)的有效性;三是對(duì)人工智能系統(tǒng)的代碼和參數(shù)進(jìn)行加密和保護(hù)，防止被黑客盜走或?yàn)E用等;四是在模塊化層面上應(yīng)用人工智能技術(shù)，或?qū)⑾到y(tǒng)劃分為具有“明確功能”的“較小、獨(dú)立的模塊”，盡量將任何問(wèn)題或錯(cuò)誤局限在問(wèn)題模塊之內(nèi)，避免對(duì)整個(gè)系統(tǒng)運(yùn)行的總體功能造成不利影響;五是加對(duì)人工智能系統(tǒng)等的持續(xù)監(jiān)控，防止核能設(shè)備故障和維護(hù)系統(tǒng)完整性，同時(shí)檢測(cè)和應(yīng)對(duì)潛在的異常情況。

人工智能技術(shù)應(yīng)用安全需要全社會(huì)共同努力。建議國(guó)家安全部門(mén)繼續(xù)發(fā)揮能力優(yōu)勢(shì)，確保核能行業(yè)人工智能系統(tǒng)本身的安全性，實(shí)施“多樣化、冗余和隔離的系統(tǒng)”，以最大限度地減少意外行動(dòng)，并積極利用人工智能用于安全防護(hù);相關(guān)監(jiān)管機(jī)構(gòu)需要對(duì)核能行業(yè)人工智能系統(tǒng)的潛在風(fēng)險(xiǎn)與影響保持持續(xù)關(guān)注，在制度和法規(guī)上及時(shí)提供支持;核能行業(yè)相關(guān)企業(yè)、機(jī)構(gòu)要加強(qiáng)合作，及時(shí)研究部署人工智能安全框架和統(tǒng)一解決方案，以及人工智能安全評(píng)估服務(wù)和檢測(cè)工具等，并可依托人工智能推動(dòng)安全升級(jí);核能行業(yè)的網(wǎng)絡(luò)用戶(hù)在嘗試最新人工智能應(yīng)用的同時(shí)，同樣需要更新安全知識(shí)，形成良好的安全習(xí)慣。

(三)協(xié)同優(yōu)化人工智能大模型選擇‌與安全高效的開(kāi)發(fā)利用

目前，大模型正迅速成為智能化時(shí)代的基礎(chǔ)底座，已經(jīng)被廣泛應(yīng)用于無(wú)人機(jī)、機(jī)器人等領(lǐng)域的自動(dòng)控制等，成為包括工控設(shè)備在內(nèi)的各類(lèi)物理系統(tǒng)的“神經(jīng)中樞”。而如今隨著大模型項(xiàng)目需求不斷增長(zhǎng)，各類(lèi)開(kāi)源框架也層出不窮。這些框架極大提升了開(kāi)發(fā)效率，降低了構(gòu)建人工智能應(yīng)用的門(mén)檻，同時(shí)也打開(kāi)了新的攻擊面，導(dǎo)致系統(tǒng)或應(yīng)用安全風(fēng)險(xiǎn)增加。在大模型基礎(chǔ)設(shè)施屬性日益凸顯的智能時(shí)代，沒(méi)有大模型的安全，就無(wú)法保障大模型技術(shù)和賦能相關(guān)產(chǎn)業(yè)的健康快速發(fā)展。

當(dāng)前，大模型安全已成為全球共識(shí)，并成為大國(guó)科技競(jìng)爭(zhēng)的重要制高點(diǎn)。我國(guó)發(fā)布《生成式人工智能服務(wù)管理暫行辦法》，提出促進(jìn)創(chuàng)新和依法治理相結(jié)合的監(jiān)管原則，以支持生成式人工智能大模型等的安全發(fā)展。在核能領(lǐng)域，首先，在智能審查、知識(shí)庫(kù)管理、智能設(shè)備管理、智慧運(yùn)維支持、數(shù)字孿生、虛擬現(xiàn)實(shí)、智能安全管理‌等應(yīng)用領(lǐng)域，選用人工智能大模型，必須選擇安全性、經(jīng)濟(jì)性好的大模型，如‌DeepSeek大模型‌，能通過(guò)動(dòng)態(tài)稀疏計(jì)算、層級(jí)化MoE架構(gòu)和量子糾纏啟發(fā)的參數(shù)共享等技術(shù)，并與自主可控的算力芯片等硬件相適配，在處理復(fù)雜的核能研發(fā)、生產(chǎn)、經(jīng)營(yíng)管理等相關(guān)任務(wù)過(guò)程中，降低算力需求‌。這些大模型，不僅要與業(yè)務(wù)場(chǎng)景匹配，具備‌數(shù)據(jù)質(zhì)量好、可解釋性強(qiáng)等特點(diǎn)，以實(shí)現(xiàn)高參數(shù)、高性能等技術(shù)優(yōu)勢(shì)和安全要求，還必須能節(jié)約‌算力資源，通過(guò)優(yōu)化軟硬件的使用，并基于自主可控芯片的智算中心，在保證安全高效性能的同時(shí)降低總體成本。

建議核能領(lǐng)域人工智能大模型滿(mǎn)足以下要求：一是可通過(guò)大量的數(shù)據(jù)訓(xùn)練、深度學(xué)習(xí)，具備強(qiáng)大的學(xué)習(xí)能力和表征能力，并能確保大模型的使用過(guò)程中的數(shù)據(jù)安全和系統(tǒng)安全。二是可通過(guò)模型優(yōu)化、參數(shù)共享、并行策略、網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化、有效訓(xùn)練率提升、動(dòng)態(tài)資源分配等手段提升集群綜合利用率，推動(dòng)大模型行業(yè)“降本”趨勢(shì)的加速推進(jìn)。三是可不斷豐富和發(fā)展相關(guān)大模型標(biāo)準(zhǔn)化專(zhuān)業(yè)語(yǔ)料庫(kù)等，以提高模型的性能和泛化能力，促進(jìn)適應(yīng)各種應(yīng)用場(chǎng)景的技術(shù)創(chuàng)新，解決核能發(fā)展面臨的知識(shí)管理不足、低腦力勞動(dòng)過(guò)多、安全分析能力有待增強(qiáng)等挑戰(zhàn)。四是可應(yīng)用于智能審查、安全性評(píng)估、故障診斷與預(yù)測(cè)、優(yōu)化運(yùn)行與管理、輔助設(shè)計(jì)與模擬等多個(gè)方面，其研發(fā)和應(yīng)用要可驗(yàn)證、安全可控，能接受監(jiān)管部門(mén)的監(jiān)督，確保其決策過(guò)程和結(jié)果可靠，能持續(xù)提升核能領(lǐng)域的整體效率和安全性，推動(dòng)核能守正創(chuàng)新發(fā)展。

其次，要重點(diǎn)加強(qiáng)相關(guān)人工智能大模型受攻擊風(fēng)險(xiǎn)的應(yīng)對(duì)措施。通過(guò)基于魯棒訓(xùn)練等的防御方法和基于數(shù)據(jù)增強(qiáng)的防御方法，提高模型的抗干擾能力，并定期更新和重新訓(xùn)練模型以有效應(yīng)對(duì)對(duì)抗攻擊。此外，要通過(guò)建立完善安全檢測(cè)、監(jiān)督機(jī)制，加強(qiáng)對(duì)大模型開(kāi)發(fā)及其使用過(guò)程的監(jiān)管，及時(shí)發(fā)現(xiàn)和處理潛在的惡意代碼和攻擊行為等‌。‌‌

人工智能與大模型本身伴隨著安全風(fēng)險(xiǎn)，目前對(duì)潛在影響的研究與重視程度仍遠(yuǎn)遠(yuǎn)不足，需要制定相關(guān)的法律法規(guī)和倫理規(guī)范，明確大模型的使用范圍和責(zé)任主體，加大投入，搶占人工智能安全科技制高點(diǎn)，突破大模型安全關(guān)鍵技術(shù)，并合理規(guī)劃大模型等的資源分配及未來(lái)必要時(shí)選擇性關(guān)閉自主開(kāi)發(fā)大模型的部分技術(shù)。同時(shí)，加快大規(guī)模集群技術(shù)的研發(fā)，并強(qiáng)化其靈活性和擴(kuò)展性，助力人工智能安全有序、集群化發(fā)展。此外，鑒于大模型所面對(duì)的安全威脅，可從模型層、框架層、應(yīng)用層三個(gè)層面持續(xù)深入探索。以大模型為重要支撐的人工智能生態(tài)擁有巨大發(fā)展?jié)摿Γ谫x予人工智能更多能力的同時(shí)，也應(yīng)將更多精力投入在人工智能的安全之上，確保整個(gè)系統(tǒng)可信、可靠、可控。

當(dāng)今世界正處于人工智能發(fā)展的新時(shí)代，核能要為我國(guó)人工智能技術(shù)的普及和應(yīng)用領(lǐng)域不斷擴(kuò)展作出應(yīng)有的貢獻(xiàn)。為此，建議“新一代人工智能”專(zhuān)項(xiàng)加強(qiáng)對(duì)“智能核能系統(tǒng)”研究開(kāi)發(fā)的支持，同時(shí)實(shí)施產(chǎn)教融合策略，并鼓勵(lì)核能行業(yè)成立跨行業(yè)共同體，積極參與國(guó)際、國(guó)內(nèi)相關(guān)規(guī)則的研究制定，完善核能安全治理體系,優(yōu)化核能領(lǐng)域人工智能開(kāi)發(fā)應(yīng)用的操作規(guī)范標(biāo)準(zhǔn)及相關(guān)人員的專(zhuān)業(yè)培訓(xùn)，不斷壯大“AI+核能安全”領(lǐng)域的實(shí)戰(zhàn)型、復(fù)合型人才隊(duì)伍，促進(jìn)國(guó)家智慧能源系統(tǒng)建設(shè)，積極發(fā)揮核能發(fā)展在保障能源安全轉(zhuǎn)型、實(shí)現(xiàn)“雙碳”目標(biāo)、引領(lǐng)工業(yè)科技變革和推動(dòng)新質(zhì)生產(chǎn)力發(fā)展等方面的重要作用。

免責(zé)聲明：本網(wǎng)轉(zhuǎn)載自合作媒體、機(jī)構(gòu)或其他網(wǎng)站的信息，登載此文出于傳遞更多信息之目的，并不意味著贊同其觀點(diǎn)或證實(shí)其內(nèi)容的真實(shí)性。本網(wǎng)所有信息僅供參考，不做交易和服務(wù)的根據(jù)。本網(wǎng)內(nèi)容如有侵權(quán)或其它問(wèn)題請(qǐng)及時(shí)告之，本網(wǎng)將及時(shí)修改或刪除。凡以任何方式登錄本網(wǎng)站或直接、間接使用本網(wǎng)站資料者，視為自愿接受本網(wǎng)站聲明的約束。