為進(jìn)一步規(guī)范糖尿病視網(wǎng)膜病變眼底圖像輔助診斷軟件的管理，國(guó)家藥監(jiān)局器審中心組織制定了《糖尿病視網(wǎng)膜病變眼底圖像輔助診斷軟件注冊(cè)審查指導(dǎo)原則》，并于2022年6月2日發(fā)布。
為進(jìn)一步規(guī)范糖尿病視網(wǎng)膜病變眼底圖像輔助診斷軟件的管理，國(guó)家藥監(jiān)局器審中心組織制定了《糖尿病視網(wǎng)膜病變眼底圖像輔助診斷軟件注冊(cè)審查指導(dǎo)原則》，并于2022年6月2日發(fā)布。
糖尿病視網(wǎng)膜病變眼底圖像輔助診斷軟件注冊(cè)審查指導(dǎo)原則
本指導(dǎo)原則是對(duì)糖尿病視網(wǎng)膜病變眼底圖像輔助診斷軟件的一般要求，申請(qǐng)人應(yīng)依據(jù)產(chǎn)品的具體特性確定其中的內(nèi)容是否適用。若不適用，需具體闡述其理由及相應(yīng)的科學(xué)依據(jù)，并依據(jù)具體的產(chǎn)品特性對(duì)注冊(cè)申報(bào)資料的內(nèi)容進(jìn)行充實(shí)和細(xì)化。
本指導(dǎo)原則是供注冊(cè)申請(qǐng)人和技術(shù)審評(píng)人員使用的指導(dǎo)性文件，但不包括注冊(cè)審批所涉及的行政事項(xiàng)，亦不作為法規(guī)強(qiáng)制執(zhí)行，應(yīng)在遵循相關(guān)法規(guī)的前提下使用本指導(dǎo)原則。如果有能夠滿(mǎn)足相關(guān)法規(guī)要求的其他方法，也可以采用，但是需要提供詳細(xì)的研究資料和驗(yàn)證資料。
本指導(dǎo)原則是在現(xiàn)行法規(guī)和標(biāo)準(zhǔn)體系以及當(dāng)前認(rèn)知水平下制定的，隨著法規(guī)和標(biāo)準(zhǔn)的不斷完善，以及科學(xué)技術(shù)的不斷發(fā)展，相關(guān)內(nèi)容也將適時(shí)進(jìn)行調(diào)整。
本指導(dǎo)原則是人工智能醫(yī)療器械指導(dǎo)原則體系的重要組成部分，基于人工智能醫(yī)療器械審評(píng)指導(dǎo)原則的通用要求，明確了糖尿病視網(wǎng)膜病變眼底圖像輔助診斷軟件的具體要求。
一、適用范圍
本指導(dǎo)原則適用于糖尿病視網(wǎng)膜病變眼底圖像輔助診斷軟件的注冊(cè)。產(chǎn)品管理類(lèi)別為三類(lèi)，分類(lèi)編碼為21-04-02。產(chǎn)品通常由客戶(hù)端和服務(wù)器端（云服務(wù)器或本地服務(wù)器）組成，深度學(xué)習(xí)算法通常運(yùn)行在服務(wù)器端。若作為軟件組件集成于其他醫(yī)療器械（如眼底相機(jī)）中，可以參考本指導(dǎo)原則的要求。
本產(chǎn)品的核心功能是采用深度學(xué)習(xí)等人工智能算法對(duì)由眼底相機(jī)（指采用照相技術(shù)用于眼底攝影成像的常規(guī)眼底照相機(jī)，不包括激光、熒光等特殊方式的眼底相機(jī)）拍攝的彩色眼底照片進(jìn)行分析，臨床通常用于輔助醫(yī)生發(fā)現(xiàn)II期及II期以上糖尿病視網(wǎng)膜病變（簡(jiǎn)稱(chēng)“糖網(wǎng)”，英文縮寫(xiě)DR），并給出進(jìn)一步就醫(yī)檢查的建議。I期和II期的分界線(xiàn)決定著患者需要轉(zhuǎn)診到專(zhuān)業(yè)眼科機(jī)構(gòu)進(jìn)行診療，還是留在基層醫(yī)療機(jī)構(gòu)定期復(fù)查。不能僅憑算法診斷結(jié)果進(jìn)行臨床決策，需要由醫(yī)生對(duì)圖像拍攝質(zhì)量和診斷結(jié)果進(jìn)行綜合判斷，確認(rèn)簽字后報(bào)告生效，必要時(shí)需重新拍攝分析和/或修改結(jié)果。
產(chǎn)品的核心功能通常是對(duì)單張眼底照片進(jìn)行糖網(wǎng)二分類(lèi)，可能會(huì)進(jìn)一步對(duì)患者雙眼多張照片分析結(jié)果進(jìn)行簡(jiǎn)單邏輯運(yùn)算后給出綜合結(jié)論。產(chǎn)品可能還包含圖像質(zhì)量判定、糖網(wǎng)分期等輔助功能，采用深度學(xué)習(xí)算法或傳統(tǒng)模式識(shí)別算法實(shí)現(xiàn)。不同產(chǎn)品支持的拍攝方式（散瞳或免散瞳）、拍攝范圍（體現(xiàn)視場(chǎng)角，并明確多張拼接，眼底后極部包括黃斑區(qū)和視盤(pán)區(qū)的單張照片，分別以黃斑區(qū)和視盤(pán)區(qū)為中心的2張眼底照片等情形）、相機(jī)種類(lèi)/型號(hào)等有所區(qū)別。
本指導(dǎo)原則不適用于核心功能不是糖網(wǎng)輔助診斷的產(chǎn)品，如黃斑病、青光眼輔助診斷軟件。本指導(dǎo)原則不包括臨床評(píng)價(jià)的要求。
二、注冊(cè)審查要點(diǎn)
（一）監(jiān)管信息
1.獨(dú)立軟件
產(chǎn)品名稱(chēng)應(yīng)符合通用名稱(chēng)命名規(guī)范要求，通常體現(xiàn)輸入數(shù)據(jù)（彩色眼底照片）、目標(biāo)疾?。ㄌ悄虿∫暰W(wǎng)膜病變）、預(yù)期用途（輔助診斷）等特征詞。若主要功能僅為糖網(wǎng)輔助診斷，產(chǎn)品名稱(chēng)建議采用：糖尿病視網(wǎng)膜病變眼底圖像輔助診斷軟件。
按照2017版《醫(yī)療器械分類(lèi)目錄》和《人工智能醫(yī)用軟件產(chǎn)品分類(lèi)界定指導(dǎo)原則》，該類(lèi)產(chǎn)品管理類(lèi)別為三類(lèi)，分類(lèi)編碼為21-04-02。
型號(hào)規(guī)格應(yīng)給出產(chǎn)品的型號(hào)和軟件發(fā)布版本。
結(jié)構(gòu)組成應(yīng)明確軟件交付方式（如光盤(pán)/U盤(pán)安裝、網(wǎng)絡(luò)下載），結(jié)合網(wǎng)絡(luò)部署情況給出軟件功能模塊，應(yīng)體現(xiàn)出包括深度學(xué)習(xí)功能的所有模塊。
適用范圍應(yīng)體現(xiàn)出使用場(chǎng)所、適用人群（如成人糖尿病患者）、目標(biāo)用戶(hù)（如執(zhí)業(yè)醫(yī)師）、處理對(duì)象（包括眼底照片的拍攝方式、拍攝范圍、張數(shù)）、臨床用途（如圖像質(zhì)量判定、轉(zhuǎn)診建議）、所支持眼底相機(jī)要求（內(nèi)容較多的可在產(chǎn)品技術(shù)要求中體現(xiàn)）、主要使用限制（通常應(yīng)體現(xiàn)不能僅憑軟件結(jié)果給出臨床決策）。
2.軟件組件
糖網(wǎng)輔助診斷功能作為軟件組件集成于其他醫(yī)療器械（如眼底相機(jī)）中時(shí)，產(chǎn)品名稱(chēng)、分類(lèi)編碼、型號(hào)規(guī)格、結(jié)構(gòu)組成與所集成醫(yī)療器械保持一致，產(chǎn)品管理類(lèi)別應(yīng)為第三類(lèi)。在適用范圍和產(chǎn)品技術(shù)要求中體現(xiàn)糖網(wǎng)輔助功能的相關(guān)信息，軟件功能名稱(chēng)可參照獨(dú)立軟件要求。
（二）綜述資料
1.器械及操作原理描述
按照《人工智能醫(yī)療器械注冊(cè)審查指導(dǎo)原則》在算法研究報(bào)告中提供算法基本信息，結(jié)合本產(chǎn)品特點(diǎn)應(yīng)注意和細(xì)化的要求詳見(jiàn)下文算法研究資料的算法基本信息。
2.產(chǎn)品的適用范圍、適用人群、禁忌證
按照國(guó)家藥監(jiān)局發(fā)布的注冊(cè)申報(bào)資料要求提供產(chǎn)品的適用范圍、預(yù)期使用環(huán)境、適用人群、禁忌證，需與申報(bào)產(chǎn)品的性能、功能相符，并需與臨床評(píng)價(jià)資料結(jié)論一致。
（三）非臨床資料
1.產(chǎn)品技術(shù)要求
1.1規(guī)格信息
應(yīng)給出軟件發(fā)布版本和版本命名規(guī)則。軟件版本命名規(guī)則原則上應(yīng)涵蓋算法驅(qū)動(dòng)型更新和數(shù)據(jù)驅(qū)動(dòng)型更新，明確并區(qū)分重大軟件更新和輕微軟件更新，其中重大軟件更新列舉常見(jiàn)典型情況。
應(yīng)給出可支持的眼底相機(jī)的技術(shù)要求、拍攝要求、型號(hào)，應(yīng)有算法研究資料的結(jié)果做支持。相機(jī)技術(shù)要求至少應(yīng)包括執(zhí)行標(biāo)準(zhǔn)（如YY 0634《眼科儀器眼底照相機(jī)》）、圖像類(lèi)型（如彩色眼底照片，并明確不適用的圖像類(lèi)型，如熒光造影等）、圖像像素。拍攝要求至少應(yīng)明確拍攝方式（散瞳與否）、拍攝范圍（如包括黃斑區(qū)和視盤(pán)區(qū)的單張眼底圖），還可包括對(duì)焦方式（手動(dòng)、自動(dòng)）、固視要求。眼底相機(jī)型號(hào)應(yīng)給出制造商和型號(hào)，且應(yīng)為國(guó)內(nèi)上市的產(chǎn)品。
附錄的要求參考軟件指導(dǎo)原則，其中：附錄A體系結(jié)構(gòu)圖，應(yīng)明確各功能模塊的節(jié)點(diǎn)位置（如客戶(hù)端、云端），云計(jì)算服務(wù)商名稱(chēng)（如適用），明確人工智能核心算法運(yùn)行位置；附錄B界面關(guān)系，應(yīng)體現(xiàn)出診斷分析界面和報(bào)告界面的細(xì)節(jié)，明確算法自動(dòng)生成的標(biāo)注、診斷結(jié)果哪些可以修改，報(bào)告界面應(yīng)有醫(yī)生簽字處。
1.2性能指標(biāo)
應(yīng)制定軟件的所有臨床功能，如糖網(wǎng)二分類(lèi)、糖網(wǎng)分期、圖像質(zhì)量判定。糖網(wǎng)二分類(lèi)或分期應(yīng)給出依據(jù)的文獻(xiàn)，若是自定規(guī)則，應(yīng)詳細(xì)描述依據(jù)、原因和方法等。圖像質(zhì)量判定中應(yīng)明確不合格的圖像類(lèi)型并說(shuō)明是否進(jìn)行后續(xù)分析。枚舉軟件在各種情形下可生成的所有診斷結(jié)果、轉(zhuǎn)診建議、圖像質(zhì)量判定的措辭等。
若含有基于測(cè)評(píng)數(shù)據(jù)庫(kù)測(cè)試的性能指標(biāo)，其要求參考《人工智能醫(yī)療器械注冊(cè)審查指導(dǎo)原則》。
運(yùn)行效率，明確所定義效率包括了哪些環(huán)節(jié)（如上傳、處理、返回、顯示）。
運(yùn)行環(huán)境，運(yùn)行在不同計(jì)算機(jī)系統(tǒng)的產(chǎn)品模塊（如客戶(hù)端和云端）應(yīng)分別描述其運(yùn)行環(huán)境。
2.軟件研究資料
注冊(cè)申請(qǐng)人應(yīng)依據(jù)《醫(yī)療器械軟件技術(shù)審查指導(dǎo)原則》、《醫(yī)療器械網(wǎng)絡(luò)安全技術(shù)審查指導(dǎo)原則》、《移動(dòng)醫(yī)療器械注冊(cè)技術(shù)審查指導(dǎo)原則》、《人工智能醫(yī)療器械注冊(cè)審查指導(dǎo)原則》等指導(dǎo)原則，提交相應(yīng)注冊(cè)申報(bào)資料。
該類(lèi)產(chǎn)品的軟件安全性級(jí)別不低于為B級(jí)，提交的軟件研究資料應(yīng)分為軟件研究資料、網(wǎng)絡(luò)安全研究資料、算法研究資料三部分。
關(guān)于運(yùn)行環(huán)境兼容性，依據(jù)《醫(yī)療器械軟件注冊(cè)審查指導(dǎo)原則》：每個(gè)互不兼容的運(yùn)行環(huán)境（含云計(jì)算）需作為一個(gè)檢測(cè)單元分別檢測(cè)；進(jìn)行兼容性驗(yàn)證，對(duì)于B/S架構(gòu)的軟件，還應(yīng)提供所有聲稱(chēng)可兼容的客戶(hù)端瀏覽器的兼容性測(cè)試報(bào)告。
網(wǎng)絡(luò)安全方面除遵循《醫(yī)療器械網(wǎng)絡(luò)安全注冊(cè)技術(shù)審查指導(dǎo)原則》之外，由于深度學(xué)習(xí)算法的特殊性，還需要遵循《人工智能醫(yī)療器械注冊(cè)審查指導(dǎo)原則》中關(guān)于網(wǎng)絡(luò)安全和數(shù)據(jù)安全過(guò)程控制的要求。
3.算法研究資料
應(yīng)基于《人工智能醫(yī)療器械審查指導(dǎo)原則》第四章生存周期過(guò)程、第五章技術(shù)考量、第六章算法研究資料的所有相關(guān)要求提供算法研究報(bào)告或算法更新研究報(bào)告，以及人機(jī)交互研究資料，認(rèn)為不適用的應(yīng)詳述理由。在核心功能糖網(wǎng)二分類(lèi)之外包括其他相關(guān)子功能的應(yīng)分別提供資料，在能清晰區(qū)分的前提下，相同內(nèi)容宜合并，有接口關(guān)系的算法/功能應(yīng)統(tǒng)籌提供資料。根據(jù)本產(chǎn)品特點(diǎn)需要細(xì)化之處如下。
3.1算法基本信息
（1）糖網(wǎng)分類(lèi)算法的輸入應(yīng)明確支持的拍攝方式、拍攝范圍、相機(jī)型號(hào)，輸出應(yīng)分別明確算法的輸出和自動(dòng)生成的診斷結(jié)論；
（2）圖像質(zhì)量判定算法應(yīng)明確可識(shí)別的不良質(zhì)量類(lèi)型或程度，給出判定規(guī)則的依據(jù)，明確對(duì)于不同質(zhì)量的圖像后續(xù)是否均進(jìn)行分析，結(jié)果是否有其他使用限制。
（3）部署在云服務(wù)器的應(yīng)說(shuō)明服務(wù)器的物理位置（至少明確到省/直轄市）；
（4）軟件組件應(yīng)描述與產(chǎn)品其他組成部分的功能接口和用戶(hù)接口。
3.2算法需求規(guī)范
產(chǎn)品設(shè)計(jì)應(yīng)充分考慮我國(guó)糖網(wǎng)相關(guān)診療指南、方案，跟蹤最新版本，如《我國(guó)糖尿病視網(wǎng)膜病變臨床診療指南（2014）》、《我國(guó)糖尿病視網(wǎng)膜病變篩查的圖像采集及閱片指南（2017）》、《糖尿病視網(wǎng)膜病變分級(jí)診療服務(wù)技術(shù)方案（2017）》等。
明確產(chǎn)品的使用場(chǎng)景、使用者、適用人群，如允許操作者不同于報(bào)告簽署人，應(yīng)分別描述。
明確圖像質(zhì)量控制的方式，即達(dá)到什么要求的圖像可供算法分析，尤其應(yīng)描述算法在圖像質(zhì)量不佳情形下的處理方法（如：不進(jìn)行分析，或在給出分析結(jié)果時(shí)明確提示圖像質(zhì)量不佳的負(fù)面影響）。明確圖像質(zhì)控過(guò)程中使用者和算法（若有）的職責(zé)。
明確算法訓(xùn)練數(shù)據(jù)集要求，明確預(yù)期采集各糖網(wǎng)分期樣本、陰性樣本、相似/相關(guān)的疾病/癥狀樣本的數(shù)量和分布要求，明確相機(jī)型號(hào)/種類(lèi)、拍攝方式（散瞳、免散瞳）、拍攝范圍、分辨率的要求，以及人群分布（性別、年齡、地域、基礎(chǔ)疾病等）、醫(yī)院級(jí)別、醫(yī)院數(shù)量等要求。應(yīng)納入一定量相似/相關(guān)的疾病/癥狀樣本，即與糖網(wǎng)癥狀類(lèi)似或具有相關(guān)性疾病患者的圖像。
明確算法性能設(shè)計(jì)目標(biāo)，應(yīng)給出核心功能糖網(wǎng)二分類(lèi)的敏感性、特異性，明確設(shè)定依據(jù)，應(yīng)能夠滿(mǎn)足預(yù)期臨床使用需求，其他輔助功能參考《人工智能醫(yī)療器械注冊(cè)審查指導(dǎo)原則》的建議設(shè)定性能設(shè)計(jì)目標(biāo)。
3.3數(shù)據(jù)質(zhì)控
（1）數(shù)據(jù)采集
應(yīng)明確不同眼底相機(jī)的拍攝方式、拍攝范圍、采集過(guò)程的不同要求，詳述采集過(guò)程的人員管理、流程管理、質(zhì)量評(píng)估要求。若使用歷史數(shù)據(jù)，至少應(yīng)明確拍攝設(shè)備、拍攝方式、拍攝范圍，對(duì)其他要求開(kāi)展差異分析，追溯數(shù)據(jù)的生成過(guò)程，論證采集和標(biāo)注過(guò)程的科學(xué)性、規(guī)范性。
（2）數(shù)據(jù)整理
明確經(jīng)數(shù)據(jù)清洗棄用數(shù)據(jù)的原因和數(shù)量。數(shù)據(jù)預(yù)處理環(huán)節(jié)應(yīng)采用典型圖片和流程圖說(shuō)明處理過(guò)程和每一步處理的結(jié)果。原始數(shù)據(jù)庫(kù)的預(yù)處理過(guò)程若與產(chǎn)品中算法運(yùn)行的預(yù)處理過(guò)程存在差異，應(yīng)通過(guò)比較來(lái)說(shuō)明。
（3）數(shù)據(jù)標(biāo)注
建議列表給出標(biāo)注、審核、仲裁人員的基本信息，如科室/專(zhuān)業(yè)、職稱(chēng)、工作年限、所在機(jī)構(gòu)、培訓(xùn)考核情況、工作量，若有外國(guó)人員則需明確其資質(zhì)要求。宜采用流程圖介紹單張圖片的標(biāo)注、審核、仲裁過(guò)程。若標(biāo)注較復(fù)雜宜采用典型圖片加流程圖說(shuō)明每一步的標(biāo)注內(nèi)容以及特殊情況處理，簡(jiǎn)述全部圖片標(biāo)注的管理過(guò)程、時(shí)間周期，特別是標(biāo)注周期內(nèi)的質(zhì)量評(píng)估。若用于不同功能做標(biāo)注的數(shù)據(jù)集與數(shù)據(jù)量有所區(qū)別，應(yīng)明確具體情況。
（4）數(shù)據(jù)集構(gòu)建
對(duì)于標(biāo)注前的基礎(chǔ)數(shù)據(jù)庫(kù)，標(biāo)注后劃分的訓(xùn)練集、調(diào)優(yōu)集、測(cè)試集，應(yīng)給出樣本量和分布情況及其確定依據(jù)，以及集合劃分的方法、依據(jù)。應(yīng)注意保證糖網(wǎng)I期、II期樣本的數(shù)量。樣本分布應(yīng)主要考慮相機(jī)種類(lèi)/型號(hào)、拍攝方式（散瞳與否）、拍攝范圍、合并相似/相關(guān)的疾病/癥狀等因素，兼顧人群分布（性別、年齡、地域、基礎(chǔ)疾病等）、來(lái)源醫(yī)院等因素。可進(jìn)行數(shù)據(jù)擴(kuò)增，應(yīng)符合《人工智能醫(yī)療器械注冊(cè)審查指導(dǎo)原則》的要求。
3.4算法驗(yàn)證與確認(rèn)
（1）算法性能評(píng)估
基于測(cè)試集提供假陰性與假陽(yáng)性、重復(fù)性與再現(xiàn)性、魯棒性/健壯性等算法性能指標(biāo)評(píng)估結(jié)果，以證明算法性能滿(mǎn)足設(shè)計(jì)目標(biāo)。亦可基于第三方數(shù)據(jù)庫(kù)開(kāi)展算法性能評(píng)估。
若有圖像質(zhì)量判定模塊，應(yīng)選擇合適的評(píng)價(jià)指標(biāo)驗(yàn)證圖像質(zhì)量分級(jí)算法性能。
（2）算法性能影響因素分析
應(yīng)進(jìn)行算法性能影響因素分析以提升算法可解釋性，詳述影響算法性能的主要因素及其影響程度，基于分析結(jié)果明確產(chǎn)品使用限制和必要警示提示信息。
核心功能糖網(wǎng)二分類(lèi)的主要性能影響因素包括但不限于相機(jī)種類(lèi)/型號(hào)、拍攝方式（散瞳與否）、拍攝范圍、合并相似/相關(guān)的疾病/癥狀、圖像質(zhì)量，還可能受人群分布（性別、年齡、地域、基礎(chǔ)疾病等）、來(lái)源醫(yī)院等因素一定影響。應(yīng)針對(duì)不同因素分別建立子數(shù)據(jù)集進(jìn)行測(cè)試，以了解這些因素的影響程度。對(duì)于其他功能模塊，應(yīng)基于產(chǎn)品特征初步分析識(shí)別可能對(duì)性能產(chǎn)生影響的因素后進(jìn)行分析。
對(duì)于某一影響因素，可建立多個(gè)包含單一因素的子集和一個(gè)包含所有子集的合集（必要時(shí)）分別進(jìn)行性能測(cè)試，統(tǒng)計(jì)分析各集合性能差異，評(píng)價(jià)影響程度。對(duì)于預(yù)期對(duì)性能有顯著影響且存在相互關(guān)聯(lián)的不同影響因素，也可建立包含多因素的子集進(jìn)行分析，如有A、B兩個(gè)因素，每個(gè)因素有2種情況，可形成分別僅包含A1B1、A1B2、A2B1、A2B2因素的4個(gè)子集。其中，處于分界點(diǎn)處的糖網(wǎng)I期、II期分類(lèi)的準(zhǔn)確性對(duì)產(chǎn)品性能起關(guān)鍵影響，應(yīng)單獨(dú)建立測(cè)試集驗(yàn)證。各集合應(yīng)保證具有足夠的樣本量，性能評(píng)估結(jié)果應(yīng)給出中心值和95%置信區(qū)間。各子集宜以產(chǎn)品研發(fā)時(shí)標(biāo)注數(shù)據(jù)庫(kù)中的測(cè)試集為主，當(dāng)某一待評(píng)價(jià)因素的樣本量較少或沒(méi)有時(shí)（如測(cè)試集只包括A型、B型眼底相機(jī)的圖像，從其他數(shù)據(jù)集納入C型相機(jī)的圖像），可補(bǔ)充其他數(shù)據(jù)集的樣本，如臨床試驗(yàn)、真實(shí)世界數(shù)據(jù)、第三方測(cè)試等的樣本，但合并在一個(gè)子集的數(shù)據(jù)其標(biāo)注規(guī)則應(yīng)基本一致。簡(jiǎn)述各子集的構(gòu)建情況，如數(shù)據(jù)來(lái)源、標(biāo)注過(guò)程、標(biāo)準(zhǔn)規(guī)則、樣本分布等。
（3）算法性能綜合評(píng)價(jià)
按照《人工智能醫(yī)療器械注冊(cè)審查指導(dǎo)原則》開(kāi)展算法性能比較分析和算法性能綜合評(píng)價(jià)。自建測(cè)試數(shù)據(jù)集測(cè)試、臨床試驗(yàn)、真實(shí)世界數(shù)據(jù)測(cè)試、第三方數(shù)據(jù)庫(kù)測(cè)試、壓力測(cè)試、對(duì)抗測(cè)試等均可視為算法性能評(píng)估場(chǎng)景。應(yīng)分別簡(jiǎn)介各數(shù)據(jù)集的構(gòu)建情況，如數(shù)據(jù)來(lái)源、標(biāo)注過(guò)程、標(biāo)注規(guī)則、樣本分布（至少應(yīng)體現(xiàn)相機(jī)型號(hào)、拍攝方式、拍攝范圍、相似/相關(guān)疾病/癥狀的情況）等，列表給出主要性能評(píng)價(jià)指標(biāo)，結(jié)合數(shù)據(jù)集構(gòu)建和性能評(píng)價(jià)結(jié)果對(duì)產(chǎn)品性能綜合評(píng)價(jià)。針對(duì)訓(xùn)練樣本量和測(cè)試樣本量過(guò)少、測(cè)試結(jié)果明顯低于算法設(shè)計(jì)目標(biāo)、算法性能變異度過(guò)大等情況，對(duì)產(chǎn)品的適用范圍、使用場(chǎng)景、核心功能在產(chǎn)品適用范圍、產(chǎn)品技術(shù)要求、說(shuō)明書(shū)、產(chǎn)品界面等處明確使用限制；針對(duì)其他對(duì)算法性能影響較小的因素，給出必要的提示信息。
3.5人機(jī)交互研究資料
本產(chǎn)品核心功能單一，結(jié)果明確，但使用場(chǎng)景局限，不僅不能替代醫(yī)生，更需要操作者充分了解產(chǎn)品的特點(diǎn)、使用限制和注意事項(xiàng)。應(yīng)制定操作者培訓(xùn)和考核方案，并驗(yàn)證方案的可行性。
軟件生成的報(bào)告應(yīng)可修改，由具有糖網(wǎng)診療資質(zhì)的執(zhí)業(yè)醫(yī)師簽字確認(rèn)后生效，上述醫(yī)生應(yīng)已具備基于眼底照片進(jìn)行糖網(wǎng)分期診斷及易混淆病癥辨析的能力，經(jīng)過(guò)產(chǎn)品培訓(xùn)，還應(yīng)具有以下能力：1.能夠判定拍攝范圍和拍攝質(zhì)量能否達(dá)到申報(bào)產(chǎn)品處理要求；2.結(jié)合軟件給出結(jié)果，根據(jù)自己的判斷對(duì)自動(dòng)生產(chǎn)報(bào)告進(jìn)行修改或重新拍攝、分析；3.了解算法的限制和注意事項(xiàng)，結(jié)合患者臨床情況做出綜合判斷，給予患者必要的口頭醫(yī)囑和/或在報(bào)告上附加信息。注意，某些產(chǎn)品雖然具有圖像質(zhì)量判斷模塊，但由于軟件驗(yàn)證無(wú)法窮舉所有圖像質(zhì)量不合格情況，仍需由醫(yī)生對(duì)圖像質(zhì)量做最終判斷。
培訓(xùn)方案應(yīng)包括但不限于：軟件基本操作、圖像質(zhì)量判定、軟件的使用限制和注意事項(xiàng)。培訓(xùn)考核應(yīng)納入適當(dāng)?shù)尼t(yī)生數(shù)量和測(cè)試樣本數(shù)量，評(píng)價(jià)點(diǎn)除糖網(wǎng)分期診斷，還應(yīng)包括上述能力。參加考核的醫(yī)生應(yīng)與預(yù)期使用產(chǎn)品的醫(yī)生在培訓(xùn)前具有等同能力，以驗(yàn)證培訓(xùn)方案的可行性。
（四）說(shuō)明書(shū)
說(shuō)明書(shū)應(yīng)符合《醫(yī)療器械軟件技術(shù)審查指導(dǎo)原則》、《醫(yī)療器械網(wǎng)絡(luò)安全技術(shù)審查指導(dǎo)原則》的相關(guān)要求，還應(yīng)符合《人工智能醫(yī)療器械注冊(cè)審查指導(dǎo)原則》關(guān)于輔助決策類(lèi)產(chǎn)品的相關(guān)要求。
應(yīng)給出產(chǎn)品的所有注意事項(xiàng)，特別是結(jié)合前期的人機(jī)交互、算法性能評(píng)估、算法性能影響因素評(píng)估后得出的使用限制，應(yīng)包括且不限于：
1.產(chǎn)品僅用于檢測(cè)糖網(wǎng)，不用于檢測(cè)其他疾病，如果未檢測(cè)出糖網(wǎng)，不意味著不存在其他眼部疾??；
2.產(chǎn)品應(yīng)由有資質(zhì)的機(jī)構(gòu)和人員按照說(shuō)明書(shū)使用；
3.執(zhí)業(yè)醫(yī)師應(yīng)該結(jié)合軟件診斷、患者病史、主訴等各種信息綜合給出診斷意見(jiàn)，特別應(yīng)關(guān)注患者的眼部相關(guān)病史及治療史，如用于妊娠期婦女，由于可能為妊高癥，病程進(jìn)展快，應(yīng)告知其提高復(fù)查頻率；
4.執(zhí)業(yè)醫(yī)師應(yīng)接受過(guò)相應(yīng)培訓(xùn)，產(chǎn)品使用中負(fù)責(zé)評(píng)估圖像拍攝質(zhì)量和范圍是否符合診斷要求，算法診斷結(jié)果是否正確，必要時(shí)重新拍攝分析或修改結(jié)論；
5.明確產(chǎn)品進(jìn)行糖網(wǎng)分期的設(shè)計(jì)依據(jù)；
6.應(yīng)告知用戶(hù)產(chǎn)品所采集數(shù)據(jù)的保存和傳輸情況，數(shù)據(jù)安全、網(wǎng)絡(luò)安全方面的法律法規(guī)要求及其應(yīng)承擔(dān)的責(zé)任。
（五）質(zhì)量管理體系文件
應(yīng)當(dāng)明確產(chǎn)品生產(chǎn)研發(fā)過(guò)程，可采用流程圖的形式，并說(shuō)明其過(guò)程控制點(diǎn)。提供采集、標(biāo)注、脫敏等開(kāi)發(fā)軟件的驗(yàn)證資料。說(shuō)明標(biāo)注數(shù)據(jù)庫(kù)的保存位置和管理方式。
三、參考資料
[1]《醫(yī)療器械注冊(cè)與備案管理辦法》（國(guó)家市場(chǎng)監(jiān)督管理總局令第47號(hào)）[Z].
[2]《醫(yī)療器械說(shuō)明書(shū)和標(biāo)簽管理規(guī)定》（國(guó)家食品藥品監(jiān)督管理總局令第6號(hào)）[Z].
[3]《醫(yī)療器械注冊(cè)申報(bào)資料要求和批準(zhǔn)證明文件格式》（國(guó)家藥品監(jiān)督管理局2021年第121號(hào)）[Z].
[4]《醫(yī)療器械安全和性能的基本原則》（國(guó)家藥品監(jiān)督管理局2020年第18號(hào)通告）[Z]
[5]《醫(yī)用軟件通用名稱(chēng)命名指導(dǎo)原則》（國(guó)家藥品監(jiān)督管理局2021年第48號(hào)通告）[Z]
[6]《人工智能醫(yī)療器械注冊(cè)審查指導(dǎo)原則》(國(guó)家藥品監(jiān)督管理局醫(yī)療器械技術(shù)審評(píng)中心2022年第8號(hào))[Z].
[7] 《醫(yī)療器械軟件注冊(cè)審查指導(dǎo)原則（2022年修訂版）》（國(guó)家藥品監(jiān)督管理局醫(yī)療器械技術(shù)審評(píng)中心2022年第9號(hào)）[Z].
[8] 《醫(yī)療器械網(wǎng)絡(luò)安全注冊(cè)審查指導(dǎo)原則（2022年修訂版）》（國(guó)家藥品監(jiān)督管理局醫(yī)療器械技術(shù)審評(píng)中心2022年第7號(hào)）[Z].
[9]《人工智能類(lèi)醫(yī)用軟件產(chǎn)品分類(lèi)界定指導(dǎo)原則》（國(guó)家藥品監(jiān)督管理局2021年第47號(hào)）[Z].
[10] YY/T 1833.1，《人工智能醫(yī)療器械 質(zhì)量要求和評(píng)價(jià) 第1部分：術(shù)語(yǔ)》（報(bào)批稿） [S].
[11]YY/T 1833.3，《人工智能醫(yī)療器械 質(zhì)量要求和評(píng)價(jià) 第3部分：數(shù)據(jù)標(biāo)注通用要求》（報(bào)批稿） [S].
[12] GB/T 25000.12-2017 系統(tǒng)與軟件工程 系統(tǒng)與軟件質(zhì)量要求和評(píng)價(jià)（SQuaRE） 第12部分：數(shù)據(jù)質(zhì)量模型[S]
[13] AIMDICP-WG6-2020-001 基于眼底彩照的糖尿病視網(wǎng)膜病變輔助決策產(chǎn)品性能指標(biāo)和測(cè)試方法[S]
[14] FDA. Computer-Assisted Detection Devices Applied to Radiology Images and Radiology Device Data[Z], 2012.7
[15] FDA. Considerations for Computer-Assisted Detection Devices Applied to Radiology Images and Radiology Device Data[Z], 2012.7
[16] FDA. Proposed Regulatory Framework for Modifications to Artificial Intelligence/Machine Learning (AI/ML) - Based Software as a Medical Device (SaMD) Draft[Z], 2019.5
[17] FDA. Artificial Intelligence and Machine Learning(AI/ ML) Software as a Medical Device(SaMD) Action Plan[Z], 2021.1