标准编号:	YY/T 1833.3-2022
中文名称:	人工智能医疗器械 质量要求和评价 第3部分：数据标注通用要求
英文名称:	Artificial intelligence medical device—Quality requirements and evaluation一Part 3:General requirement for data annotation
中标分类:	C40    医用光学仪器设备与内窥镜
行业分类:	YY    医药行业标准
ICS分类:	11.040.99 11.040.99    其他医疗设备 11.040.99
发布机构:	国家药品监督管理局
发布日期:	2022-08-17
实施日期:	2023-9-1
标准状态:	valid
翻译语言:	英文
文件格式:	PDF
中文字符数:	33000 字
翻译价格(元):	2310.0
交付时间:	付款后 1 个工作日

YY/T 1833.3-2022 Artificial intelligence medical device - Quality requirements and evaluation - Part 3: General requirement for data annotation 1 Scope This document specifies the general requirements and evaluation methods for data annotation of artificial intelligence medical device. It is applicable to data annotation activities of artificial intelligence medical device. 2 Normative references The following documents contain provisions which, through reference in this text, constitute provisions of this document. For dated references, only the edition cited applies. For undated references, the latest edition of the referenced document (including any amendments) applies. YY/T 1833.1 Artificial intelligence medical device - Quality requirements and evaluation - Part 1: Terminology YY/T 1833.2 Artificial intelligence medical device - Quality requirements and evaluation - Part 2: General requirements for datasets 3 Terms and definitions For the purposes of this document, the terms and definitions given in YY/T 1833.1 and YY/T 1833.2 as well as the following apply. 3.1 annotation task activity for purposefully analyzing a set of data to add external knowledge 3.2 annotation object specific information such as data type, features and attributes analyzed in an annotation task 3.3 structured annotation annotation task that records results by fixed formats and rules 3.4 non-structured annotation annotation task that records results by unfixed formats and rules 3.5 semi-structured annotation annotation task that records results by fixed formats and unfixed rules 3.6 manual annotation annotation task performed entirely in manual way 3.7 automatic annotation annotation task performed entirely by machines, and reviewed manually after the annotation is completed 3.8 semi-automatic annotation annotation task performed jointly by human and machine 3.9 semantic annotation annotation task that takes the meaning and relationship represented by data as the annotation object 3.10 annotator personnel who have the ability to complete specific annotation task and meet quality requirements, perform annotation task, and directly contribute to the annotation task Note: Including initial annotator, annotation reviewer, arbitrator, etc. 3.11 initial annotator person who performs the annotation task and gives the preliminary annotation results 3.12 annotation reviewer person responsible for the review and quality control of the preliminary annotation results 3.13 arbitrator person responsible for giving the final result when many annotators have inconsistent annotation results for the same data Note: Under normal circumstances, the qualification requirements of arbitrators > annotation reviewers ≥ initial annotators. 3.14 annotator performance representational ability of the annotator to perform the annotation task 3.15 annotation responsible organization entity that organizes and carries out the annotation task and is directly responsible for the annotation quality 4 Documents describing the annotation task 4.1 Annotation task classification Before the annotation task starts, the annotation responsible organization shall clearly define the classification of the annotation task, including data mode, execution subject, annotation result format, annotation result property, annotation result form and other dimensions. The data modes of the annotation task may be divided into image, signal, video, text, etc. According to the execution subject, annotation tasks may be divided into manual annotation, automatic annotation, semi-automatic annotation, etc. According to the annotation result format, annotation tasks may be divided into structured annotation, non-structured annotation, semi-structured annotation, etc. The annotation result property may be divided into GT value, reference standard, gold standard and other types. The annotation result form may be divided into detection, classification, segmentation, semantics and other types. Note: Semantic annotation is often used to describe relationships or connections between objects, such as the relative positions of muscle and fat on ultrasound images. 4.2 Annotation task description 4.2.1 Annotation rules

Foreword i Introduction ii 1 Scope 2 Normative references 3 Terms and definitions 4 Documents describing the annotation task 5 Data annotation quality features 6 Annotation and quality control process 7 Annotation tools 8 Evaluation method Annex A (Informative) Examples of annotation task description Annex B (Informative) Examples of business architecture (pulmonary nodules in thoracic CT ) Annex C (Informative) Evaluation of AI-assisted annotation performance Bibliography

人工智能医疗器械 质量要求和评价 第3部分：数据标注通用要求 1 范围 本文件规定了人工智能医疗器械数据标注通用要求和评价方法。 本文件适用于人工智能医疗器械数据标注活动。 2 规范性引用文件 下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本(包括所有的修改单)适用于本文件。 YY/T 1833.1 人工智能医疗器械 质量要求和评价 第1部分：术语 YY/T 1833.2 人工智能医疗器械 质量要求和评价 第2部分：数据集通用要求 3 术语和定义 YY/T 1833.1、YY/T 1833.2界定的以及下列术语和定义适用于本文件。 3.1 标注任务 annotation task 有目的地对一批数据进行分析、添加外部知识的活动。 3.2 标注对象 annotation object 标注任务分析的具体信息，如数据的类型、特征、属性等。 3.3 结构化标注 structured annotation 使用固定格式、固定规则记录结果的标注任务。 3.4 非结构化标注 non-structured annotation 使用不固定的格式、规则记录结果的标注任务。 3.5 半结构化标注 semi-structured annotation 使用固定的格式、不固定的规则记录结果的标注任务。 3.6 手工标注 manual annotation 完全由人工执行的标注任务。 3.7 自动标注 automatic annotation 完全由机器执行的标注任务，标注完成后由人工审核。 3.8 半自动标注 semi-automatic annotation 由人工和机器混合完成的标注任务。 3.9 语义标注 semantic annotation 以数据代表的含义和关系为标注对象的标注任务。 3.10 标注人员 annotator 具备完成特定标注任务目标并满足质量要求的能力、执行标注任务、对标注结果有直接贡献的人员。 注：包括初级标注人员、审核人员、仲裁人员等。 3.11 初级标注人员 initial annotator 执行标注任务、给出初步标注结果的人员。 3.12 审核人员 annotation reviewer 对初步标注结果进行审核和质控的人员。 3.13 仲裁人员 arbitrator 当多名标注人员对同一数据的标注结果不一致时，负责给出最终结果的人员。 注：一般情况下，仲裁人员的资质要求＞审核人员≥初级标注人员。 3.14 标注人员表现 annotator performance 标注人员执行标注任务的能力表征。 3.15 标注责任方 annotation responsible organization 组织开展标注任务、对标注质量有直接责任的实体。 4 标注任务说明文档 4.1 标注任务分类 在标注任务开始前，标注责任方应明确标注任务的分类，包括数据模态、执行主体、标注结果格式、标注结果性质、标注结果形式等维度。 标注任务的数据模态分为图像、信号、视频、文本等类型。标注任务依据其执行主体，可分为人工标注、自动标注半自动标注等类型。依据标注结果的格式，标注任务可分为结构化标注、非结构化标注、半结构化标注等类型。标注结果性质可分为GT值、参考标准、金标准等类型。标注结果的形式分为检出、分类、分割、语义等类型。 注：语义标注常用于描述目标之间的关系或联系，如超声图像上的肌肉、脂肪相对位置。 4.2 标注任务描述 4.2.1 标注规则 标注责任方宜陈述标注任务依据的规则，符合以下要求： ——各标注对象的定义唯一、无歧义； ——标注对象的名称具有依从性文件； ——不同标注对象之间是可区分的； ——标注对象的定性特征宜可验证； ——标注对象的定量特征宜可测量； ——提供标注规则的依从性文件，如根据专家评议、文献分析确定标注规则，宜描述分析过程； ——如标注规则来自试验测量、临床统计等渠道，宜提供客观数据； ——对标注规则可能导致的偏倚风险进行分析。 注：依从性文件包括法规文件、技术标准、医学规范、专家共识、专家评议、文献分析等。 4.2.2 标注人员 标注责任方应描述对标注人员的要求，包括人员资质、选拔依据、培训内容、对标注人员表现的评估指标；如适用，应按照初级标注人员、审核人员、仲裁人员等角色分别展开描述。 标注责任方应描述标注与质控流程中的人员分工、央策机制(审核、仲裁、分歧处理)、人员比对。 4.2.3 标注工具 标注责任方应对标注过程使用的硬件、软件、平台等进行描述，如设备的型号，软件的名称型号、版本号、功能、参数设置、平台名称、访问地址等；如采用算法提供辅助标注，应描述算法性能指标与验证方法。 4.2.4 标注环境 标注责任方应分析标注环境对标注人员、标注过程、数据质量、标注工具的影响，描述对标注环境的要求，如温湿度、照明条件、噪声干扰等。 4.2.5 数据 标注责任方应对标注过程输入、输出的数据进行描述，包括： ——待标注数据的适用范围、质量要求和选择依据； ——标注对象的定义和示例，如阳性样本、阴性样本、目标区域、非目标区域、主要征象、次要征象、干扰项、疑难情形示例等； ——标注结果、测量结果的存储格式、预览方法、颗粒度、精度等。 标注责任方应描述数据整理方案，如数据清洗、数据查重等。 对来自实验室测量的数据，标注责任方应描述测量方法、测量装置、测量条件及人员等。 对于来自仿真合成的数据，标注责任方应描述计算过程及确认方式。 注：附录A给出了标注任务说明文档的示例。 5 数据标注质量特性 5.1 准确性 标注责任方应根据标注结果的形式，声称标注结果的准确性。 如适用，在具体标注场景下，可使用下列指标： ——检出：召回率、精确度； ——分类：灵敏度、特异度、准确率； ——分割：Dice系数、交并比、Hausdorff距离； ——测量、计数：绝对误差、相对误差； ——动态曲线评估：Pearson相关系数、2-范数误差。 5.2 一致性 标注责任方应声称标注过程各个环节输入输出数据、信息的内部一致性，包括人员信息、标注结果、原始数据。 标注责任方应声称标注人员之间的一致性，如： 分类任务：使用Kappa系数描述人员之间的一致性。 5.3 精度 对于可定量描述的标注结果，标注责任方应声称标注结果的精度。 5.4 可理解性 标注责任方应说明标注结果能被授权用户理解的程度，并以书面形式展示可验证的证据。 5.5 可访问性 标注责任方应陈述标注结果可被授权用户访问的程度，并以书面形式展示可验证的证据。 5.6 可移植性 标注责任方应陈述标注结果能被安装、替换或从一个系统移动到另一个系统中，并保持已有质量的属性的能力。 5.7 保密性 标注责任方应陈述确保标注结果安全的措施，并以书面形式展示可验证的证据。 5.8 可追溯性 标注责任方应陈述标注任务可被追溯和记录的程度，如： a)标注任务、质控流程涉及的人员信息，如标注任务创建者、管理者、标注人员、审核人员、仲裁人员等； b)标注任务包含的操作信息，如初始标注、比对、合并、补充、修改、删除、审核、仲裁等；操作信息也包括标注数据的流转动作，如传输、复制等； c)标注工具信息，如名称、型号规格、完整版本、制造商、运行环境、软件确认等； d)标注任务的时间信息，如每个样本完成标注、审核、仲裁的时间节点。 6 标注与质控流程 6.1 业务架构 标注责任方应根据数据流向和人员分工，描述标注与质控的业务架构。标注责任方应根据业务架构所描述的输入输出节点，保存相应的标注结果、人员操作记录。标注责任方应明确在哪些条件下对标注结论进行审核、仲裁。当初级标注人员的结论一致时，宜对标注结论进行抽样审核。当初级标注人员的结论不一致时，宜提交仲裁。 注：附录B给出了具体示例。 6.2 过程组织 6.2.1 任务生成 标注责任方应根据标注任务的定义，收集和整理待标注的数据，准备标注工具和环境，选拔标注人员，明确标注流程、决策机制与工作量，围绕标注规则开展培训，形成记录。 如适用，标注责任方应记录标注任务的创建者、管理者信息。 6.2.2 任务分配 标注责任方应为标注人员分配标注工具和操作场地，设置操作权限，下发待标注的数据。 6.2.3 任务实施 标注人员应根据标注规则执行标注任务。 标注责任方宜对标注进度进行监控，对标注人员的任务进行调度，确保初级标注人员、审核人员、仲裁人员的协调性。 6.2.4 质量控制 在标注过程中，标注责任方应对标注人员的标注质量进行监督，评估标注人员的表现，考虑重复性指标和准确性指标。当标注人员表现出现显著下降时，标注责任方应对标注人员进行休整、培训和再评估。 对重复性指标的评价可采用埋题验证的方式，统计同一个标注人员在每次连续标注过程中对同一个数据的标注结果，计算重复标注一致或误差在允许范围内的样本在重复标注样本中的比例。 注1：例如每完成20张糖网图像的分类标注后，随机抽选其中一张重新标注。 对准确性指标的评价可对比标注人员与仲裁结论，计算仲裁人员认为正确的初级标注样本比例。 注2：例如每完成20张糖网图像的标注，随机抽选一张由仲裁人员仲裁和对比，以统计准确性。 6.2.5 安全管理 标注责任方应执行如下安全管理措施： a)在标注前，标注责任方应确保待标注数据已完成数据脱敏；应建立待标注数据的独立备份，确保该备份不被修改、删除； b)执行数据标注、计算和存储的设备在停用、退役或退出标注任务前应将其中所有数据彻底删除，并无法恢复； c)标注责任方应保证标注过程的网络安全，如采用防火墙、边界防护、入侵防护等安全措施。 7 标注工具 7.1 功能 7.1.1 处理对象 标注工具宜明确定义处理对象的范围，包括数据采集方式、存储格式。 a)根据数据的采集方式，处理对象可分为： ——影像数据：CT、MR、PET、X线、乳腺钼靶、超声、内窥镜、病理等； ——信号数据：心电图(ECG)、脑电图(EEG)、肌电图(EMG)、心肺音等； ——文本数据(如适用)：门急诊记录、住院记录、实验室记录、用药记录、手术记录、随访记录。 b)根据数据存储格式，处理对象可分为： ——图像格式：Dicom、Dicom-RT、png、jpg、tif等； ——信号格式：xml、HL7等； ——视频格式：avi、mp4等； ——文本格式(如适用)：txt、doc、pdf等； ——其他格式：制造商自定义的数据格式。 7.1.2 数据显示 标注工具应具有数据显示界面，符合以下要求： a)标注工具宜支持数据读取范围内的数据显示功能，如： ——Dicom格式数据：序列翻页、窗宽窗位调整、多窗格显示、平移、整体缩放、反色、局部放大、直线测量、角度测量、图像旋转/翻转、序列播放、恢复原图、影像渲染、图像增益、动态范围等； ——视频格式数据：视频播放暂停、帧率调整、整体缩放、局部放大、对比度调整、饱和度调整等； ——图片格式数据：平移、旋转、整体缩放、局部放大、对比度调整、饱和度调整等； ——文本格式数据：字体大小调整、字体类型调整、局部放大、单栏显示、多栏显示、整页显示、滚动显示等。 b)数据显示界面应防止数据的未授权获取，如复制、下载、另存、打印等。 7.1.3 数据标注 标注工具宜提供标注任务需要的标注功能，如： ——提供标注工具，支持基本标注任务类型，包括分类标注、分割标注和检出标注等； ——分类标签可根据标注任务的颗粒度进行设置，如病例维度、检查维度、图像维度、病灶维度等；