CONTENTS项目一认识数据标注项目三语音标注项目二图像标注项目四文本标注
概述本书按照整体项目、任务设计和完成过程展开，主要包括：图像标注、语音标注和文本标注三大项目，每一个项目里面由若干个任务构成。为了能够顺利地完成各项标注任务，本书以“必需、够用”为目标，在讲解操作任务之前，安排了相关的辅助任务。本书内容关系，如图所示。
数据标注的知识和原则数据标注的定义数据标注是借助标注软件，对人工智能学习数据进行加工和运用的行为。数据标注工程师和人工智能产品训练师都需要收集数据用来形成知识库，进而完成数据标注。根据标注对象的不同，标注的分类也不相同，一般可分为图像标注、语音标注和文本标注。典型的图像标注，如图所示。图（a）为人物原图，图（b）为标注后的图像。（a）人物原图（b）标注后的图像
数据标注的知识和原则图像标注随着科技的进步，图像作为信息传播的重要媒介，在智能监测、智能搜索引擎、无人驾驶、医学影像分析、航天、遥感等多个领域得到了广泛的研究，并在社会和经济生活中承担着越来越重要的角色。人们不断深入研究图像，促进了计算机视觉的发展。图像的基本概念如下。（1）像素。图像可以用矩阵来表示，矩阵中的一个元素代表图像空间中的一个点，称为像素（Pixel）。像素的大小与图像的分辨率有关，分辨率越高，图像就越清晰。（2）分辨率。分辨率是衡量图像细节表现力的技术参数。分辨率分为显示分辨率、图像分辨率和输出分辨率三种。通常所说的图像大小指的是图像的显示分辨率的大小。比如1K图像的分辨率为1920×1080，2K图像的分辨率为2048×1080，4K图像的分辨率为4096×2160。图像的分辨率越大，需要的存储空间也越大。（3）像素坐标系。像素坐标系u-v中，左上角的原点O对应坐标为（0，0），横坐标u和纵坐标v分别是图像所在的行和列。在视觉处理库OpenCV中，u坐标对应x坐标，v坐标对应y坐标。像素坐标系所示。（4）灰度图像。灰度图像是对彩色图像进行灰度化处理后的图像。由于很多模型对图像颜色的依赖性不高，通常可以先对彩色图像进行灰度化预处理用来去除彩色信息。这不仅能提高图像处理的鲁棒性，还可以提高图像处理的速度。灰度图像的每个像素信息是由一个量化的灰度级来描述的，没有彩色信息；而彩色图像（如RGB图像）中的每个像素信息则是由RGB三原色构成的，分别通过三个不同的灰度级来描述。灰度图像。（5）二值图像。二值图像的数据足够简单，只有两个值。二值图像的每个像素只能是黑或白，没有中间的灰度级过渡，像素值为0或255。二值化就是将彩色图像变成二值图像的过程。最常用的二值化处理，就是选取一个阈值，大于它的像素值就视为白色，小于它的像素值就视为黑色。二值图像。
数据标注的知识和原则图像标注随着科技的进步，图像作为信息传播的重要媒介，在智能监测、智能搜索引擎、无人驾驶、医学影像分析、航天、遥感等多个领域得到了广泛的研究，并在社会和经济生活中承担着越来越重要的角色。人们不断深入研究图像，促进了计算机视觉的发展。图像的基本概念如下。（6）色彩空间。不同的色彩空间采用不同的颜色表示方式，最常用的色彩空间是RGB色彩空间，除此之外还有HSV色彩空间、YUV色彩空间等。色度学理论认为，任何颜色均可由红、绿、蓝三种基本颜色混合得到。图像也可用红、绿、蓝三原色来表示。例如，RGB色彩空间中的R表示Red（红色），G表示Green（绿色），B表示Blue（蓝色）。这三种颜色以不同的量进行叠加，就可以显示出所有颜色。RGB颜色叠加，如图1-6所示。HSV色彩空间则是由Hue（色调）、Saturation（饱和度）、Value（明度）组成。YUV色彩空间是由一个Y（亮度）和两个UV（色度）决定的。（7）感兴趣区域。在图像处理的过程中，人们可能会对图像中的某个特定区域感兴趣，也只对该区域进行操作。例如，对于过道里安装的监控系统，其中的相机是固定安装的，感兴趣区域就选取行走区域。另外，感兴趣区域可以是任意形状的，如四边形或其他任意多边形。（8）图像保存格式。图像的常用格式包括：BMP、JPEG、GIF和PNG。其中，BMP格式为图像的非压缩格式。
数据标注的知识和原则图像标注的知识图像标注是利用视觉传感器采集到的图像，通过专门的标注软件转换成相应的语言描述，本质上类似于“看图说话”的过程。随着计算机视觉技术和卷积深度学习网络的发展，图像标注的需求与日俱增。一个好的模型，往往需要使用大量准确的标注数据进行训练，如自动驾驶中的车道识别、行人识别，智能安防中的人脸识别、步态识别、行为识别等。看图说话对于小朋友来说很容易掌握，但对于机器而言却是一个很大的挑战。机器无法像人一样的思考，但是可以通过大量标注数据对它进行训练和学习，使它具有最简单的智能。例如，图像标注就是完成图像信息到文本信息的“翻译”工作。图像标注的类型，主要有以下几种。01分类标注02标框标注03区域标注04描点标注05其他标注
数据标注的知识和原则语音和文本标注语音标注是将声音数据转换成文字信息的过程。例如，百度云语音、微信语音、智能音响、语音交互儿童玩具，以及智能客服机器人等，都是语音识别的典型应用。想要准确的完成语音识别，需要使用大量的人工标注数据对模型进行训练。因此，能否准确地将声音数据标注转换成对应的文字内容，对模型来说非常关键。语音标注的应用也比较广泛，比如：语音识别说话人、语音识别说话内容、语音判定性别、语音确定说话人数量、语音分析情感状态等。语音标注，如图所示。
数据标注的知识和原则语音和文本标注文本标注（1）文字和文本的表示。文本是由若干文字和字符所构成的，字符主要有3种编码，内码、字形码和输入码。内码是一个字符在计算机中保存时的代码，可以理解为内部编码，是用来称呼字符的编码。字形码是将字符在显示器或打印机等设备上展现出其形状的编码。输入码是指通过键盘输入字符时，将按键转换为某个字符的编码。（2）ASCII码。ASCII码是美国标准信息交换码。它采用7位二进制编码，可表示128种字符，包括10个数字0～9、52个大小写英文字母、32个控制字符，其他为专用字符。如“A”的ASCII码为1000001或41H。（3）国标码。国家标准中规定，用两个字节共16位二进制表示1个汉字。国标码共有汉字6763个，其中一级汉字为最常用的汉字，按汉语拼音字母顺序排列，共3755个；二级汉字为次常用汉字，按笔画顺序排列，共3008个；数字、字母、符号等共682个。国标码合计共7445个。由于国标码不能直接存储在计算机内，为了方便计算机处理和存储汉字，又区别于ASCII码，将国标码中每个字节的最高位设为1，这样就形成了在计算机内部用来进行存储、运算的汉字编码，叫机内码或汉字内码，简称内码。（4）文本标注。文本标注是将文字、符号、公式等在内的文本内容进行标注，让计算机能够读懂、分析、识别和展现文本的内容，从而应用于社会生产和生活中的各个领域。比如，通过购物评价来总结大家认可的产品标签，通过文本描述来分析情感，通过不同国家之间的文本转换来实现翻译，以及分析识别文本内容中的词性等。文本标注，如图所示。
数据标注的知识和原则数据标注的基本原则在进行数据标注时，必须要坚持质量为上的原则。如果仅仅追求标注的数量而不顾标注的质量，即使数量再多，也没有效果。保证标注质量的方式如下。1）标注标准的确定制定标准是保证数据质量的关键一步。一般可以设置标注样例、模板，如颜色的标准比色卡。对于模棱两可的数据，应设置统一的处理方式。参照的标准有时候还要考虑专业情况。以文本情感分析为例，“裂痕”一词，在心理学专业中，可能是个负面词，而在工业产品探伤专业则是一个中性词。2）标注软件和平台的选择对于标注软件和平台的选择。可以开发一个专门用于数据标注的可视化软件，同时也可以使用开源软件或线上的专业平台，如京东众智平台、百度数据众包平台等。3）质量和速度同样重要做标注时应强调，指标不能定得太高，如果定得太高，团队都为了完成数量任务，自然会忽略了质量，必然需要大量返工。4）专人做素材审核可以找专门的人做素材审核，主要负责素材标注后的验证，包括类型是否出错，位置、大小是否合适等。这可以帮助团队提升效率。
常用标注软件常用的图像标注软件有Labelme、LabelBox、RectLabel、COCO-UI。常用的语音标注软件有Praat。常用的文本标注软件有Doccano。Labelme软件的界面和菜单Praat软件的主界面
命令提示符的基础操作CMD是Command的缩写，即命令提示符。中文版的Windows操作系统中的命令提示符进一步提高了DOS操作命令的兼容性，用户可以在命令提示符中直接输入中文调用文件。命令提示符是Windows操作系统中重要的软件。在远程管理的过程中，使用命令提示符，只需要传递少量的数据就可以实现对机器的操作。图形界面需要传输大量的图形数据，很可能出现延迟、链接不稳定等情况，没有使用命令提示符的效率高。综上，使用命令提示符是一种高效的手段。搭建标注平台要用到一些“CMD”命令，了解基本的“CMD”命令将有助于提高平台搭建、库文件安装和管理等工作的效率。任务目标①掌握如何打开命令提示符。②了解Windows操作系统中常用的“CMD”命令。
Anaconda软件的安装和使用图2-8Anaconda软件集成的科学包示例图2-9AnacondaNavigator主界面Anaconda软件的介绍Anaconda软件包含了Conda、Python等180多个包及其依赖项。Anaconda软件集成的科学包示例，如图2-8所示。因为包含了大量的包，Anaconda软件的安装包较大，如果只需要某些特定的包，可以使用Miniconda软件这个较小的发行版本（仅包含Conda包和Python包）。Conda是Anaconda软件中的包管理工具，用于在同一台机器上安装不同版本的软件包及其依赖，并能够在不同的虚拟环境之间进行切换。Anaconda软件拥有可视化的程序安装和管理功能，相比单独安装Python软件，可以省去了很多相关配置的操作。AnacondaNavigator主界面，如图2-9所示。
Anaconda软件的安装和使用Python软件的介绍Python是一款用于科学计算和数据分析方面的重要软件，能够很快捷地实现各种人工智能技术，也是许多开源标注软件的重要平台。Python软件的介绍，如图所示。
Labelme软件的安装1.任务描述Labelme软件在使用前需要配置虚拟环境并进行安装，安装后通过相关命令启动该软件。2．任务目标①使用Conda包管理工具创建Labelme虚拟环境。②在Labelme虚拟环境下安装Labelme软件。
Labelme软件命令和常用图像数据集1．任务描述Labelme软件能够进行多种形式的图像标注，同时它可以使用自带的各种命令，如加载指定标注文件夹、指定标签、生成JSON文件等。同时，了解常用图像数据集，有利于后续将标定的图像转换成对应的公共数据集格式。2．任务目标①学习常用的Labelme命令。②了解常用的公共图像数据集。
图像分类标注作为计算机视觉领域的基础性任务，图像分类是目标检测、语义分割的重要支撑，其目标是将不同的图像划分到不同的类别，并实现最小的分类误差。经过近几十年的研究，图像分类已经成功地应用至社会生活的方方面面。如今，在生活中随处可见智能手机相册自动分类、自动垃圾分选、智能汽车交通标注分类等。现阶段的图像分类任务在很大程度上是靠监督学习来实现的，即每个样本都有其对应的标签，通过深度神经网络或其他人工智能学习模型来不断学习每个标签所对应的特征，并最终实现分类。在这种情况下，数据集的容量、标签的质量往往对模型的性能起着决定性的作用，想要得到高质量的数据集自然会带来标注的困难。因此，对于标注人员也会有更高的要求。在这种情况下，如何使用专业的标注软件，在减少标签信息同时保证标注精度，成为了数据标注进一步研究的目标。不同类型花的分类任务目标①学习如何使用Labelme软件导入指定的标签文件。②掌握使用Labelme软件进行单标签图像标注的方法。③掌握使用Labelme软件进行多标签图像标注的方法。
目标检测标注目标检测标注是指通过人工标注出图像中感兴趣的目标，如图像中的人、汽车、卡车等。一张图像上可以有不同的目标，同一类目标也可以有多个，通常使用矩形进行标注。图像的目标检测标注主要是针对二维图像进行的，需要人工在指定图像中标注感兴趣的目标信息，包括目标的位置、大小、类型等，一般用采用“left”标签、“top”标签、“width”标签、“height”标签、“class”标签来表示。模型训练的过程就是将上述素材数据传递给深度神经网络或其他机器学习模型，进行反复训练优化，最后筛选出效果比较好的学习模型，在完成学习模型后，就可以进行推理应用了。不同算法模型最终得出的结果也基本一样。对于给定的二维输入图像，输出该图像中检测到的目标信息，包括目标坐标、目标类型以及目标可信度。进行目标检测标注时，需要人工标注出目标的大小和位置并给出目标的类型，模型训练时会根据标注的信息来调整模型参数。正常情况下，矩形的大小、位置应该合适，刚好能将目标包围住。如果矩形太大或者太小，甚至位置偏移了，都会影响学习模型对矩形中真实内容的判断。
语义分割标注语义分割就是对图像中的每个对象打上标签，如把图像中的人、树木、草地、天空和动物等都打上对应的标签。语义分割标注和目标检测标注的区别主要在于：目标检测标注一般采用矩形，只要目标在矩形里就可以，而语义分割标注需要将物体的轮廓完整标注出来，标注精度远高于目标检测标注。现实情况中，需要对目标进行检测和标记，并精确到像素级，这在精确目标识别和目标行为理解等领域变得越来越重要。例如：智能驾驶的场景检测、行人的行为分析等，它们都需要对周围环境有着精确的理解，这就需要语义分割标注。语义分割作为计算机视觉中的典型任务，可以将视觉输入中的不同部分按照语义分到不同类别中。例如，如果想提取图中所有关于“人物”的像素，就可以把人物的颜色涂成特定的颜色。人物语义分割。语义分割让我们对图像的理解比图像分类和目标物体检测更详细。这种对细节的理解在很多领域都非常重要，包括自动驾驶、智能机器人和图像搜索引擎等。人工智能浪潮席卷而来，很多人都关注与机器人的语音交互，但未来的机器人和人类一样，同样需要使用眼睛来识别主人和宠物。举个简单例子，假如扫地机器人能够绕开丢在地上的臭袜子而清理旁边的纸屑，智能音箱能自动识别孩子的表情和心情，这一定能为生活增加不少的乐趣。图像的语义分割标注是人工智能领域中一个重要的分支，是机器视觉技术中的重要一环。在当前，图像的语义分割标注需要大量人工来完成高质量的标注工作。
实例分割标注实例分割标注是目标检测和语义分割的结合，即在图像中先将目标检测出来（目标检测），然后对每个目标打上对应标签（语义分割）。在语义分割标注中，不区分属于相同类别的不同目标（所有目标都标为相同颜色），实例分割标注则需要区分同类的不同实例（使用不同颜色来区分不同的人）。图像标注已经从粗推理发展到细推理，并且随着计算能力和研究能力的提高，这种演变已经发展到实例分割，并将继续下去。实例分割标注的图像则是提供给模型训练时使用的，要求模型能自动从图像中用目标检测的方法框选出不同的实例，再用语义分割的方法在不同实例区域内进行逐像素的标记。正常情况下，语义分割不区分属于相同类别的不同实例。例如，当图像中有两个人物时，语义分割会将人物整体的所有像素预测为“人物”类别。与此不同的是，实例分割标注需要区分出哪些区域属于第1个人、哪些区域属于第2个人，进而可以使用不同颜色将他们的像素标记出来。实例分割标注可以帮助智能系统更好地理解各种交互场景，如餐厅机器人给客人送咖啡能自动区别不同的顾客，家居看护机器人能自动识别哪个是小孩，哪个是大人，或者有多个小孩在一起玩时，哪个是自己家的小孩。标签可视化图像，如图所示。
全景分割标注全景分割标注是语义分割标注和实例分割标注的结合，既要检测所有目标，又要区分类别中的不同实例。实例分割只对图像中的目标进行检测和按像素分割，区分不同实例（使用不同颜色），而全景分割是对图中的所有物体包括背景都要进行检测和分割。在计算机视觉中，语义分割的任务是预测每个像素点的语义类别；实例分割的任务是预测每个实例物体包含的像素区域。全景分割（PanopticSegmentation）最先由FAIR与德国海德堡大学联合提出，其任务是为图像中每个像素点赋予类别Label和实例ID，生成全局的、统一的分割图像。全景分割标注是语义分割标注和实例分割标注的结合，对图像中所有物体和背景都要进行检测和分割。也就是不仅要对感兴趣的目标区域进行分割，而且也要对背景区域进行分割。背景区域的分割属于语义分割标注，而物体的分割根据实际应用，可以是语义分割标注，也可以属于实例分割标注。与语义分割标注相比，全景分割标注的困难在于要区分不同类别的实例。与实例分割标注相比，由于全景分割标注要求每个像素只能有1个类别和1个标注标签，因此不能出现实例分割标注中的重叠现象。全景分割标注，如图所示。
视频标注1．任务描述视频标注是对视频中物体进行分割和标注，一般步骤如下。将视频转换成一帧一帧连续的视频图像，按时间顺序保存在同一目录下。在此基础上，对第1帧视频图像进行分割。这种分割方法的特点是可以利用视频中前后帧目标轮廓的相似性来进行分割，通过保留前一帧视频图像的分割信息来达到减少工作量的目的。2．任务目标①学习如何使用Labelme软件导入指定的标签文件。②掌握使用Labelme软件进行视频标注的方法。
车道线和交通标志标注车道线标注是对图像中的车道线进行标注，而交通标志标注则是对图像中的各种交通标志进行标注。汽车在自动驾驶过程中，需要通过摄像头和各种传感器来检测和识别各种车道线和交通标志，来控制自身行驶在正确的车道内，同时辅助各种驾驶决策。为了提高车道线的检测效果，往往需要使用大量标注好的车道线图像和交通标志图像对模型进行训练。因此，标注车道线和交通标志具有重要意义和实用价值。无人驾驶是以机器学习为主的一门前沿领域，而车道线和交通标志的检测是无人驾驶的重要基础。车道线按照道路交通标线的功能划分为：指示标线、警告标线和禁止标线。车道线按标线方法可分为：白色虚线、白色实线、黄色虚线、黄色实线、双白虚线、双白实线、双黄虚线和双黄实线等。车道线按作用又可分为：车行道中心线、车道分界线、停止线、减速让行线、人行横道线、导流线、导向箭头和左转弯导线等。交通标志是用文字或符号传递引导、限制、警告或指示信息的道路设施。在交通标志中，一般是以安全、设置醒目、清晰、明亮的交通标志来实施交通管理的，保证道路交通安全、顺畅。交通标志有多种类型，主要分为主标志和辅助标志两大类。相机是目前无人驾驶中应用和研究最广泛的传感器。基于图像的物体检测和识别技术已经相当成熟。近几年，基于深度学习的视觉感知算法甚至超过了人类水平。无人驾驶车上一般会安装多个相机，兼顾不同的视角和任务。无人驾驶汽车，如图所示。
人体骨骼关节点标注人体骨骼关节点标注对于描述人体姿态和预测人体行为至关重要。因此，人体骨骼关节点标注是各种计算机和机器视觉任务的重要基础。常见的人体骨骼关节点标注的应用包括行为识别、运动分类、异常人体检测、手语识别等。人体骨骼关节点标注是计算机视觉中一个相对基础的任务，是人体动作识别、行为分析、人机交互和运动姿态跟踪等的前置任务。一般情况下可以将人体骨骼关节点标注细分为单个人或多个人的人体骨骼关节点标注、2D或3D人体骨骼关节点标注。3D人体姿态，如图所示。由于人体具有柔性，可以表现出现各种姿态，人体任何一个部位的微小变化都会产生一种新的姿态。因此，对人体骨骼关节点的观察受人物的穿着、姿态、视角等影响，而且还面临着遮挡、光照、雾等环境的影响。除此之外，2D人体骨骼关节点和3D人体骨骼关节点在视觉上会有明显的差异，身体不同部位都会有视觉上缩短的效果，使得人体骨骼关节点检测成为计算机视觉领域中一个极具挑战性的课题。而对于人体骨骼关节点模型而言，同样是需要大量、高质量的人体骨骼图像进行训练，因此人体骨骼关节点的标注具有重要应用价值。
Labelme批量命令和可视化1．任务描述Labelme批量命令指的是批量生成dataset数据集。Labelme可视化指的是对于标注好的图像，可以通过“Labelme_draw_json”命令生成可视化JSON文件。2．任务目标①学习如何使用Labelme软件批量生成dataset数据文件。②掌握Labelme可视化的方法。
Praat软件的安装1．任务描述Praat是一款跨平台的多功能语音标注软件，与现有许多语音标注软件不同，它是开源的软件，在遵循开源协议基础上供大家免费学习和使用。Praat软件主要用于对数字化的语音信号进行分析、标注、处理及合成。本任务主要学习如何下载和安装该软件。2．任务目标①了解Praat软件的下载过程。②掌握Praat软件的安装方法。
Praat软件的使用1．任务描述本任务主要介绍Praat软件的界面、菜单及使用方法。使用Praat软件来实现单人和多人的语音标注。2．任务目标①了解Praat软件的界面。②掌握使用Praat软件进行语音标注的方法。
单个说线．任务描述本任务主要是使用Praat软件对单个说话人的语音进行标注，单个说话人的语音标注相比多个说话人的语音标注要简单。我们先使用文本转语音软件，将特定文本转换成语音声音，再使用Praat软件对声音进行标注。2．任务目标①了解Praat软件使用界面。②掌握使用Praat软件进行单个说话人的语音标注的方法。
多个说线．任务描述本任务使用Praat软件实现对多个说话人的语音进行标注，即语音文件里面包含至少两个说话人。因此，不仅要标注说话人的语音内容，同时也要区分这段线．任务目标①了解Praat软件的界面。②掌握使用Praat软件进行多个说话人语音标注的方法。
Doccano软件的安装1．任务描述Doccano是一款开源文本标注软件。它提供了文本分类、序列标注、序列到序列和语音到文本的标注功能。因此，使用该软件可以为情绪分析、命名实体识别、文本摘要等创建标记数据。只需创建项目并上传数据就可开始标注。本任务主要讲解如何安装和启动Doccano软件。2．任务目标①了解Doccano软件的下载过程。②掌握Doccano软件的安装方法。
实体文本标注1．任务描述本任务主要讲解如何进行实体文本标注。通过创建项目、上传文本、定义标签、即可开始标注工作，完成后便可以下载实体文本标注结果。让机器或者模型能够从一句话中识别出人名、地名等，这就是命名实体识别，而人名、地名等这些被识别的目标就是命名实体。命名实体识别（NamedEntityRecognition，NER）又称为“专名识别”，是指识别文本中具有特定意义的实体，主要包括人名、地名、机构名、专有名词等。通常包括两部分：实体边界识别和确定实体类别。命名实体识别通常是知识挖掘、信息抽取的第1步，被广泛应用在自然语言处理领域。无论是传统的机器学习还是深度学习，大多数应用场景都是监督学习，也就是需要大量标注好的数据作为训练样本。如果希望机器能识别出人名、地名，就必须教会机器在一句话中，什么是人名，什么是地名。当然只看一句话是远远不够的，一般来说，至少也要上千句话才可以。这些句子都是需要人工来标注的，而标注出这些句子中命名实体的过程，称为“实体文本标注”。2．任务目标①了解Doccano软件的登录和使用。②掌握使用Doccano软件进行实体文本标注的方法。
情感分析标注1．任务描述本任务主要讲解如何进行情感分析标注。通过创建项目，上传需要标注的文本，定义情感标签，即可开始标注工作，完成后可以下载情感分析标注的结果。情感分析是自然语言处理中常用的方法，对于指导产品更新具有重要作用，如淘宝、天猫和京东平台的商品评价等。通过情感分析，可以挖掘产品在各个维度的优劣，从而明确如何改进产品。如分析外卖评价，可以分析菜品口味、送达时间、送餐态度、菜品丰富度等多个维度的用户情感指数，进而从各个维度上改进外卖服务。情感分析可以采用基于情感词典的方法，也可以采用基于深度学习的方法。基于情感词典的方法，是先对文本进行预处理，再利用构建好的情感词典，对文本进行字符串匹配，从而挖掘正面和负面信息。在情感分类领域，同样可以采用深度学习的方法，基于深度学习的情感分类，具有精度高、通用性强、不需要情感词典等优点。但无论哪种方法，都需要大量高质量的素材对模型进行训练，从而得到一个准确、通用和稳定的模型，以便应用在各种场景中。总之，情感分析标注对理解用户意图具有决定性的作用。基于词典的方法和基于深度学习的方法都可以进行情感分析。2．任务目标①了解Doccano软件的登录和使用。②掌握使用Doccano软件进行情感分析标注的方法。
词性标注1．任务描述词性指以词的特点作为划分词类的根据。词类是一个语言学术语，是一种语言中词的语法分类，是以语法特征为主要依据、兼顾词汇意义对词进行划分的结果。词性标注也被称为语法标注，是语料库语言学中将语料库内单词的词性按其含义和上下文内容进行标记的文本处理技术，即根据句子的上下文信息给句中的每个词确定一个最为合适的词性标记，如名词、动词、助词、量词、形容词等。如何使用Doccano软件对文本进行词性标注是本节主要的任务。词性标注（Part-of-Speechtagging或POStagging），又称词类标注或者简称标注，是指为分词结果中的每个单词标注一个正确的词性，也即确定每个词是名词、动词、形容词或其他词性的过程。所谓分词，它在中文里指的是将一个汉字序列切分成单独的词，本质是将连续的字序列按照一定的规范重新组合成词序列的过程。它是其他信息处理的基础，在搜索引擎、机器翻译、语音合成、自动分类、自动摘要、自动校对等方面，都需要用到分词。在汉语中，分词后的词性标注相对简单，因为在汉语词汇中词性多变的情况比较少见，大多词语只有一个词性，或者出现频次最高的词性远远高于第2位的词性。一般只需选取最高频词性，往往就可实现较为准确的中文词性标注。词性标注在文本分析和语音分析中都具有重要意义。例如，通过词性序列来标注人名的方法。在人名识别“我”“爱”“万”“胡”“冬”中，爱、胡、冬都是姓，会有多个识别结果，那么我们如何消除歧义并选择一个最合理的结果呢？例如，从多个识别结果中选择一个最佳的结果[我,爱万胡/nr,冬]、[我,爱,万胡冬/nr]、[我,爱,万,胡冬/nr]。
词性标注（1）开始处理：[我,爱万胡/nr,冬]忽略已经标注过的词：爱万胡/nr词序列：[我/r,爱万胡/nr,冬/l]的词性序列：rnl长度的负值也作为分值：-3评分结果：-3（2）开始处理：[我,爱,万胡冬/nr]忽略已经标注过的词：万胡冬/nr词序列：[我/r,爱/v,万胡冬/nr]的词性序列：rvnvn词序增加分值：1长度的负值也作为分值：-3评分结果：-2（3）开始处理：[我/r,爱/v,万,胡冬/nr]忽略已经标注过的词：爱/v忽略已经标注过的词：我/r忽略已经标注过的词：胡冬/nr词序列：[我/r,爱/v,万/nr,胡冬/nr]的词性序列：rvnnvn词序增加分值：1长度的负值也作为分值：-4评分结果：-3最后计算机选择结果：[我/r,爱/v,杨尚川/nr]。
词性标注通过上面的例子，我们可以看到，词性的识别具有很重要的应用价值。一般来说，对于一篇文章、一段文字，人工智能系统对它进行分析的过程从分句、分词开始，之后就是词性分析了。只有完成词性分析，才能进一步做专有名词或短语分析、句子成分分析、分句从句分析、主旨提取、关键词提取等更高级的分析处理。可想而知，如果词性分析的结果不准确，对于后面各个步骤都会造成极大的困难。2．任务目标①了解Doccano软件的登录和使用。②了解词性标注时使用的标注代码。③掌握使用Doccano软件进行词性标注的方法。
翻译标注1．任务描述本任务主要讲解如何进行序列到序列的翻译标注。通过创建项目，并上传需要翻译标注的文本，即可开始翻译标注工作，完成后便可以下载翻译标注的结果。机器翻译是计算语言学的一个分支，也是人工智能领域的一个重要应用，其最早的相关研究可以追溯到20世纪50年代。随着互联网的飞速发展，人们对语言翻译的需求与日俱增。机器翻译，即通过计算机将一种语言的文本翻译成另一种语言，已成为目前解决语言屏障的重要方法之一。早在2013年，“谷歌翻译”每天提供翻译服务就达十亿次之多，相当于全球一年的人工翻译量，处理的文字数量相当于一百万册图书。相比人工翻译，机器翻译可以大幅节约翻译时间，提高翻译效率，满足诸如资讯等海量文本的翻译需求，极大地降低了人力成本。而更重要的是，机器翻译让跨语言交流变成每个人都可以拥有的能力，出国、工作、学习很多时候不再求助于人，语言不通不再是人们获取信息和服务的障碍。机器翻译的研究经历了基于规则的方法、基于统计的方法、基于神经网络的方法3个阶段。20世纪90年代，基于统计的机器翻译方法被提出，随后迅速成为机器翻译研究的主流方法。基于统计的机器翻译使用双语平行语料库，即同时包含源语言和与其互为译文的目标语言文本的语料库作为训练数据来实现高效地学习和应用。因此高质量的标注语料库对于模型的训练至关重要。2．任务目标①了解Doccano软件的登录和使用。②掌握使用Doccano软件进行翻译标注的方法。
文本相似性标注1．任务描述在自然语言处理任务中，经常需要判断两篇文档是否相似，计算两篇文档的相似程度，这称为文本相似性分析。比如，当发现热点话题时，需要度量各篇文本内容的相似度，让内容相似的聚合在一起。在问答系统中，我们会准备一些经典问题和对应的答案，当用户的问题和经典问题很相似时，系统直接返回准备好的答案。当监控新闻稿件在互联网中传播的情况时，可以把所有和原创稿件相似的文章，都看作转发，进而刻画原创稿件的传播范围。在对语料进行预处理时，可以基于文本的相似度，把重复的文本挑出来并删掉。总之，在信息检索、文档聚类、词义消歧、自动作文评分、简答题评分、机器翻译和文本摘要等各种任务中都会用到文本相似性分析这一重要工具。文本相似性分析在信息检索、数据挖掘、机器翻译、文档复制检测等领域有着广泛地应用。它所对应的文本相似性标注适用于长文本和短文本的标注。通常，文本相似性标注需要判断两句话或两段文本表达的含义是否一致。如果一致标记为“相同”或“1”，不一致标记为“不同”或“-1”，部分相同标记“部分相同”或“2”，无法判定则标“无法确定”或“0”。2．任务目标①了解Doccano软件的登录和使用。②掌握使用Doccano软件进行文本相似性标注的方法。
文本摘要标注1．任务描述随着互联网产生的文本越来越多，文本信息过载问题日益严重，对各类文本进行降维的处理，显得非常有必要，文本摘要便是其中的1种手段。文本摘要标注可以让机器为我们提取一篇文章（甚至是一本书）中的重要信息。文本摘要作为传统的自然语言处理任务，至今依旧有新的发展和创新，这一方面得益于模型、方法、语料的支撑，另一方面也是由于文本摘要自身的重要性。摘要生成作为文本生成的1种方法，除了有着重复、冗余、不连贯、生成较短等问题，还有着特定的问题。其核心是如何根据上下文信息来确定摘要的关键信息，而非简单地压缩句子。基于大数据驱动的深度学习网络模型，可以根据大量的文本摘要标注数据，从文本中得到人们关心的问题。2．任务目标①了解Doccano软件的登录和使用。②掌握使用Doccano软件进行文本摘要标注的方法。