码农知识堂 - 1000bd
  •   Python
  •   PHP
  •   JS/TS
  •   JAVA
  •   C/C++
  •   C#
  •   GO
  •   Kotlin
  •   Swift
  • 数据标注工具 doccano | 命名实体识别(Named Entity Recognition,简称NER)


    目录
    • 安装
    • 数据准备
    • 创建项目
      • 创建抽取式任务
    • 上传
    • 定义标签
      • 构建抽取式任务标签
    • 任务标注
      • 命名实体识别
    • 导出数据
    • 查看数据

    命名实体识别(Named Entity Recognition,简称NER),是指识别文本中具有特定意义的实体。在开放域信息抽取中,抽取的类别没有限制,用户可以自己定义。

    安装

    详见:数据标注工具 doccano | 文本分类(Text Classification)

    数据准备

    上传的文件为txt格式,每一行为一条待标注文本,示例:
    corpus.txt 随便找了几个,一般都是垂直领域的数据标注

    (右肝肿瘤)肝细胞性肝癌(II-III级,梁索型和假腺管型),肿瘤包膜不完整,紧邻肝被膜,侵及周围肝组织,未见脉管内癌栓(MVI分级:M0级)及卫星子灶形成。(肿物1个,大小4.2×4.0×2.8cm)。
    患者20天前无明显诱因出现左侧胸背部持续性疼痛,于2025.02.01下城区中西医结合医院查胸部CT平扫示:右下肺少许炎症;肺气肿;慢性胰腺炎;建议追踪复查
    双肺透亮度可,左下肺背段见一类圆开/结节影,大小约27X28mm,周围可见片状密度增高影,病变局部与胸膜粘连
    

    创建项目

    UIE 支持抽取与分类两种类型的任务,根据实际需要创建一个新的项目:

    • 抽取式任务项目创建

      适配命名实体识别、关系抽取、事件抽取、评价观点抽取等任务

    • 分类式任务项目创建

      适配文本分类、句子级情感倾向分类等任务。

    创建抽取式任务

    image
    image

    上传

    image
    NOTE:doccano支持TextFile、TextLine、JSONL和CoNLL四种数据上传格式,UIE定制训练中统一使用TextLine这一文件格式,即上传的文件需要为txt格式,且在数据标注时,该文件的每一行待标注文本显示为一页内容。

    定义标签

    构建抽取式任务标签

    抽取式任务包含Span与Relation两种标签类型,Span指原文本中的目标信息片段,如实体识别中某个类型的实体,事件抽取中的触发词和论元;Relation指原文本中Span之间的关系,如关系抽取中两个实体(Subject&Object)之间的关系,事件抽取中论元和触发词之间的关系。
    以 corpus.txt 中的第一条数据为例(医疗场景-专病结构化):
    image
    image
    image
    image

    任务标注

    命名实体识别

    image
    image
    image

    导出数据

    选择导出的文件类型为JSONL(relation),导出数据示例:
    image

    查看数据

    image

    标注数据保存在同一个文本文件中,每条样例占一行且存储为json格式,其包含以下字段

    • id: 样本在数据集中的唯一标识ID。
    • text: 原始文本数据。
    • entities: 数据中包含的Span标签,每个Span标签包含四个字段:
      • id: Span在数据集中的唯一标识ID。
      • start_offset: Span的起始token在文本中的下标。
      • end_offset: Span的结束token在文本中下标的下一个位置。
      • label: Span类型。
    • relations: 数据中包含的Relation标签,每个Relation标签包含四个字段:
      • id: (Span1, Relation, Span2)三元组在数据集中的唯一标识ID,不同样本中的相同三元组对应同一个ID。
      • from_id: Span1对应的标识ID。
      • to_id: Span2对应的标识ID。
      • type: Relation类型。

    本文来自博客园,作者:VipSoft 转载请注明原文链接:https://www.cnblogs.com/vipsoft/p/18258382

  • 相关阅读:
    为什么要做字节对齐 alignment?
    栈和队列的应用 —— 循环队列
    AI绘画工具介绍
    LLM之Colossal-LLaMA-2:Colossal-LLaMA-2的简介、安装、使用方法之详细攻略
    Jmeter压测实战:Jmeter二次开发之自定义函数
    深入探讨进程间通信的重要性:理解不同的通信机制(下)
    Orchestrator中的hooks函数
    如何使用决策树判断要不要去相亲?
    通过Oracle Enterprise Manager管理OCI上的RAC
    使用易备数据备份软件,简单快速地备份 Oracle 数据库
  • 原文地址:https://www.cnblogs.com/vipsoft/p/18258382
  • 最新文章
  • 【JVM】编译执行与解释执行的区别是什么?JVM 使用哪种方式?
    用 Hashids 优雅解决 C 端自增 ID 暴露问题
    V8引擎 精品漫游指南--Ignition篇(上) 指令 栈帧 槽位 调用约定 内存布局 基础内容
    LLVM Pass快速入门(四):代码插桩
    milkup:桌面端 markdown AI续写和即时渲染
    基于项目工程构建SBOM(软件物料清单)的研究
    鸿蒙应用开发UI基础第二节:鸿蒙应用程序框架核心解析与实操
    .NET 中如何快速实现 List 集合去重?
    扣子Coze实战:从0到1打造抖音+小红书热点监控智能体
    浅谈数据访问层
  • 热门文章
  • 十款代码表白小特效 一个比一个浪漫 赶紧收藏起来吧!!!
    奉劝各位学弟学妹们,该打造你的技术影响力了!
    五年了,我在 CSDN 的两个一百万。
    Java俄罗斯方块,老程序员花了一个周末,连接中学年代!
    面试官都震惊,你这网络基础可以啊!
    你真的会用百度吗?我不信 — 那些不为人知的搜索引擎语法
    心情不好的时候,用 Python 画棵樱花树送给自己吧
    通宵一晚做出来的一款类似CS的第一人称射击游戏Demo!原来做游戏也不是很难,连憨憨学妹都学会了!
    13 万字 C 语言从入门到精通保姆级教程2021 年版
    10行代码集2000张美女图,Python爬虫120例,再上征途
小工具 小游戏
Copyright © 2022 侵权请联系2656653265@qq.com    京ICP备2022015340号-1

京公网安备 11010502049817号