Toggle navigation

.md .pdf

repository open issue suggest edit

Annotations

• Tokenization
  • Chinese
    • The Segmentation Guidelines for the Penn Chinese Treebank (3.0)
      • Abstract
      • Chapter 1 Introduction
        • 1.1 Notion of word
        • 1.2 Tests of wordhood
        • 1.3 Compatibility with other guidelines
        • 1.4 Treatment for unclear cases
        • 1.5 Organization of this guidelines
      • Chapter 2 Specification
        • 2.1 Common noun: NN
          • 2.1.1 Name of relative
          • 2.1.2 CD+N
          • 2.1.3 DT+N
          • 2.1.4 PN+N
          • 2.1.5 JJ+N
          • 2.1.6 LC+N
          • 2.1.7 N+LC
          • 2.1.8 N+N: N1 modifies N2
          • 2.1.9 PN+LC
          • 2.1.10 V+N
        • 2.2 Proper Noun: NR
          • 2.2.1 Personal name
          • 2.2.2 Personal name with affixes
          • 2.2.3 Personal name + title
          • 2.2.4 Name of Organization/Country/School/..
          • 2.2.5 NR+NR: coordination without conjunction
        • 2.3 Temporal noun: NT
          • 2.3.1 CD+N
        • 2.4 Localizer: LC
        • 2.5 Pronoun: PN
        • 2.6 Determiner: DT
        • 2.7 Cardinal number: CD
        • 2.8 Ordinal number: OD
        • 2.9 Measure word: M
        • 2.10 Verb: VA, VC, VE, and VV
          • 2.10.1 Reduplication: A A, ABAB, A ABB, A AB, ABB，ABAC
          • 2.10.2 “Reduplication”： AA-kan, A-one-A, A-le-one-A，A-le-A
          • 2.10.3 A-not-A
          • 2.10.4 AD+V
          • 2.10.5 MSP+V
          • 2.10.6 N+V
          • 2.10.7 V+N
          • 2.10.8 V+R
          • 2.10.9 Potential form: V-de/bu-R
          • 2.10.10 V+DIR
          • 2.10.11 V+AS
          • 2.10.12 V+DER
          • 2.10.13 Verb coordination without conjunctive words
          • 2.10.14 V+coverb
          • 2.10.15 Others
        • 2.11 Adverb: AD
          • 2.11.1 Reduplication
          • 2.11.2 DT+M/N
          • 2.11.3 P+PN
          • 2.11.4 P+N
          • 2.11.5 PN+LC
          • 2.11.6 Others
        • 2.12 Preposition: P
        • 2.13 Subordinating Conjunction: CS
        • 2.14 Conjunction: CC
        • 2.15 Particle: DEC, DEG, DEV, DER，AS, SP，ETC，and MSP
        • 2.16 Interjection: IJ
        • 2.17 Onomatopoeia: ON
        • 2.18 Other noun-modifier: JJ
          • 2.18.1 V+N
          • 2.18.2 AD+VA
          • 2.18.3 VA+N
          • 2.18.4 CD+N
          • 2.18.5 P+N
          • 2.18.6 Others
        • 2.19 Punctuation: PU
        • 2.20 Foreign word: FW
        • 2.21 Others
          • 2.21.1 Idioms
          • 2.21.2 Telescopic strings
          • 2.21.3 Short form
      • Chapter 3 Collocation with Some Morphemes
        • 3.1 Strings with zhe5
        • 3.2 Strings with zhi1
        • 3.3 Strings with bu4
        • 3.4 Strings with shi4
        • 3.5 Strings with xiel
        • 3.6 Strings with you3
        • 3.7 Strings with zai4
        • 3.8 Strings with zi4ji3
      • Chapter 4 Common Collocations
        • 4.1 As one word
        • 4.2 As two words
        • 4.3 Other cases
      • Appendix A Comparison with Other Guidelines
      • Appendix B Treebank Part-of-Speech Tagset
      • Bibliography
    • MSR中文文本标注规范 (5.0 版)
      • 第一章 概述
        • 1.1 版本说明
        • 1.2导读
        • 1.3标注格式
        • 1.4命名实体标记集
        • 1.5基本原则
          • 1.5.1基本考虑
          • 1.5.2标注对象
            • 1.5.2.1词表词与未登录词
            • 1.5.2.2L, P,O, dat,tim,dur等实体的边界允许跨越多个词表词
            • 1.5.2.4数字串（除专名以外的其他四类表达式）的标记不得插入到词表词的内部
              • 1.5.2.4.1dat，tim等标记不得插入到一个词表词的内部
              • 1.5.2.4.2int,ord等标记不得插入到到一个词表词的内部
            • 1.5.2.5数词首、半、双、两等
              • 1.5.2.5.1序数词素首
              • 1.5.2.5.2分数词素半
              • 1.5.2.5.3整数词素双
              • 1.5.2.5.4整数词素两
          • 1.5.3基本规定
      • 第二章 专有名词标注总则
        • 2.1专有名词（NAMEX）标注通则
        • 2.2专有名词是具体的、特定的，而不是抽象的、泛指的
        • 2.3复合专有名词的标注不允许嵌套
        • 2.4人名、地名、机构名中的数字串不单独标出
        • 2.5含有外文和数字的命名实体应整体一起标注
        • 2.6当两个实体用虚词的连接时应分别标注为两个实体
        • 2.7实体前后有引号或书名号的情况
        • 2.8短语内部包含实体、但整体又不是命名实体的情况
        • 2.9与军队相关的情况
        • 2.10多媒体、产品和条约中的人名、地名、机构名
        • 2.11别名或简称的标注
      • 第三章人名
        • 3.1人名标注规则
        • 3.2人名标注细则
          • 3.2.1人名的示例和详细说明
          • 3.2.1.1人名实例
          • 3.2.1.2称谓、绰号、官职不作为人名的一部分
          • 3.2.1.3当称谓和姓名不可分时应整体标注为人名
          • 3.2.1.4几世、几代要作为人名的一部分
          • 3.2.1.5家族实体
          • 3.2.1.6圣人和宗教人物要标注为人名
        • 3.3虚构的人物、动物的名字要标注为人名
          • 3.3.1在童话、小说中虚构人物要标注为人名
          • 3.3.2虚构的动物和非人的人物要标注为人名
          • 3.3.3用称谓或朝代等名号来指称特定人时要标注为人名
        • 3.4不标注为人名的各种情况
          • 3.4.1虚构的非人的植物的名字不作为人名标注
          • 3.4.2对于嵌套在地名和机构名中的人名，不作标注
          • 3.4.3作为书名或画名的人名
          • 3.4.5在人名后面出现基金会时要整体标注为机构名
      • 第四章 地名
        • 4.1地名标注规则
        • 4.2地名标注细则
          • 4.2.1地名实体示例
          • 4.2.2地名指示词（如国、省、市等）视为地名的一部分一起标注
          • 4.2.4跨国家的和国家内部的地名
            • 4.2.4.1表示地理方位的名词
            • 4.2.4.2方位词修饰地名实体时要整体标注为L
          • 4.2.5地名实体受时间词修饰时，时间词不标
          • 4.2.6 只有经纬度在一起时才能标注为 L
          • 4.2.7天体的标注
        • 4.3不作地名标注的示例
          • 4.3.1地区一般不作为地名的一部分标注
          • 4.3.2平原、山脉、山区、盆地、沙漠、流域不在标注范围内
          • 4.3.3对语言文字前的单音节地名不标，双音节的地名标注为L
          • 4.3.4以族或裔结尾的词组中地名也要标注
      • 第五章 机构名
        • 5.1机构名标注规则
        • 5.2机构名标注细则
          • 5.2.1机构名标注实体示例
          • 5.2.2机构名的后缀是机构名的一部分
          • 5.2.3国家（或国际）立法部门或行政部门标注为机构名
            • 5.2.4.1规则一
            • 5.2.4.2规则二
            • 5.2.4.3规则三
            • 5.2.4.4规则四
            • 5.2.4.5更复杂的情况
            • 5.2.4.6地名概念比较模糊的情况
            • 5.2.4.7紧邻的地名和机构名不构成修饰关系的情况
          • 5.2.5会议、晚会、运动会等以会结尾的短语是事件，不作机构名标注
          • 5.2.6用我们、我等代词修饰的机构名，只对机构名进行标注
          • 5.2.7大使馆和领事馆的标注
          • 5.2.8生产厂家要标注为机构名，产品则不标
          • 5.2.9报纸、广播电台、电视台和杂志的名字要标为机构名
          • 5.2.10特殊情况
          • 5.2.11特殊情况示例
          • 5.2.12地名和机构名容易混淆的情况
      • 第六章 数字串标注总则
        • 6.1时间表达式
          • 6.1.1日期（dat）和时间（tim）的定义
          • 6.1.2时段（dur）的定义
        • 6.2数字表达式
          • 6.2.1百分数（per）
          • 6.2.3频度（fre）
          • 6.2.4整数（int）
          • 6.2.5分数（fra）
          • 6.2.6小数（dec）
          • 6.2.7序数（ord）
          • 6.2.8比率（rat）
        • 6.3度量表达式
          • 6.3.1年龄（age）
          • 6.3.2温度（tem）
          • 6.3.3角度（ang）
          • 6.3.4长度（len）
          • 6.3.5面积（are）
          • 6.3.6容积（cap）
          • 6.3.7重量（wei）
          • 6.3.8速度（spe）
          • 6.3.9加速度（acc）
          • 6.3.10其它度量表达式（mea）
          • 6.4地址表达式
          • 6.4.1电子邮箱（ema）
          • 6.4.2电话（pho）
          • 6.4.3传真（fax）
          • 6.4.4电报挂号（tel）
          • 6.4.5邮政编码（pos）
          • 6.4.6网址（www）
      • 第七章 时间表达式标注细则
        • 7.1日期（dat）
          • 7.1.1日期起讫表达式的标注
          • 7.1.2前、头、下+时段（dur）应整体标注为dat
          • 7.1.3当乾隆、康熙、道光等表示年代时标注为dat
          • 7.1.4朝代名的默认值为dat
          • 7.1.5在”过去、今后、未来+时段（dur）”等修饰成分不进入标注范围
          • 7.1.6词表词近年来、近些年、近几年来、近几年、几年来等均不标注
        • 7.2时间
        • 7.3时段
          • 7.3.1一年都标为dur
          • 7.3.2一天的标注有以下三种情况，需区别对待：
            • 7.3.2.1”前一天”，不论其前面有没有定语修饰统统标注为dat（参见7.4.1）：
            • 7.3.2.2”一天”的意思是指时间段（24小时），标注为dur：
            • 7.3.2.3”一天”的意思相当于”有一天”，由于不是确指的日期所以什么也不标：
        • 7.4有关时间表达式的规则
          • 7.4.1前(后)+日期|时间要整体标注
          • 7.4.2反例——不应该标注的例子
          • 7.4.3特例
          • 7.4.4每年和年不标注
      • 第八章 数字表达式标注细则
        • 8.1如果整数、分数、小数、序数后面有量词，数量短语要整体标注
        • 8.2单纯的数字、词表词（包括俗语）中的数字都不作标注
        • 8.3约、近是一个不确切概念，故不同后面的数字串一起标注
        • 8.4钱款式中的地名
        • 8.5钱款标注中的特例
        • 8.6频率的特例
        • 8.7名词方没有与之搭配的量词，因此可以和前面的数词直接结合
        • 8.8一相当于英语的冠词a，一般不标
        • 8.9一（1）+量词不标注int
          • 8.9.1一+量词是词表词的情况
          • 8.9.2词表词一起、一块、一道、一面用作数量短语时应切开
        • 8.10一（1)”+物理单位元需按度量表达式标注
        • 8.11分数词素半
          • 8.11.1词表词中的词素半不可标注为fra（分数)
          • 8.11.2以下的词表词不作为分数标注，而作为其它不同的数字串标注
          • 8.11.3例外
        • 8.12序数词素首
          • 8.12.1词表词中的词素首不可标注为ord（序数)
          • 8.12.2具有首+量词结构的词表词或非词表词，应整体作为ord标注
        • 8.13序数词+量词结构，应整体作为ord标注
        • 8.14仅当形容词前表示比赛名次时才和后面的序数结构一起标注
        • 8.15文本中表示标号的数字不标
        • 8.16人名、地名、机构名中的数字，不单独标注int
        • 8.17外文字符串的标注
        • 8.18数学公式和机型标号均作为一个整体来切分和标注
      • 第九章 分词歧义消解细则
        • 9.1交集型歧义字段（OAS）
          • 9.1.1交集型歧义字段示例
          • 9.1.2隐藏的交集型歧义字段
        • 9.2组合型歧义字段(CAS)
          • 9.2.1常见的组合型歧义字段
            • 9.2.1.1数词一和量词组成的CAS
            • 9.2.1.2动量词次与频率int的标注
            • 9.2.1.3一(1)＋物理单位元量词构成度量表达式
          • 9.2.2CAS示例
          • 9.2.4就是、只有、只是、还是的切分规则
            • 9.2.4.1就是
            • 9.2.4.2只有
            • 9.2.4.3还是
            • 9.2.4.4只是
• Part-of-Speech Tagging
  • Chinese
    • ctb
    • pku
    • 863
  • Japanese
    • NPCMJ
  • Multilingual
    • Universal Dependencies
• Named Entity Recognition
  • Chinese
    • pku
    • msra
  • Multilingual
    • ontonotes
• Dependency Parsing
  • Chinese
    • Stanford Dependencies Chinese
    • PKU Multi-view Chinese Treebank
  • English
    • Stanford Dependencies English
  • Multilingual
    • Universal Dependencies
      • Cross-Linguistic
      • Localization
        • Chinese
• Semantic Dependency Parsing
  • Chinese
    • SemEval2016
      • CSDP
        • 语义关系标注标签集
      • SemEval2016
  • English
    • The reduction of Minimal Recursion Semantics
    • Predicate-Argument Structures
    • Prague Czech-English Dependency Treebank
• Semantic Role Labeling
  • Chinese
    • Chinese Proposition Bank
  • English
    • English PropBank
• Constituency Parsing
  • Chinese
    • Chinese Tree Bank
  • English
    • Penn Treebank
  • Japanese
    • NPCMJ

previous

Data Format

next

Tokenization