Toggle navigation

.md .pdf

repository open issue suggest edit

Contents

Tokenization

Chinese

• The Segmentation Guidelines for the Penn Chinese Treebank (3.0)
  • Abstract
  • Chapter 1 Introduction
    • 1.1 Notion of word
    • 1.2 Tests of wordhood
    • 1.3 Compatibility with other guidelines
    • 1.4 Treatment for unclear cases
    • 1.5 Organization of this guidelines
  • Chapter 2 Specification
    • 2.1 Common noun: NN
      • 2.1.1 Name of relative
      • 2.1.2 CD+N
      • 2.1.3 DT+N
      • 2.1.4 PN+N
      • 2.1.5 JJ+N
      • 2.1.6 LC+N
      • 2.1.7 N+LC
      • 2.1.8 N+N: N1 modifies N2
      • 2.1.9 PN+LC
      • 2.1.10 V+N
    • 2.2 Proper Noun: NR
      • 2.2.1 Personal name
      • 2.2.2 Personal name with affixes
      • 2.2.3 Personal name + title
      • 2.2.4 Name of Organization/Country/School/..
      • 2.2.5 NR+NR: coordination without conjunction
    • 2.3 Temporal noun: NT
      • 2.3.1 CD+N
    • 2.4 Localizer: LC
    • 2.5 Pronoun: PN
    • 2.6 Determiner: DT
    • 2.7 Cardinal number: CD
    • 2.8 Ordinal number: OD
    • 2.9 Measure word: M
    • 2.10 Verb: VA, VC, VE, and VV
      • 2.10.1 Reduplication: A A, ABAB, A ABB, A AB, ABB，ABAC
      • 2.10.2 “Reduplication”： AA-kan, A-one-A, A-le-one-A，A-le-A
      • 2.10.3 A-not-A
      • 2.10.4 AD+V
      • 2.10.5 MSP+V
      • 2.10.6 N+V
      • 2.10.7 V+N
      • 2.10.8 V+R
      • 2.10.9 Potential form: V-de/bu-R
      • 2.10.10 V+DIR
      • 2.10.11 V+AS
      • 2.10.12 V+DER
      • 2.10.13 Verb coordination without conjunctive words
      • 2.10.14 V+coverb
      • 2.10.15 Others
    • 2.11 Adverb: AD
      • 2.11.1 Reduplication
      • 2.11.2 DT+M/N
      • 2.11.3 P+PN
      • 2.11.4 P+N
      • 2.11.5 PN+LC
      • 2.11.6 Others
    • 2.12 Preposition: P
    • 2.13 Subordinating Conjunction: CS
    • 2.14 Conjunction: CC
    • 2.15 Particle: DEC, DEG, DEV, DER，AS, SP，ETC，and MSP
    • 2.16 Interjection: IJ
    • 2.17 Onomatopoeia: ON
    • 2.18 Other noun-modifier: JJ
      • 2.18.1 V+N
      • 2.18.2 AD+VA
      • 2.18.3 VA+N
      • 2.18.4 CD+N
      • 2.18.5 P+N
      • 2.18.6 Others
    • 2.19 Punctuation: PU
    • 2.20 Foreign word: FW
    • 2.21 Others
      • 2.21.1 Idioms
      • 2.21.2 Telescopic strings
      • 2.21.3 Short form
  • Chapter 3 Collocation with Some Morphemes
    • 3.1 Strings with zhe5
    • 3.2 Strings with zhi1
    • 3.3 Strings with bu4
    • 3.4 Strings with shi4
    • 3.5 Strings with xiel
    • 3.6 Strings with you3
    • 3.7 Strings with zai4
    • 3.8 Strings with zi4ji3
  • Chapter 4 Common Collocations
    • 4.1 As one word
    • 4.2 As two words
    • 4.3 Other cases
  • Appendix A Comparison with Other Guidelines
  • Appendix B Treebank Part-of-Speech Tagset
  • Bibliography
• MSR中文文本标注规范 (5.0 版)
  • 第一章 概述
    • 1.1 版本说明
    • 1.2导读
    • 1.3标注格式
    • 1.4命名实体标记集
    • 1.5基本原则
      • 1.5.1基本考虑
      • 1.5.2标注对象
        • 1.5.2.1词表词与未登录词
        • 1.5.2.2L, P,O, dat,tim,dur等实体的边界允许跨越多个词表词
        • 1.5.2.4数字串（除专名以外的其他四类表达式）的标记不得插入到词表词的内部
          • 1.5.2.4.1dat，tim等标记不得插入到一个词表词的内部
          • 1.5.2.4.2int,ord等标记不得插入到到一个词表词的内部
        • 1.5.2.5数词首、半、双、两等
          • 1.5.2.5.1序数词素首
          • 1.5.2.5.2分数词素半
          • 1.5.2.5.3整数词素双
          • 1.5.2.5.4整数词素两
      • 1.5.3基本规定
  • 第二章 专有名词标注总则
    • 2.1专有名词（NAMEX）标注通则
    • 2.2专有名词是具体的、特定的，而不是抽象的、泛指的
    • 2.3复合专有名词的标注不允许嵌套
    • 2.4人名、地名、机构名中的数字串不单独标出
    • 2.5含有外文和数字的命名实体应整体一起标注
    • 2.6当两个实体用虚词的连接时应分别标注为两个实体
    • 2.7实体前后有引号或书名号的情况
    • 2.8短语内部包含实体、但整体又不是命名实体的情况
    • 2.9与军队相关的情况
    • 2.10多媒体、产品和条约中的人名、地名、机构名
    • 2.11别名或简称的标注
  • 第三章人名
    • 3.1人名标注规则
    • 3.2人名标注细则
      • 3.2.1人名的示例和详细说明
      • 3.2.1.1人名实例
      • 3.2.1.2称谓、绰号、官职不作为人名的一部分
      • 3.2.1.3当称谓和姓名不可分时应整体标注为人名
      • 3.2.1.4几世、几代要作为人名的一部分
      • 3.2.1.5家族实体
      • 3.2.1.6圣人和宗教人物要标注为人名
    • 3.3虚构的人物、动物的名字要标注为人名
      • 3.3.1在童话、小说中虚构人物要标注为人名
      • 3.3.2虚构的动物和非人的人物要标注为人名
      • 3.3.3用称谓或朝代等名号来指称特定人时要标注为人名
    • 3.4不标注为人名的各种情况
      • 3.4.1虚构的非人的植物的名字不作为人名标注
      • 3.4.2对于嵌套在地名和机构名中的人名，不作标注
      • 3.4.3作为书名或画名的人名
      • 3.4.5在人名后面出现基金会时要整体标注为机构名
  • 第四章 地名
    • 4.1地名标注规则
    • 4.2地名标注细则
      • 4.2.1地名实体示例
      • 4.2.2地名指示词（如国、省、市等）视为地名的一部分一起标注
      • 4.2.4跨国家的和国家内部的地名
        • 4.2.4.1表示地理方位的名词
        • 4.2.4.2方位词修饰地名实体时要整体标注为L
      • 4.2.5地名实体受时间词修饰时，时间词不标
      • 4.2.6 只有经纬度在一起时才能标注为 L
      • 4.2.7天体的标注
    • 4.3不作地名标注的示例
      • 4.3.1地区一般不作为地名的一部分标注
      • 4.3.2平原、山脉、山区、盆地、沙漠、流域不在标注范围内
      • 4.3.3对语言文字前的单音节地名不标，双音节的地名标注为L
      • 4.3.4以族或裔结尾的词组中地名也要标注
  • 第五章 机构名
    • 5.1机构名标注规则
    • 5.2机构名标注细则
      • 5.2.1机构名标注实体示例
      • 5.2.2机构名的后缀是机构名的一部分
      • 5.2.3国家（或国际）立法部门或行政部门标注为机构名
        • 5.2.4.1规则一
        • 5.2.4.2规则二
        • 5.2.4.3规则三
        • 5.2.4.4规则四
        • 5.2.4.5更复杂的情况
        • 5.2.4.6地名概念比较模糊的情况
        • 5.2.4.7紧邻的地名和机构名不构成修饰关系的情况
      • 5.2.5会议、晚会、运动会等以会结尾的短语是事件，不作机构名标注
      • 5.2.6用我们、我等代词修饰的机构名，只对机构名进行标注
      • 5.2.7大使馆和领事馆的标注
      • 5.2.8生产厂家要标注为机构名，产品则不标
      • 5.2.9报纸、广播电台、电视台和杂志的名字要标为机构名
      • 5.2.10特殊情况
      • 5.2.11特殊情况示例
      • 5.2.12地名和机构名容易混淆的情况
  • 第六章 数字串标注总则
    • 6.1时间表达式
      • 6.1.1日期（dat）和时间（tim）的定义
      • 6.1.2时段（dur）的定义
    • 6.2数字表达式
      • 6.2.1百分数（per）
      • 6.2.3频度（fre）
      • 6.2.4整数（int）
      • 6.2.5分数（fra）
      • 6.2.6小数（dec）
      • 6.2.7序数（ord）
      • 6.2.8比率（rat）
    • 6.3度量表达式
      • 6.3.1年龄（age）
      • 6.3.2温度（tem）
      • 6.3.3角度（ang）
      • 6.3.4长度（len）
      • 6.3.5面积（are）
      • 6.3.6容积（cap）
      • 6.3.7重量（wei）
      • 6.3.8速度（spe）
      • 6.3.9加速度（acc）
      • 6.3.10其它度量表达式（mea）
      • 6.4地址表达式
      • 6.4.1电子邮箱（ema）
      • 6.4.2电话（pho）
      • 6.4.3传真（fax）
      • 6.4.4电报挂号（tel）
      • 6.4.5邮政编码（pos）
      • 6.4.6网址（www）
  • 第七章 时间表达式标注细则
    • 7.1日期（dat）
      • 7.1.1日期起讫表达式的标注
      • 7.1.2前、头、下+时段（dur）应整体标注为dat
      • 7.1.3当乾隆、康熙、道光等表示年代时标注为dat
      • 7.1.4朝代名的默认值为dat
      • 7.1.5在”过去、今后、未来+时段（dur）”等修饰成分不进入标注范围
      • 7.1.6词表词近年来、近些年、近几年来、近几年、几年来等均不标注
    • 7.2时间
    • 7.3时段
      • 7.3.1一年都标为dur
      • 7.3.2一天的标注有以下三种情况，需区别对待：
        • 7.3.2.1”前一天”，不论其前面有没有定语修饰统统标注为dat（参见7.4.1）：
        • 7.3.2.2”一天”的意思是指时间段（24小时），标注为dur：
        • 7.3.2.3”一天”的意思相当于”有一天”，由于不是确指的日期所以什么也不标：
    • 7.4有关时间表达式的规则
      • 7.4.1前(后)+日期|时间要整体标注
      • 7.4.2反例——不应该标注的例子
      • 7.4.3特例
      • 7.4.4每年和年不标注
  • 第八章 数字表达式标注细则
    • 8.1如果整数、分数、小数、序数后面有量词，数量短语要整体标注
    • 8.2单纯的数字、词表词（包括俗语）中的数字都不作标注
    • 8.3约、近是一个不确切概念，故不同后面的数字串一起标注
    • 8.4钱款式中的地名
    • 8.5钱款标注中的特例
    • 8.6频率的特例
    • 8.7名词方没有与之搭配的量词，因此可以和前面的数词直接结合
    • 8.8一相当于英语的冠词a，一般不标
    • 8.9一（1）+量词不标注int
      • 8.9.1一+量词是词表词的情况
      • 8.9.2词表词一起、一块、一道、一面用作数量短语时应切开
    • 8.10一（1)”+物理单位元需按度量表达式标注
    • 8.11分数词素半
      • 8.11.1词表词中的词素半不可标注为fra（分数)
      • 8.11.2以下的词表词不作为分数标注，而作为其它不同的数字串标注
      • 8.11.3例外
    • 8.12序数词素首
      • 8.12.1词表词中的词素首不可标注为ord（序数)
      • 8.12.2具有首+量词结构的词表词或非词表词，应整体作为ord标注
    • 8.13序数词+量词结构，应整体作为ord标注
    • 8.14仅当形容词前表示比赛名次时才和后面的序数结构一起标注
    • 8.15文本中表示标号的数字不标
    • 8.16人名、地名、机构名中的数字，不单独标注int
    • 8.17外文字符串的标注
    • 8.18数学公式和机型标号均作为一个整体来切分和标注
  • 第九章 分词歧义消解细则
    • 9.1交集型歧义字段（OAS）
      • 9.1.1交集型歧义字段示例
      • 9.1.2隐藏的交集型歧义字段
    • 9.2组合型歧义字段(CAS)
      • 9.2.1常见的组合型歧义字段
        • 9.2.1.1数词一和量词组成的CAS
        • 9.2.1.2动量词次与频率int的标注
        • 9.2.1.3一(1)＋物理单位元量词构成度量表达式
      • 9.2.2CAS示例
      • 9.2.4就是、只有、只是、还是的切分规则
        • 9.2.4.1就是
        • 9.2.4.2只有
        • 9.2.4.3还是
        • 9.2.4.4只是

previous

Annotations

next

The Segmentation Guidelines for the Penn Chinese Treebank (3.0)