HanLP: Han Language Processing

thumb_up Good

Live Demo

Any multilingual sentence within 300 characters
SDP standard
Use multilingual model.

Linguistics

Dep Tree      
───────────── 
┌─────►┌──┬── 
│      │  └─► 
│      └─►┌── 
│         └─► 
│         ┌─► 
│      ┌─►├── 
│      │  └─► 
│      │  ┌─► 
│   ┌─►└──┴── 
│   │   ┌───► 
│   │   │┌──► 
│   │   ││┌─► 
│┌─►└───┴┴┼── 
││        └─► 
││        ┌─► 
││     ┌─►├── 
││     │  └─► 
││     │  ┌─► 
└┴─────┴─┬┼── 
         │└─► 
         └──► 
Token     
───────── 
2021年     
、         
HanLPv2.1 
は         
次         
世代        
の         
最         
先端        
多         
言語        
NLP       
技術        
を         
本番        
環境        
に         
導入        
し         
ます        
。         
Relation 
──────── 
obl      
punct    
nmod     
case     
compound 
nmod     
case     
compound 
nmod     
amod     
nmod     
compound 
obj      
case     
amod     
obl      
case     
obj      
root     
aux      
punct    
Lemma     
───────── 
2021年     
、         
hanlpv2.1 
は         
次         
世代        
の         
最         
先端        
多         
言語        
NLP       
技術        
を         
本番        
環境        
に         
導入        
し         
ます        
。         
PoS   
───── 
NOUN  
PUNCT 
NOUN  
ADP   
NOUN  
NOUN  
ADP   
NOUN  
NOUN  
ADJ   
NOUN  
NOUN  
NOUN  
ADP   
ADJ   
NOUN  
ADP   
NOUN  
VERB  
AUX   
PUNCT 
Token     
───────── 
2021年     
、         
HanLPv2.1 
は         
次         
世代        
の         
最         
先端        
多         
言語        
NLP       
技術        
を         
本番        
環境        
に         
導入        
し         
ます        
。         
NER Type 
──────── 
───►TIME 
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
Token     
───────── 
2021年     
、         
HanLPv2.1 
は         
次         
世代        
の         
最         
先端        
多         
言語        
NLP       
技術        
を         
本番        
環境        
に         
導入        
し         
ます        
。         
PoS      3       4       5       6       7       8       9 
───────────────────────────────────────────────────────────
NOUN ───►NP ───┐                                           
PUNCT──────────┼────────────────────────►NP ───┐           
NOUN ───►NP ───┘                               │           
ADP ───────────────────────────────────────────┤           
NOUN ──┐                                       │           
NOUN ──┴►NP ───┐                               │           
ADP ───────────┴►DNP ──┐                       │           
NOUN ──┐               ├►NP ───┐               │           
NOUN ──┴────────►NP ───┘       │               ├►IP ───┐   
ADJ ────────────────────►ADJP──┤               │       │   
NOUN ───────────────────►NP────┼►NP ───┐       │       │   
NOUN ──┐                       │       │       │       │   
NOUN ──┴────────────────►NP ───┘       │       │       │   
ADP ───────────────────────────────────┤       │       │   
ADJ ───────────┐                       ├►IP ───┘       ├►IP
NOUN ───►NP ───┴►NP ───┐               │               │   
ADP ───────────────────┤               │               │   
NOUN ──────────┐       ├────────►IP ───┘               │   
VERB ───►VP ───┴►NP ───┘                               │   
AUX ───────────────────────────────────────────────────┤   
PUNCT──────────────────────────────────────────────────┘   

Lexical

                            2021年 、 HanLPv2.1 は 次 世代 の 最 先端 多 言語 NLP 技術 を 本番 環境 に 導入 し ます 。
T1 NOUN 0 5 2021年
#1	AnnotatorNotes	T1	noun
T2 PUNCT 6 7 、
#2	AnnotatorNotes	T2	punctuation
T3 NOUN 8 17 HanLPv2.1
#3	AnnotatorNotes	T3	noun
T4 ADP 18 19 は
#4	AnnotatorNotes	T4	adposition
T5 NOUN 20 21 次
#5	AnnotatorNotes	T5	noun
T6 NOUN 22 24 世代
#6	AnnotatorNotes	T6	noun
T7 ADP 25 26 の
#7	AnnotatorNotes	T7	adposition
T8 NOUN 27 28 最
#8	AnnotatorNotes	T8	noun
T9 NOUN 29 31 先端
#9	AnnotatorNotes	T9	noun
T10 ADJ 32 33 多
#10	AnnotatorNotes	T10	adjective
T11 NOUN 34 36 言語
#11	AnnotatorNotes	T11	noun
T12 NOUN 37 40 NLP
#12	AnnotatorNotes	T12	noun
T13 NOUN 41 43 技術
#13	AnnotatorNotes	T13	noun
T14 ADP 44 45 を
#14	AnnotatorNotes	T14	adposition
T15 ADJ 46 48 本番
#15	AnnotatorNotes	T15	adjective
T16 NOUN 49 51 環境
#16	AnnotatorNotes	T16	noun
T17 ADP 52 53 に
#17	AnnotatorNotes	T17	adposition
T18 NOUN 54 56 導入
#18	AnnotatorNotes	T18	noun
T19 VERB 57 58 し
#19	AnnotatorNotes	T19	verb
T20 AUX 59 61 ます
#20	AnnotatorNotes	T20	auxiliary
T21 PUNCT 62 63 。
#21	AnnotatorNotes	T21	punctuation
T22 TIME 0 5 2021年

                            
                        

                            1	2021年	2021年	NOUN	NOUN	_	19	obl	_	_
2	、	、	PUNCT	PUNCT	_	1	punct	_	_
3	HanLPv2.1	HanLPv2.1	NOUN	NOUN	_	1	nmod	_	_
4	は	は	ADP	ADP	_	3	case	_	_
5	次	次	NOUN	NOUN	_	6	compound	_	_
6	世代	世代	NOUN	NOUN	_	9	nmod	_	_
7	の	の	ADP	ADP	_	6	case	_	_
8	最	最	NOUN	NOUN	_	9	compound	_	_
9	先端	先端	NOUN	NOUN	_	13	nmod	_	_
10	多	多	ADJ	ADJ	_	13	amod	_	_
11	言語	言語	NOUN	NOUN	_	13	nmod	_	_
12	NLP	NLP	NOUN	NOUN	_	13	compound	_	_
13	技術	技術	NOUN	NOUN	_	19	obj	_	_
14	を	を	ADP	ADP	_	13	case	_	_
15	本番	本番	ADJ	ADJ	_	16	amod	_	_
16	環境	環境	NOUN	NOUN	_	19	obl	_	_
17	に	に	ADP	ADP	_	16	case	_	_
18	導入	導入	NOUN	NOUN	_	19	obj	_	_
19	し	し	VERB	VERB	_	0	root	_	_
20	ます	ます	AUX	AUX	_	19	aux	_	_
21	。	。	PUNCT	PUNCT	_	19	punct	_	_

                            
                        

%3 1 2021年 2 3 HanLPv2.1 4 5 6 世代 5->6 compound 7 8 9 先端 10 11 言語 12 NLP 13 技術 12->13 compound 14 15 本番 16 環境 15->16 ARG1 17 18 導入 19 20 ます 21

Introduction

The multilingual NLP library for researchers and companies, built on PyTorch and TensorFlow 2.x, for advancing state-of-the-art deep learning techniques in both academia and industry. HanLP was designed from day one to be efficient, user friendly and extendable.

Thanks to open-access corpora like Universal Dependencies and OntoNotes, HanLP 2.1 now offers 10 joint tasks on 104 languages: tokenization, lemmatization, part-of-speech tagging, token feature extraction, dependency parsing, constituency parsing, semantic role labeling, semantic dependency parsing, abstract meaning representation (AMR) parsing. See also GitHub

HanLP versions