HanLP: Han Language Processing

thumb_up Good

Live Demo

Any multilingual sentence within 100 characters
SDP standard
Use multilingual model.

Linguistics

Dep Tree      
───────────── 
          ┌─► 
┌────────►├── 
│         └─► 
│┌───────►┌── 
││        └─► 
││        ┌─► 
││   ┌───►├── 
││   │    └─► 
││   │┌─────► 
││   ││┌────► 
││   │││┌───► 
││   ││││┌──► 
││   │││││┌─► 
││┌─►└┴┴┴┴┼── 
│││       └─► 
│││       ┌─► 
│││    ┌─►├── 
│││    │  └─► 
└┴┴────┴─┬┬── 
         │└─► 
         └──► 
Token     
───────── 
2021      
年         
、         
HanLPv2.1 
は         
次         
世代        
の         
最         
先端        
多         
言語        
NLP       
技術        
を         
本番        
環境        
に         
導入        
します       
。         
Relation 
──────── 
nummod   
obl      
punct    
nsubj    
case     
compound 
nmod     
case     
compound 
compound 
compound 
compound 
compound 
obj      
case     
compound 
obl      
case     
root     
aux      
punct    
Lemma     
───────── 
2021      
年         
、         
HANLPV2.1 
は         
次         
世代        
の         
最         
先端        
多         
言語        
NLP       
技術        
を         
本番        
環境        
に         
導入        
します       
。         
PoS   
───── 
NUM   
NOUN  
PUNCT 
NOUN  
ADP   
NOUN  
NOUN  
ADP   
NOUN  
NOUN  
NOUN  
NOUN  
NOUN  
NOUN  
ADP   
NOUN  
NOUN  
ADP   
VERB  
AUX   
PUNCT 
Tok       
───────── 
2021      
年         
、         
HanLPv2.1 
は         
次         
世代        
の         
最         
先端        
多         
言語        
NLP       
技術        
を         
本番        
環境        
に         
導入        
します       
。         
NER Type 
──────── 
◄─┐      
◄─┴►DATE 
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
Tok       
───────── 
2021      
年         
、         
HanLPv2.1 
は         
次         
世代        
の         
最         
先端        
多         
言語        
NLP       
技術        
を         
本番        
環境        
に         
導入        
します       
。         
PoS      3       4       5       6       7       8       9 
───────────────────────────────────────────────────────────
NUM ───────────────────────────────────────────────────┐   
NOUN ──────────────────────────────────────────────────┤   
PUNCT──────────────────────────────────────────────────┤   
NOUN ──────────────────────────────────────────────────┤   
ADP ───────────────────────────┐                       │   
NOUN ──────────────────────────┤                       │   
NOUN ──────────────────────────┤                       │   
ADP ───────────────────────────┼►VP ────►VP ────►IP────┤   
NOUN ───►ADJP──┐               │                       │   
NOUN ───►ADJP──┴►ADJP──┐       │                       │   
NOUN ───────────►ADJP──┴►ADJP──┘                       ├►IP
NOUN ──┐                                               │   
NOUN   ├►NP ───┐                                       │   
NOUN ──┘       ├►NP ───┐                               │   
ADP ───────────┘       │                               │   
NOUN ──────────────────┼►NP ───┐                       │   
NOUN ──────────────────┘       ├►NP ───┐               │   
ADP ────────────────────►PP ───┘       │               │   
VERB ──┐                               ├────────►NP────┤   
AUX ───┴────────────────────────►VP ───┘               │   
PUNCT──────────────────────────────────────────────────┘   

Lexical

                            2021 年 、 HanLPv2.1 は 次 世代 の 最 先端 多 言語 NLP 技術 を 本番 環境 に 導入 します 。
T1 NUM 0 4 2021
#1	AnnotatorNotes	T1	numeral
T2 NOUN 5 6 年
#2	AnnotatorNotes	T2	noun
T3 PUNCT 7 8 、
#3	AnnotatorNotes	T3	punctuation
T4 NOUN 9 18 HanLPv2.1
#4	AnnotatorNotes	T4	noun
T5 ADP 19 20 は
#5	AnnotatorNotes	T5	adposition
T6 NOUN 21 22 次
#6	AnnotatorNotes	T6	noun
T7 NOUN 23 25 世代
#7	AnnotatorNotes	T7	noun
T8 ADP 26 27 の
#8	AnnotatorNotes	T8	adposition
T9 NOUN 28 29 最
#9	AnnotatorNotes	T9	noun
T10 NOUN 30 32 先端
#10	AnnotatorNotes	T10	noun
T11 NOUN 33 34 多
#11	AnnotatorNotes	T11	noun
T12 NOUN 35 37 言語
#12	AnnotatorNotes	T12	noun
T13 NOUN 38 41 NLP
#13	AnnotatorNotes	T13	noun
T14 NOUN 42 44 技術
#14	AnnotatorNotes	T14	noun
T15 ADP 45 46 を
#15	AnnotatorNotes	T15	adposition
T16 NOUN 47 49 本番
#16	AnnotatorNotes	T16	noun
T17 NOUN 50 52 環境
#17	AnnotatorNotes	T17	noun
T18 ADP 53 54 に
#18	AnnotatorNotes	T18	adposition
T19 VERB 55 57 導入
#19	AnnotatorNotes	T19	verb
T20 AUX 58 61 します
#20	AnnotatorNotes	T20	auxiliary
T21 PUNCT 62 63 。
#21	AnnotatorNotes	T21	punctuation
T22 DATE 0 6 2021 年

                            
                        

Syntactics

                            1	2021	2021	NUM	NUM	_	2	nummod	_	_
2	年	年	NOUN	NOUN	_	19	obl	_	_
3	、	、	PUNCT	PUNCT	_	2	punct	_	_
4	HanLPv2.1	HanLPv2.1	NOUN	NOUN	_	19	nsubj	_	_
5	は	は	ADP	ADP	_	4	case	_	_
6	次	次	NOUN	NOUN	_	7	compound	_	_
7	世代	世代	NOUN	NOUN	_	14	nmod	_	_
8	の	の	ADP	ADP	_	7	case	_	_
9	最	最	NOUN	NOUN	_	14	compound	_	_
10	先端	先端	NOUN	NOUN	_	14	compound	_	_
11	多	多	NOUN	NOUN	_	14	compound	_	_
12	言語	言語	NOUN	NOUN	_	14	compound	_	_
13	NLP	NLP	NOUN	NOUN	_	14	compound	_	_
14	技術	技術	NOUN	NOUN	_	19	obj	_	_
15	を	を	ADP	ADP	_	14	case	_	_
16	本番	本番	NOUN	NOUN	_	17	compound	_	_
17	環境	環境	NOUN	NOUN	_	19	obl	_	_
18	に	に	ADP	ADP	_	17	case	_	_
19	導入	導入	VERB	VERB	_	0	root	_	_
20	します	します	AUX	AUX	_	19	aux	_	_
21	。	。	PUNCT	PUNCT	_	19	punct	_	_

                            
                        

Semantics

%3 1 2021 2 1->2 ARG2 3 4 HanLPv2.1 5 6 7 世代 6->7 compound 8 9 10 先端 11 12 言語 14 技術 12->14 compound 13 NLP 13->14 compound 15 15->14 ARG1 19 導入 19->14 ARG2 16 本番 17 環境 16->17 compound 18 18->17 ARG2 20 します 21

Introduction

The multilingual NLP library for researchers and companies, built on PyTorch and TensorFlow 2.x, for advancing state-of-the-art deep learning techniques in both academia and industry. HanLP was designed from day one to be efficient, user friendly and extendable.

Thanks to open-access corpora like Universal Dependencies and OntoNotes, HanLP 2.1 now offers 10 joint tasks on 104 languages: tokenization, lemmatization, part-of-speech tagging, token feature extraction, dependency parsing, constituency parsing, semantic role labeling, semantic dependency parsing, abstract meaning representation (AMR) parsing. See also GitHub

HanLP versions