JarCasting
JarCasting JarCasting

yido-tokenizer

korean tokenizer

License

License
Categories

Categories

MOA Business Logic Libraries Machine Learning
GroupId

GroupId

org.moara.yido
ArtifactId

ArtifactId

tokenizer
Last Version

Last Version

0.1.2
Release Date

Release Date
Type

Type

jar
Description

Description

yido-tokenizer
korean tokenizer
Project URL

Project URL

https://github.com/wigoAI/yido
Source Code Management

Source Code Management

https://github.com/wigoAI/yido

Download tokenizer

Filename Size
tokenizer-0.1.2.pom
tokenizer-0.1.2.jar 10 KB
tokenizer-0.1.2-sources.jar 10 KB
tokenizer-0.1.2-javadoc.jar 75 KB
Browse

How to add to project

<!-- https://jarcasting.com/artifacts/org.moara.yido/tokenizer/ -->
<dependency>
    <groupId>org.moara.yido</groupId>
    <artifactId>tokenizer</artifactId>
    <version>0.1.2</version>
</dependency>
// https://jarcasting.com/artifacts/org.moara.yido/tokenizer/
implementation 'org.moara.yido:tokenizer:0.1.2'
// https://jarcasting.com/artifacts/org.moara.yido/tokenizer/
implementation ("org.moara.yido:tokenizer:0.1.2")
'org.moara.yido:tokenizer:jar:0.1.2'
<dependency org="org.moara.yido" name="tokenizer" rev="0.1.2">
  <artifact name="tokenizer" type="jar" />
</dependency>
@Grapes(
@Grab(group='org.moara.yido', module='tokenizer', version='0.1.2')
)
libraryDependencies += "org.moara.yido" % "tokenizer" % "0.1.2"
[org.moara.yido/tokenizer "0.1.2"]

Dependencies

compile (5)

Group / Artifact Type Version
ch.qos.logback : logback-core jar 1.2.3
ch.qos.logback : logback-classic jar 1.2.3
ch.qos.logback : logback-access jar 1.2.3
com.seomse.commons : seomse-commons jar 1.2.3
org.chasen.mecab : mecab-java jar 0.993

test (1)

Group / Artifact Type Version
com.seomse.api : seomse-api jar 1.0.6

Project Modules

There are no modules declared in this project.

yido

modules

splitter (문단 문장 구분기)

  • 문단구분과 문장구분등에 사용 됨
  • 구분기는 이전 룰베이스 방식의 구분기가 성능이 좋은것을 확인함
    • 구분 데이터 정확도와 구분속도 등 모두 우수한 성능을 나타냄
    • 이전 방식을 관리방안이 쉽게 더 잘구성하여 관리하는 프로젝트로 진행함
    • 이전에는 문장 구분기 였는데 구분기로 잡아서 문단 구분에도 활용할 수 있게 함

tokenizer

문서 및 연구 내역

모듈 설명 및 소스

text-mining

  • text mining 방법의 클래스 제공

신조어

오탈자교정

전처리기

  • 전반각
  • 개인정보 처리 (삭제, 블라인드)
  • 특수문자 변환

STT 한글형 기호

  • 날짜 ( 7일전 1시간 등, 한글형 날짜)
  • 한글형 금액
  • 한글형 자동차번호

communication

blog, homepage

slack

  • moaara.slack.com
  • wigoailab.slack.com

main developer

Versions

Version
0.1.2
0.1.1
0.1.0