yido-splitter

The splitter what performs split by splitResult or paragraph unit.

License

License

Categories

Categories

MOA Business Logic Libraries Machine Learning
GroupId

GroupId

org.moara.yido
ArtifactId

ArtifactId

splitter
Last Version

Last Version

0.1.0
Release Date

Release Date

Type

Type

jar
Description

Description

yido-splitter
The splitter what performs split by splitResult or paragraph unit.
Project URL

Project URL

https://github.com/wigoAI/yido
Source Code Management

Source Code Management

https://github.com/wigoAI/yido

Download splitter

How to add to project

<!-- https://jarcasting.com/artifacts/org.moara.yido/splitter/ -->
<dependency>
    <groupId>org.moara.yido</groupId>
    <artifactId>splitter</artifactId>
    <version>0.1.0</version>
</dependency>
// https://jarcasting.com/artifacts/org.moara.yido/splitter/
implementation 'org.moara.yido:splitter:0.1.0'
// https://jarcasting.com/artifacts/org.moara.yido/splitter/
implementation ("org.moara.yido:splitter:0.1.0")
'org.moara.yido:splitter:jar:0.1.0'
<dependency org="org.moara.yido" name="splitter" rev="0.1.0">
  <artifact name="splitter" type="jar" />
</dependency>
@Grapes(
@Grab(group='org.moara.yido', module='splitter', version='0.1.0')
)
libraryDependencies += "org.moara.yido" % "splitter" % "0.1.0"
[org.moara.yido/splitter "0.1.0"]

Dependencies

compile (4)

Group / Artifact Type Version
com.seomse.commons : seomse-commons jar 1.2.5
commons-io : commons-io jar 2.5
com.google.code.gson : gson jar 2.8.6
org.moara.yido : evaluation jar 0.1.0

test (1)

Group / Artifact Type Version
org.junit.jupiter : junit-jupiter-api jar 5.6.0

Project Modules

There are no modules declared in this project.

yido

modules

splitter (문단 문장 구분기)

  • 문단구분과 문장구분등에 사용 됨
  • 구분기는 이전 룰베이스 방식의 구분기가 성능이 좋은것을 확인함
    • 구분 데이터 정확도와 구분속도 등 모두 우수한 성능을 나타냄
    • 이전 방식을 관리방안이 쉽게 더 잘구성하여 관리하는 프로젝트로 진행함
    • 이전에는 문장 구분기 였는데 구분기로 잡아서 문단 구분에도 활용할 수 있게 함

tokenizer

문서 및 연구 내역

모듈 설명 및 소스

text-mining

  • text mining 방법의 클래스 제공

신조어

오탈자교정

전처리기

  • 전반각
  • 개인정보 처리 (삭제, 블라인드)
  • 특수문자 변환

STT 한글형 기호

  • 날짜 ( 7일전 1시간 등, 한글형 날짜)
  • 한글형 금액
  • 한글형 자동차번호

communication

blog, homepage

slack

  • moaara.slack.com
  • wigoailab.slack.com

main developer

Versions

Version
0.1.0