NLP 기반 일본어 문서 요약: 글로벌 제조 선도 기업을 위한 지능적이고 신속한 지식 처리

일본 시장


 

 

 

 

 

 

  • 팀 규모: 2명
  • 개발 기간: 3개월

 

 

 

 

 

Explore more case study

배경

제조, 금융, 법률 서비스와 같이 규제가 엄격한 산업의 전문 인력은 근무 시간의 상당 부분을 긴 보고서, 기술 문서, 계약서 및 내부 지식 저장소를 검토하는 데 사용합니다. 문서의 양이 지속적으로 증가하면서 핵심 정보를 수작업으로 추출하는 데 점점 더 많은 시간이 소요되고, 운영 효율성도 제한되고 있습니다.

McKinsey는 전체 업무 활동의 약 40%에 중간 수준의 자연어 이해 능력이 필요하다고 추정하며, 이에 따라 지식 집약적 업무는 AI가 가장 큰 생산성 향상을 이끌어낼 수 있는 영역 중 하나로 꼽힙니다. 한편 일본에서는 노동력 감소로 자동화의 우선순위가 점점 높아지고 있으며, 기업들은 생산성을 개선하고 지식 근로자를 지원하기 위해 AI 기술에 투자하고 있습니다.

이러한 배경에서 인쇄, 통신, 보안, 포장재, 장식재 및 전자 분야의 통합 솔루션을 제공하는 일본 소재 글로벌 기업은 직원들이 대량의 업무 문서를 처리하는 방식을 개선하고자 했습니다. 직원들은 핵심 정보를 파악하고, 검토 결과를 요약하며, 비즈니스 의사결정을 지원하기 위해 종종 수백 페이지에 이르는 방대한 보고서를 검토해야 했습니다.

고객사는 전문 분야별 콘텐츠 전반에서 높은 정확도를 유지하면서 의미 있는 인사이트를 자동으로 추출할 수 있는 AI 기반 일본어 문서 요약 솔루션을 원했습니다.

이러한 목표를 달성하기 위해 고객사는 GEM과 협력하여 최신 자연어 처리(NLP)와 트랜스포머 기반 언어 모델을 활용한 엔터프라이즈급 일본어 문서 요약 엔진을 구축했습니다.

Telecommunication

과제

도입 전

  • 직원들은 방대한 일본어 문서, 기술 보고서, 업무 기록을 수작업으로 검토했으며, 이로 인해 의사결정에 앞서 관련 정보를 찾는 데 상당한 시간이 소요되었습니다.
  • 기존 문서 처리 워크플로는 사람의 전문 지식에 크게 의존하여 부서 전반으로 지식 관리를 확대하기 어려웠습니다.
  • 범용 텍스트 요약 모델은 기업 활용에 필요한 업무별 전문 용어와 도메인 지식을 정확하게 반영하는 데 한계가 있었습니다.
  • 고객사는 각 업무 영역별로 별도의 AI 모델을 개발하지 않고도 여러 유형의 문서를 처리할 수 있는 솔루션이 필요했습니다.

도입 과정

  • 일본어 처리는 한자, 히라가나, 가타카나를 포함한 여러 문자 체계와 복잡한 문법 구조 및 문맥에 따른 표현으로 인해 고유한 기술적 과제를 안고 있었습니다.
  • 엔터프라이즈급 일본어 문서 요약 엔진을 개발하려면 긴 문서의 요약 정확도와 처리 효율성 사이에서 균형을 맞춰야 했습니다.
  • AI 모델은 다양한 산업과 문서 형식에 유연하게 대응하면서 전문 분야별 용어를 이해해야 했습니다.
  • 요약 품질을 개선하고 생성된 결과가 실제 기업 요구사항에 부합하도록 업무 사용자들의 지속적인 피드백을 개발 과정에 반영했습니다.
Artificial Intelligence (AI)
Data Analytics & Business Intelligence
tele
Data Analytics & Business Intelligence

솔루션 

고객사가 문서 중심의 업무 흐름을 자동화할 수 있도록 GEM은 최신 자연어 처리(NLP)와 트랜스포머 기반 AI 모델을 활용한 엔터프라이즈급 일본어 문서 요약 솔루션을 개발했습니다. 이 솔루션은 여러 업무 영역에 유연하게 적용하면서 방대한 일본어 문서를 정확하게 처리하도록 설계되었습니다.

전이 학습 프레임워크

GEM은 산업별로 별도의 모델을 구축하는 대신, AI 엔진이 여러 도메인에서 지식을 재사용할 수 있도록 전이 학습 방식을 적용했습니다. 이를 통해 개발에 필요한 노력을 줄이는 동시에 향후 활용 사례에 맞춰 일본어 문서 요약 솔루션을 더욱 쉽게 확장할 수 있도록 했습니다.

엔터프라이즈 NLP 파이프라인

GEM은 긴 일본어 문서에서 핵심 정보를 추출하고, 중요한 문장을 식별하며, 간결한 요약을 생성하는 자동화된 NLP 파이프라인을 개발했습니다. 이 워크플로는 비즈니스 맥락을 보존하면서 문서 검토에 필요한 수작업을 크게 줄였습니다.

고급 언어 모델

이 솔루션은 CRF, LSTM, BERT, T5, GPT-2를 결합하여 의미 이해, 키워드 추출, 텍스트 생성 성능을 향상했습니다. 이러한 모델을 함께 활용함으로써 AI 엔진은 다양한 문서 유형에 걸쳐 정확하고 문맥을 반영한 요약을 생성할 수 있었습니다.

지속적인 모델 최적화

GEM은 운영 환경에서 일관된 성능을 보장하기 위해 고객의 정기적인 피드백을 개발 과정에 반영했습니다. 지속적인 모델 개선을 통해 요약 품질을 높이고, 변화하는 비즈니스 요구사항에 솔루션이 부합하도록 했습니다.

전이 학습 프레임워크

GEM은 산업이나 문서 유형마다 별도의 AI 모델을 개발하는 대신, 한 도메인에서 학습한 지식을 다른 도메인에 효율적으로 적용할 수 있는 전이 학습 방식을 도입했습니다. 이를 통해 모델 개발 시간을 크게 단축하는 동시에 향후 기업 활용 사례에 대한 확장성을 높였습니다.

또한 이 접근 방식은 추가적인 도메인 지식이 확보됨에 따라 일본어 문서 요약 엔진이 지속적으로 개선될 수 있도록 했습니다.

기술 스택

  • 조건부 랜덤 필드(CRF)
  • 장단기 메모리(LSTM)
  • BERT
  • T5 (Text-to-Text Transfer Transformer)
  • GPT-2
  • 전이 학습
  • 이진 분류
  • 핵심 구문 추출
  • 문장 분류
  • 생성형 텍스트 요약

결과물 

이 프로젝트는 긴 비즈니스 문서를 높은 정확도로 처리하면서 수작업 문서 검토를 크게 줄일 수 있는 AI 기반 일본어 문서 요약 솔루션을 성공적으로 제공했습니다.

주요 결과물은 다음과 같습니다:

  • 장문의 일본어 비즈니스 문서에 맞춘 기업용 일본어 문서 요약 엔진을 개발했습니다.
  • 핵심 구문 추출, 중요 내용 분류, 간결한 요약 생성이 가능한 자동화된 NLP 파이프라인을 구축했습니다.
  • 최소한의 재학습으로 AI 솔루션을 다양한 비즈니스 도메인에 적용할 수 있는 전이 학습 프레임워크를 구현했습니다.
  • 고급 트랜스포머 기반 언어 모델을 활용하여 의미 이해 능력과 요약 품질을 높였습니다.
  • 향후 문서 처리 및 기업 지식 관리 이니셔티브를 지원하는 확장 가능한 AI 기반을 마련했습니다.

효과 

운영 효과

  • 간결하고 문맥을 반영한 요약을 자동으로 생성하여 긴 일본어 문서 검토에 필요한 시간을 단축했습니다.
  • 반복적인 수작업 문서 분석을 최소화하여 직원 생산성을 높였습니다.
  • 방대한 기업 문서에서 중요한 비즈니스 정보에 더 빠르게 접근할 수 있도록 했습니다.
  • 표준화된 AI 생성 요약을 통해 문서 처리의 일관성을 높였습니다.

비즈니스 효과

  • 이해관계자가 실행 가능한 인사이트에 더 빠르게 접근할 수 있도록 하여 비즈니스 의사결정을 가속화했습니다.
  • 비즈니스 정보를 더 쉽게 찾고 이해할 수 있도록 하여 부서 간 지식 공유를 개선했습니다.
  • 조직 전반에서 문서 처리 비중이 높은 추가 워크플로를 지원할 수 있는 확장 가능한 AI 역량을 구축했습니다.
  • 문서 요약을 넘어 향후 AI 이니셔티브를 지원하는 재사용 가능한 기업용 NLP 플랫폼을 구축했습니다.

AI 솔루션 성능

이 일본어 문서 요약 솔루션은 운영 환경에서 우수한 성능을 입증했습니다.

  • 첫 번째 기업 활용 사례로 문서 요약에 성공적으로 도입되었습니다.
  • 전문 분야의 일본어 문서에 대해 높은 요약 정확도를 달성했습니다.
  • 대규모 모델 재개발 없이 다양한 산업과 문서 유형으로 확장할 수 있도록 설계되었습니다.
  • 통계 모델과 트랜스포머 기반 AI를 결합한 최신 NLP 아키텍처를 기반으로 구축되어 기업의 장기적인 도입을 지원합니다.

맺음말

기업이 관리하는 데이터의 양이 계속 증가하면서 AI 기반 문서 처리는 핵심 비즈니스 역량으로 자리 잡고 있습니다. GEM은 고도화된 일본어 문서 요약을 통해 고객사가 지식 추출을 자동화하고 운영 효율성을 개선하며 의사결정을 가속화할 수 있도록 지원했습니다. 이 솔루션은 향후 전사적인 지능형 문서 처리(IDP) 프로젝트를 위한 확장 가능한 기반도 제공합니다.

또 다른 성공 사례를 살펴보세요: 모바일 뱅킹 애플리케이션 개발: 사용자 300만 명과 월간 거래 1,030만 건 지원