대용량 광고 데이터 처리 및 분산 환경에서의 안정성 확보

문제 상황: 광고주 데이터 대량 적재 요구가 있었고, 해당 데이터는 delete → insert 방식으로 처리해야 했습니다. JPA 메소드로 saveAll(), deleteAll()을 사용하더라도 단건씩 처리되어 성능 병목이 발생했으며, 외부 광고 매체 API 호출 시 블로킹 방식으로 인한 스레드 효율성 저하 문제가 있었습니다. 또한 MSA 환경에서 서비스 간 호출 시 트랜잭션 경계가 달라 데이터 불일치 문제가 발생했고, 무한정 요청이 들어올 경우 스레드 고갈로 인한 서버 다운 위험도 존재했습니다.

접근 및 해결:
1. 대용량 데이터 처리 최적화
JDBC Template을 이용한 Bulk Delete/Insert 전략을 도입하여 삭제/적재 작업을 Queue에 넣고 chunk size 단위로 묶어 일괄 처리하도록 변경했습니다. JPA Hibernate를 우회하여 OOM을 방지하고 다건 처리로 속도를 대폭 향상시켰습니다.

2. 가상 스레드 기반 병렬 처리
Java 21에서 도입된 가상 스레드(Virtual Thread)를 활용하여 비싼 Application Level의 플랫폼 스레드 대신 경량 가상 스레드로 외부 API 통신을 병렬 처리했습니다. 외부 광고 매체 API 호출이 가장 많은 부분에서 가상 스레드를 통한 병렬 호출로 I/O 대기 시간을 효율적으로 활용했습니다.

3. RabbitMQ 메시지 브로커 도입
스레드 풀을 직접 관리하는 대신 RabbitMQ 메시지 브로커를 도입하여 Transaction OutBox 패턴으로 메시지를 안정적으로 발행했습니다. 메시지가 Queue에 쌓이면 Consumer가 설정된 개수만큼만 병렬로 처리하도록 구성하여, 무한정 요청이 들어오더라도 스레드 고갈이 발생하지 않고 최종적으로는 모두 처리될 수 있도록 보장했습니다.

4. SAGA 패턴 + 보상 트랜잭션
MSA 환경에서 서비스 간 트랜잭션 경계가 다른 문제를 해결하기 위해 SAGA 패턴을 적용했습니다. 외부 서비스 호출이 성공했으나 이후 처리에서 실패할 경우, 단계별로 보상 트랜잭션을 실행하여 데이터 일관성을 유지했습니다. 보상 트랜잭션 또한 실패할 수 있다고 판단하여 지수 백오프 기반 3회 재시도를 적용하고, 최종 실패 시 Slack Webhook으로 알림을 발송하여 데이터 일관성을 최대한 보장했습니다.

성과: 1000만 건의 대용량 데이터 기준 처리 속도가 4시간 30분에서 1시간으로 단축되어 78% 성능 개선을 달성했습니다. RabbitMQ와 가상 스레드 도입으로 서버 부하를 분산시키고 스레드 고갈 문제를 원천 차단했으며, SAGA 패턴을 통해 분산 환경에서의 데이터 일관성을 99% 이상 유지하여 서비스의 안정성과 가용성을 크게 향상시켰습니다.

OCR 텍스트 매칭 정확도 문제

문제 상황: 임상 실험 검사 시 규제 단어 검출을 위해 사용자가 등록한 딕셔너리와 AI 서버에서 분석된 OCR 텍스트를 매칭해야 했습니다. 하지만 OCR 결과가 단어 단위가 아닌 "안 녕"처럼 글자별로 분리되어 오는 경우가 많아 정확한 매칭이 어려웠고, 수만 개의 딕셔너리 단어를 실시간으로 검색하기엔 성능 병목이 발생했습니다.

접근 및 해결: 성능 최적화를 위해 애플리케이션 시작 시 트라이 알고리즘으로 딕셔너리 검색 구조를 미리 구축하고, 사용자가 추가한 새로운 단어들을 매일 아침 배치 작업을 통해 트라이 구조에 반영하여 메모리 효율성과 안정성을 확보했습니다. OCR 텍스트의 분리 문제 해결을 위해 슬라이딩 윈도우 알고리즘을 적용하여 연속된 글자들을 조합해 단어를 재구성하고 딕셔너리와 매칭하도록 구현했습니다.

성과: 트라이 + 슬라이딩 알고리즘 도입으로 검색 속도가 기존 대비 60% 개선되어 사용자에게 전달하는 응답 속도가 향상되었습니다.

인프라 확장성 및 배포 안정성 개선

문제 상황: 기존에는 EC2 + CodeDeploy + Nginx를 통한 무중단 배포를 사용했지만, MSA로 프로젝트 구조를 변경할 예정이었습니다. 각 모듈별로 개별 EC2 인스턴스를 관리하고 배포하기에는 확장성이 떨어지고, 인프라 관리가 복잡해지는 문제가 있었습니다. 또한 수동으로 관리되는 인프라 설정으로 인해 환경 일관성과 재현성에 어려움이 있었습니다.

접근 및 해결: 컨테이너 기반 아키텍처로 전환하여 AWS ECS를 도입하고, 각 모듈을 독립적인 컨테이너로 패키징하여 확장성과 격리성을 확보했습니다. Blue/Green 배포 전략을 통해 무중단 배포를 구현하고, 배포 실패 시 자동 롤백이 가능하도록 ECS 서비스 설정을 구성했습니다. 인프라 관리의 일관성과 재현성을 위해 Terraform을 활용한 IaC(Infrastructure as Code)를 도입하여 중요한 인프라 리소스를 코드로 관리하고 버전 제어가 가능하도록 구축했습니다.

성과: 멀티모듈 환경에서 각 서비스별 독립적인 배포와 확장이 가능해져 개발 생산성이 42% 향상되었습니다. ECS 오토스케일링을 통해 트래픽 증가 시 자동으로 인스턴스가 확장되어 서비스 안정성이 99.9%로 개선되었고, Terraform을 통한 인프라 코드화로 환경 구성 시간이 기존 대비 70% 단축되었습니다.

커뮤니케이션을 통한 고객 이탈률 최소화

문제 상황: 기획서 기반 개발로 인해 시나리오 내 인증 절차가 과도하게 길어져, 사용자가 피싱으로 오해하거나 복잡함을 느껴 이탈하는 문제 발생 (고객 이탈률 60% 이상)

접근 및 해결: PM과 협의하여 시나리오 내 인증 단계 최소화 요청 및 반영, 음성봇 UX 개선을 통해 키패드 입력 시 음성 재생 중에도 버튼 입력으로 즉시 다음 단계 진행 가능하도록 구현

성과: 모니터링 결과 고객 이탈률 60% → 10% 미만으로 83% 감소 달성