[spring] 분산락을 걸어도 동시성 문제가 발생한다?! (feat. 트랜잭션 AOP)

🔗 [redis] redisson으로 분산락 걸어서 동시성 문제 해결하기 (근데 해결 안됨)

정보 : 슬랙 웹훅 알림이 많이 가면 블락된다

때는 분당으로 교육 가던 길.. 갈 길도 멀고 가방이 무거워 노트북을 가져가지 않았다. 근데 아침 7시부터 슬랙 알림이 100개 넘게 왔다. (😈 : 어? 노트북 두고 간다 장애각이다) 앱 진입 시점에 사용하는 API + 사용자의 포기하지 않는 인내심이 합쳐져 팀원들한테 슬랙 알림 테러를 시작했다.

해당 포스팅에서 처리한 줄로만 알았던 데이터베이스 동시성이 원인이었다. 우리 서비스는 하루에 한 번만 미션 인증을 할 수 있는데 Repeatable Read 격리 수준이 INSERT 작업을 예방할 수 없어 API를 빠르게 연달아 호출하면 여러 번 인증하는 것이 가능했다.

이러한 동시성 문제를 막고자 분산락을 적용했고 잘 해결된 줄 알았으나 슬랙 테러가 발생한 것이다...!

당황하신 부지런한 pm님

모든 경우의 수로 에러를 내는, 나라는 엣지케이스 😇

 

락 획득/반환은 잘 되고 있습니다만

포스팅에서 확인할 수 있듯이 분산락을 위한 어노테이션을 만들고 AOP를 통해 락을 획득/반환하는 로직을 작성했다.

@Around("@annotation(com.nexters.goalpanzi.common.annotation.RedissonLock)")
public Object lockMissionVerification(final ProceedingJoinPoint joinPoint) throws Throwable {
    ...
    var args = joinPoint.getArgs();
    LockKey lockKey = LockKey.of(lockTarget, args);
    RLock lock = redissonClient.getLock(lockKey.toString());
        
    // joinPoint 수행 전에 락 획득하기
    boolean lockable = lock.tryLock(annotation.waitTime(), annotation.timeUnit());
    ...
    log.info("{} acquired {} lock with key: {}.", methodName, lockTarget, lockKey);
        
    // joinPoint 수행
    joinPoint.proceed();
        
    // joinPoint 수행 후 락 반환하기
    lock.unlock();
    log.info("{} released {} lock with key: {}.", methodName, lockTarget, lockKey);
    ...
 }

`docker logs [DOCKER_CONTAINER_ID] | grep "lock"`으로 로그를 출력하면 미션 인증 요청 시 락이 잘 걸리고 있는 것을 확인할 수 있다. 심지어 한 사용자가 한 미션에 대해 여러 번 요청을 보내도 순차적으로 실행되고 있었다.

2024-12-11 21:18:45 [http-nio-8080-exec-6]  INFO c.n.g.common.aop.RedissonLockAspect - createVerification acquired MissionVerification lock with key: LOCK:MissionVerification:[CreateMissionVerificationCommand{memberId=107, missionId=183}].
2024-12-11 21:18:46 [http-nio-8080-exec-6]  INFO c.n.g.common.aop.RedissonLockAspect - createVerification released MissionVerification lock with key: LOCK:MissionVerification:[CreateMissionVerificationCommand{memberId=107, missionId=183}].
2024-12-11 21:22:53 [http-nio-8080-exec-4]  INFO c.n.g.common.aop.RedissonLockAspect - createVerification acquired MissionVerification lock with key: LOCK:MissionVerification:[CreateMissionVerificationCommand{memberId=110, missionId=183}].
2024-12-11 21:22:53 [http-nio-8080-exec-4]  INFO c.n.g.common.aop.RedissonLockAspect - createVerification released MissionVerification lock with key: LOCK:MissionVerification:[CreateMissionVerificationCommand{memberId=110, missionId=183}].

 

락 획득 전에 트랜잭션이 시작된다고?!

동시성 문제는 트랜잭션과 관련있기 때문에 트랜잭션이 언제 시작되고 언제 끝나는지 분석하기로 했다. `application.yml` 파일에 다음 코드를 추가하여 트랜잭션의 시작과 종료 로그를 찍는다.

logging:
  level:
    org:
      springframework:
        transaction:
          interceptor: TRACE

실제 서비스는 테스트하는 데 오랜 시간이 걸리기 때문에 이전에 작성한 테스트 코드에 `@Transactional` 어노테이션을 붙이고 테스트 코드를 실행했다.

@Transactional
public class RedissonLockTestBean {
 
    @RedissonLock(waitTime = 1L)
    void serializeFunction(final Object args) throws InterruptedException {
        ...
    }
}

2024-12-11T23:12:22.488+09:00 TRACE 11616 --- [pool-2-thread-2] o.s.t.i.TransactionInterceptor           : Getting transaction for [com.nexters.goalpanzi.config.redisson.RedissonLockTestBean.serializeFunction]
2024-12-11T23:12:22.488+09:00 TRACE 11616 --- [pool-2-thread-1] o.s.t.i.TransactionInterceptor           : Getting transaction for [com.nexters.goalpanzi.config.redisson.RedissonLockTestBean.serializeFunction]
2024-12-11T23:12:22.645+09:00  INFO 11616 --- [pool-2-thread-2] c.n.g.common.aop.RedissonLockAspect      : serializeFunction acquired Unknown lock with key: LOCK:Unknown:[Resource1].
2024-12-11T23:12:22.645+09:00  INFO 11616 --- [pool-2-thread-1] c.n.g.common.aop.RedissonLockAspect      : serializeFunction acquired Unknown lock with key: LOCK:Unknown:[Resource0].
2024-12-11T23:12:24.707+09:00  INFO 11616 --- [pool-2-thread-2] c.n.g.common.aop.RedissonLockAspect      : serializeFunction released Unknown lock with key: LOCK:Unknown:[Resource1].
2024-12-11T23:12:24.708+09:00  INFO 11616 --- [pool-2-thread-1] c.n.g.common.aop.RedissonLockAspect      : serializeFunction released Unknown lock with key: LOCK:Unknown:[Resource0].
2024-12-11T23:12:24.708+09:00 TRACE 11616 --- [pool-2-thread-2] o.s.t.i.TransactionInterceptor           : Completing transaction for [com.nexters.goalpanzi.config.redisson.RedissonLockTestBean.serializeFunction]
2024-12-11T23:12:24.708+09:00 TRACE 11616 --- [pool-2-thread-1] o.s.t.i.TransactionInterceptor           : Completing transaction for [com.nexters.goalpanzi.config.redisson.RedissonLockTestBean.serializeFunction]

 
로그에서 알 수 있듯이 트랜잭션을 시작한 후에 분산락을 건다. 우리 서비스를 기준으로 설명하면 다음과 같은 일이 발생할 수 있다.

위와 같은 동시성 문제를 방지하기 위해서는 트랜잭션 시작 전에 분산락을 걸어야 한다.

 

Repeatable Read 격리 수준에서 INSERT로 인한 동시성 문제 예방하기

서비스에서 발생한 동시성 문제를 다시 정리해보면 다음과 같다.

• 하루에 한 번만 미션을 인증(INSERT)할 수 있는 서비스에서
• Repeatable Read 격리 수준으로 인해 동시성 문제가 발생했고,
• 이를 해결하기 위해 redis 분산락을 적용했지만
• 먼저 실행된 트랜잭션이 커밋되기 전의 데이터를 읽으면서 인증이 여러 번 수행되었다.

이를 해결하기 위해서는 트랜잭션 시작 전후에 분산락을 획득/반환해야 한다. 동일한 조인 포인트에서 `@Transactional`에 의한 AOP, `@RedissonLock`에 의한 AOP가 실행되기 때문에 그 순서를 조절해야 한다. 즉, 조인 포인트에 어드바이스들을 적절하게 끼워넣어야 한다.

🔗 조인 포인트, 어드바이스, AOP 개념 - [spring] 스프링 AOP

 

@Order로 AOP 순서 설정하기

`@Order`는 컴포넌트의 순서를 지정한다. 기본값은 `Ordered.LOWEST_PRECEDENCE`로 가장 낮은 우선순위를 의미한다.

@Retention(RetentionPolicy.RUNTIME)
@Target({ElementType.TYPE, ElementType.METHOD, ElementType.FIELD})
@Documented
public @interface Order {
	int value() default Ordered.LOWEST_PRECEDENCE;
}

public interface Ordered {
	int HIGHEST_PRECEDENCE = Integer.MIN_VALUE;
	int LOWEST_PRECEDENCE = Integer.MAX_VALUE;
	int getOrder();
}

`@Transactional`은 `Ordered.LOWEST_PRECEDENCE`를, 순서를 지정해주지 않은 `@RedissonLock` 또한 `Ordered.LOWEST_PRECEDENCE`를 갖는다. 분산락이 트랜잭션보다 먼저 실행되기 위해서는 트랜잭션보다 높은 우선순위를 가져야 한다. 따라서 `Ordered.LOWEST_PRECEDENCE`보다 작은 정수를 `value`로 갖는 `@Order` 어노테이션을 붙여준다.

@Order(Ordered.HIGHEST_PRECEDENCE) // 분산락을 가장 먼저 실행한다!!
@RequiredArgsConstructor
@Slf4j
@Aspect
@Component
public class RedissonLockAspect {
    ...
}

위와 같이 순서를 조정한 후 테스트 코드를 재실행하면 트랜잭션 시작 전에 분산락을 먼저 획득하는 것을 확인할 수 있다.

2024-12-11T23:22:24.979+09:00  INFO 16148 --- [pool-2-thread-2] c.n.g.common.aop.RedissonLockAspect      : serializeFunction acquired Unknown lock with key: LOCK:Unknown:[Resource1].
2024-12-11T23:22:24.979+09:00  INFO 16148 --- [pool-2-thread-1] c.n.g.common.aop.RedissonLockAspect      : serializeFunction acquired Unknown lock with key: LOCK:Unknown:[Resource0].
2024-12-11T23:22:25.010+09:00 TRACE 16148 --- [pool-2-thread-1] o.s.t.i.TransactionInterceptor           : Getting transaction for [com.nexters.goalpanzi.config.redisson.RedissonLockTestBean.serializeFunction]
2024-12-11T23:22:25.010+09:00 TRACE 16148 --- [pool-2-thread-2] o.s.t.i.TransactionInterceptor           : Getting transaction for [com.nexters.goalpanzi.config.redisson.RedissonLockTestBean.serializeFunction]
2024-12-11T23:22:27.012+09:00 TRACE 16148 --- [pool-2-thread-1] o.s.t.i.TransactionInterceptor           : Completing transaction for [com.nexters.goalpanzi.config.redisson.RedissonLockTestBean.serializeFunction]
2024-12-11T23:22:27.012+09:00 TRACE 16148 --- [pool-2-thread-2] o.s.t.i.TransactionInterceptor           : Completing transaction for [com.nexters.goalpanzi.config.redisson.RedissonLockTestBean.serializeFunction]
2024-12-11T23:22:27.074+09:00  INFO 16148 --- [pool-2-thread-2] c.n.g.common.aop.RedissonLockAspect      : serializeFunction released Unknown lock with key: LOCK:Unknown:[Resource1].
2024-12-11T23:22:27.074+09:00  INFO 16148 --- [pool-2-thread-1] c.n.g.common.aop.RedissonLockAspect      : serializeFunction released Unknown lock with key: LOCK:Unknown:[Resource0].

 
더 이상 같은 동시성 문제가 발생하지 않길 바라며... (이게 원인이 아니라면 2탄으로 돌아옵니다 😇)

---

참고자료

• https://github.com/spring-projects/spring-framework/tree/main