[Spring] Hadoop- Hive 컨넥션 유지 방법, @Scheduled

ㅁ 들어가며

ㅇ Kotlin과 Spring을 사용하여 Hive 연결을 주기적으로 유지하기 위한 방법을 찾고 있었다.

ㅇ 검색해면서 @Scheduled 어노테이션을 이용한 방법을 찾아 그 내용을 정리한 글이다.

 

ㅁ @EnableScheduling 설정

@SpringBootApplication
@EnableScheduling
class YourApplication

fun main(args: Array<String>) {
    runApplication<YourApplication>(*args)
}

ㅇ 기본적으로 애플리케이션의 메인 클래스나 설정 클래스에 @EnableScheduling 어노테이션을 추가한다.

 

ㅁ 연결 유지 서비스 생성

@Service
class HiveConnectionService(
    private val jdbcTemplate: JdbcTemplate
) {
    private val logger = LoggerFactory.getLogger(HiveConnectionService::class.java)

    @Scheduled(fixedRate = 1800000) // 30분마다 실행 (밀리초 단위)
    fun keepAliveConnection() {
        try {
            val result = jdbcTemplate.queryForObject("SELECT 1", Int::class.java)
            logger.info("Hive connection keep-alive query executed. Result: $result")
        } catch (e: Exception) {
            logger.error("Error executing Hive keep-alive query", e)
            // 여기에 연결 재설정 로직을 추가할 수 있습니다.
            resetConnection()
        }
    }
}

ㅇ Hive 연결을 관리하는 서비스 클래스를 생성한다.

ㅇ @Service 어노테이션은 이 클래스를 Spring의 서비스 빈으로 등록한다.

ㅇ @Scheduled(fixedRate = 1800000)는 메서드를 30분(1,800,000 밀리초)마다 실행하도록 설정하였다.

ㅇ keepAliveConnection() 메서드는 간단한 SELECT 쿼리를 실행하여 연결을 유지한다.

 

ㅁ 연결 재설정 로직

@Autowired
private lateinit var dataSource: DataSource

private fun resetConnection() {
    try {
        (dataSource as? HikariDataSource)?.let { ds ->
            ds.softEvictConnections()
            logger.info("Hive connection pool reset")
        }
    } catch (e: Exception) {
        logger.error("Error resetting Hive connection pool", e)
    }
}

ㅇ 필요에 따라 연결 재설정 로직을 추가할 수 있다.

ㅇ 이 resetConnection() 메서드를 keepAliveConnection() 메서드의 catch 블록에서 호출하여 연결 오류 시 연결 풀을 리셋할 수 있다.

 

ㅁ 마무리

 이 방법을 통해 Hive 연결을 주기적으로 유지하고, 필요시 연결을 재설정할 수 있습니다. 실제 환경에 맞게 실행 주기와 오류 처리 로직을 조정하시기 바랍니다.

 

ㅁ 함께 보면 좋은 사이트

ㅇ Task Execution and Scheduling