스레드 발산 (thread divergence)

 

 

divergence는 발산, 분기라는 뜻을 가진 영어 단어이다.

둘 이상의 당사자 간의 의견, 관심 또는 희망 사항의 차이 또는 공통점에서 벗어나는 과정을 의미한다고 한다.

스레드 발산(thread divergence)은 GPU 내에서 중요한 개념으로, GPU는 많은 수의 쉐이더 코어를 가지고 있고 이 코어들은 병렬로 동시에 많은 데이터를 처리하는 구조로 되어있다.

스레드 발산이 발생하면 이 병렬 처리의 효율성이 크게 떨어지게 되는데.... (;＾◇＾;)ゝ

 

image generator에게 스레드 발산을 시각화한 자료를 만들어달랬더니 중앙엔 CPU 코어가 있고 여러 스레드가 빛의 광산처럼 사방으로 퍼져 나가는 모습을 상상해서 이런 이미지를 만들어줬다고 한다.. 그냥 쿠팡 허브같은데요..

 

 

 

스레드 발산(thread divergence) 이란?

스레드 발산은 GPU내에서 실행되는 여러 쉐이더 코어(스레드)가 동일한 시점에 서로 다른 실행 경로를 따라가게 될 때 발생한다.

이는 주로 조건문('if', 'switch' 등) 사용에 의해 발생하며, 다른 스레드가 서로 다른 조건의 결과를 가지게 되어 발생하는 현상이다.

간단하게 말하면 병렬 컴퓨팅에서 발생하는 현상으로 여러 스레드가 동일한 데이터에 대해 다른 연산을 수행할 때 일어난다.

 

예를 들어서 'if-else' 조건문에서 일부 스레드는 'if' 조건이 참이어서 해당 블록을 실행하고 다른 스레드는 거짓이어서 'else' 블록을 실행하는 상황이 발생할 수 있다. 

GPU는 이런 각기 다른 명령어 세트를 동시에 실행할 수 없기 때문에 한 쪽의 스레드가 다른 쪽의 실행이 끝나기를 기다려야 하며 이로 인해서 병렬 처리의 이점이 크게 감소한다. 

 

 

 

왜 문제가 되는지?

문제가 되는 이유를 세 가지로 정리해 볼 수 있다.

첫 번째는 성능 저하이다.

스레드 발산이 발생하면, 모든 스레드가 동일한 명령어를 실행하지 못하고 서로 다른 경로를 실행해야 하므로 일부 스레드가 다른 스레드의 작업 완료를 기다리는 시간 동안 아무 일도 하지 못하게 된다.

이는 GPU의 처리 능력을 낭비하고, 전체적인 성능 저하를 초래한다.

 

두 번째는 리소스 활용도 감소이다.

스레드 발산으로 인해서 GPU 내의 쉐이더 코어 일부가 유휴 상태에 빠지게 되며, 이는 리소스 활용도가 낮아지게 만든다.

 

세 번째는 에너지 효율성 저하이다.

비효율적으로 리소스를 사용하면서도 전력 소모는 줄어들지 않기 때문에 에너지 효율성이 떨어지게 된다.

 

다음은 스레드 발산이 발생하는 예시들이다.

 

ⓞ GPU 쉐이더에서의 스레드 발산

렌더링 시 재질에 따라 다른 쉐이더 로직을 적용하는 경우

void main() 
{
    vec4 color;
    if (materialType == METAL) 
    {
        color = computeReflection(reflectivityParams);
    } 
    else if (materialType == GLASS) 
    {
        color = computeRefraction(refractionParams);
    } 
    else 
    {
        color = texture2D(texture, texCoords);
    }
    gl_FragColor = color;
}

각 픽셀 쉐이더가 동작할 때, 픽셀이 속한 재질에 따라 다른 코드 경로를 실행하게 되면 스레드 발산이 발생한다.

 

 

ⓞ 멀티스레드 CPU 프로그래밍에서의 스레드 발산

다중 스레드 애플리케이션에서 각 스레드가 다른 작업을 수행하는 경우

void processTasks(int threadId) 
{
    if (threadId % 2 == 0) 
    {
        performComplexComputation();
    } 
    else 
    {
        performSimpleComputation();
    }
}

여러 CPU 코어 또는 스레드가 동시에 다른 타입의 작업을 수행할 때, 일부 스레드가 더 무거운 작업을 수행하고 다른 스레드는 더 가벼운 작업을 수행하게 되면, 작업의 불균형으로 인해 전체적인 프로세스 성능이 저하될 수 있다.

이는 스레드 발산과는 조금 다른 개념의 부하 불균형이지만 병렬 프로세싱의 효율성을 저하시키는 유사한 결과를 초래한다.

 

 

ⓞ 벡터화 실패로 인한 스레드 발산

CPU에서 SIMD 명령을 사용할 때 조건문으로 인해 벡터화가 실패하는 경우

for (int i = 0; i < n; i++) 
{
    if (data[i] > threshold) 
    {
        results[i] = computeHigh(data[i]);
    }
    else 
    {
        results[i] = computeLow(data[i]);
    }
}

SIMD 최적화에서 이러한 조건문은 한 벡터 내의 다른 요소들이 다른 함수를 호출하게 하여, 벡터화를 방해하고 결과적으로 스레드 발산과 유사한 성능 저하를 일으킬 수 있다.

여기서 스레드라는 용어 대신 SIMD 레인(lane)이라는 표현이 더 적합할 수 있지만 병렬에서의 처리 이슈는 유사하다!

 

 

 

해결 방안

ⓞ GPU 쉐이더에서의 스레드 발산

1. 재질 유형에 따라 드로우콜을 분리한다.

가능하다면 재질 유형별로 별도의 드로우 콜을 수행하도록 구성한다.

이 방식은 GPU가 동일한 드로우콜에서 동일한 쉐이더 코드를 실행하도록 해서 스레드 발산을 크게 줄일 수 있다.

2. 조건 로직 최소화

쉐이더 내에서 가능한 한 조건문을 사용하지 않고 필요한 연산을 모두 수행한 다음 조건에 따라 결과를 선택하는 방식으로 구현할 수 있다.

예를 들어서 반사 및 굴절 계산을 모두 수행하고 마지막에 'mix()' 함수를 사용하여 선택할 수 있따.

 

ⓞ 멀티스레드 CPU 프로그래밍에서의 스레드 발산

1. 작업 분배 최적화

스레드 풀을 사용하여 작업을 동적으로 할당하고, 각 스레드가 대기 시간 없이 계속해서 작업을 가져갈 수 있도록 한다.

이는 작업의 부하를 균등하게 분배해 스레드 간의 성능 차이를 최소화 하는데 도움이 된다.

2. 스레드 어피니티 설정

특정 스레드가 특정 CPU 코어에 고정되도록 설정함으로써, 캐시 활용도를 최적화하고 컨텍스트 스위칭을 줄일 수 있다.

 

ⓞ 벡터화 실패로 인한 스레드 발산

1. 조건문 재구조화

조건문을 재구조화하여 데이터에 따라 분기가 일어나는 것을 최소화한다.

가능하면 조건처리를 데이터 준비에서 미리 처리하고 SIMD 연산은 모든 데이터에 일관적으로 적용할 수 있도록 한다.

2. 마스킹 연산 작용

조건에 따라 다른 연산을 수행해야 할 때는 마스킹을 사용한다.

모든 데이터에 대해 두 연산을 수행하고, 조건에 따라 적절한 결과를 선택할 수 있도록 마스킹을 적용한다.

 

 

스레드 발산을 최소화하기 위해 조건문 사용을 줄이거나 조건문을 최적화하여 가능한 한 많은 스레드가 같은 코드 경로를 실행하도록 설계하는 것이 좋다.

또한 루프 내의 조건문을 외부로 이동시키거나, 계산 결과에 따라 동작을 다르게 하는 대신 미리 계산된 값과 적절한 마스킹 연산을 사용하는 방법 등을 고려할 수 있다.

 

 

 

---

참고 출처;

https://nichijou.co/cuda3-thread-divergence/

https://www.linkedin.com/pulse/thread-divergence-yeshwanth-n

Text generated by ChatGPT, April 12, 2024, OpenAI, https://chat.openai.com/