선형 플롯 Overview

메트릭을 시각화하고, 축을 사용자 지정하고, 플롯에서 여러 선을 비교합니다

시간에 따라 wandb.Run.log()로 로깅된 메트릭은 기본적으로 선형 플롯으로 표시됩니다. 선형 플롯은 여러 메트릭을 플로팅하고, 맞춤형 축을 계산하는 기능 등도 지원합니다.

이 페이지에서는 워크스페이스에서 선형 플롯을 생성, 설정, 관리하는 방법을 설명합니다.

CoreWeave Kubernetes Service (CKS) 클러스터에서 실행되는 Runs의 경우, 인테그레이션이 활성화되어 있으면 CoreWeave Mission Control이 컴퓨팅 인프라를 모니터링할 수 있습니다. 오류가 발생하면 W&B는 프로젝트 워크스페이스의 run 플롯에 인프라 정보를 표시합니다. 사전 요구 사항 및 자세한 내용은 CoreWeave 인프라 경고 시각화를 참조하세요.

​

선형 플롯 추가

이 섹션에서는 단일 메트릭 또는 여러 메트릭에 대한 선형 플롯을 만드는 방법을 설명합니다.

단일 메트릭용 선형 플롯

자동 워크스페이스에서는 로깅된 각 메트릭에 대해 단일 메트릭 선형 플롯이 자동으로 생성됩니다. 자동 워크스페이스에서 삭제한 선형 플롯을 다시 추가하거나, 수동 워크스페이스에 선형 플롯을 추가하려면 다음 단계를 따르세요.

1. 워크스페이스로 이동합니다.

2. 선형 플롯을 전체에 추가하려면 패널 검색 필드 근처의 컨트롤 바에서 Add panels를 클릭합니다.

   대신 특정 섹션에 직접 선형 플롯을 추가하려면 섹션의 action () 메뉴를 클릭한 다음 + Add panels를 클릭합니다.

3. 기본 설정으로 단일 메트릭 플롯을 추가하려면 Quick panel builder를 클릭합니다.

   1. Single-key panels 탭에서 메트릭 위에 마우스를 올린 다음 Add를 클릭합니다. 추가하려는 각 패널에 대해 이 단계를 반복합니다.
   2. Create <number> panels를 클릭합니다.

4. 대신 맞춤형 선형 플롯을 추가하려면 Line plot을 클릭합니다.

   1. 해당 탭을 사용해 선형 플롯의 데이터, 그룹화, 표시 설정을 구성합니다. 자세한 내용은 선형 플롯 설정 편집을 참조하세요.
   2. x축 또는 y축에 계산식을 추가하려면 Expressions를 클릭합니다. JavaScript 정규식을 지원합니다. chart와 같이 추가할 패널 유형을 선택합니다. 패널의 설정 세부 정보가 선택된 기본값과 함께 표시됩니다.

5. 선택적으로 패널과 표시 설정을 사용자 지정할 수 있습니다. 설정 옵션은 선택한 패널 유형에 따라 달라집니다. 각 패널 유형의 옵션에 대해 자세히 알아보려면 아래 관련 섹션(예: Line plots 또는 Bar plots)을 참고하세요.

6. Apply를 클릭합니다.

다중 메트릭 선형 플롯

이 기능은 프리뷰 상태이며 초대를 받은 경우에만 사용할 수 있습니다. 등록을 요청하려면 지원팀 또는 AISE에 문의하세요.

automatic workspace에서는 로깅된 각 메트릭에 대해 단일 메트릭 선형 플롯이 자동으로 생성됩니다. 이 섹션에서는 JavaScript 정규식으로 정의한 여러 메트릭을 함께 표시하는 단일 선형 플롯을 만드는 방법을 설명합니다. 필요에 따라 여러 단일 메트릭 플롯을 하나의 다중 메트릭 플롯으로 통합할 수도 있습니다. 이렇게 하면 로깅된 메트릭이 많은 workspace의 성능을 개선할 수 있으며, run 결과를 더 효율적으로 분석하는 데 도움이 됩니다.

1. workspace로 이동합니다.

2. 선형 플롯을 전역으로 추가하려면 패널 검색 필드 근처의 제어 막대에서 Add panels를 클릭합니다.

   대신 선형 플롯을 특정 섹션에 직접 추가하려면 섹션의 action () 메뉴를 클릭한 다음 + Add panels를 클릭합니다.

3. Quick panel builder를 클릭한 다음 Multi-metric panels 탭을 클릭합니다.

4. Regex에 JavaScript regular expression 형식의 식을 입력합니다. 입력하는 동안 UI가 업데이트되어 어떤 메트릭이 식과 일치하는지 보여줍니다. 기본적으로 플롯 이름에는 해당 플롯에서 사용하는 정규식이 표시됩니다. 플롯에는 나중에 로깅되는 메트릭을 포함해 식과 일치하는 모든 메트릭의 선이 포함됩니다.

5. 다중 메트릭 플롯을 만들 때 중복된 단일 메트릭 패널을 선택적으로 제거하려면 Clean up auto-generated panels를 켭니다. 어떤 패널이 정리될지는 미리보기로 확인할 수 있습니다.

6. Create <number> panels를 클릭합니다.

​

다중 메트릭 정규식 자세히 보기

다중 메트릭 선형 플롯은 메트릭 이름과 일치하는 항목을 찾기 위해 JavaScript regular expressions를 사용합니다. 이 섹션에서는 일반적인 사용 사례 몇 가지를 소개하고, 캡처 그룹이 생성되는 패널에 어떤 영향을 주는지 등 정규식이 작동하는 방식에 대해 자세히 설명합니다.

​

일반적인 사용 사례

이 섹션에서는 다중 메트릭 패널을 사용해 실험 결과를 분석하는 몇 가지 방법을 보여줍니다.

레이어 또는 모델 컴포넌트별 메트릭 비교 각 레이어의 메트릭마다 별도의 패널을 만드는 대신, 하나의 패널에서 함께 볼 수 있습니다. 예를 들어 이 Python 예제 코드에서 layer_0_loss, layer_1_loss, layer_2_loss처럼 일관된 이름으로 메트릭을 로깅한다면, regex layer_\d+_loss를 사용해 모든 레이어의 loss를 하나의 플롯에 표시할 수 있습니다.

with wandb.init(project="multi-layer-model") as run:
    for step in range(100):
        run.log({
            "layer_0_loss": loss_0,
            "layer_1_loss": loss_1,
            "layer_2_loss": loss_2,
            "step": step
        })

접두사 또는 접미사로 관련 메트릭 그룹화 공통된 이름 패턴을 공유하는 모든 메트릭과 일치시킵니다. 예를 들면 다음과 같습니다.

• train_.*는 train_loss, train_accuracy, train_f1_score와 같은 모든 트레이닝 메트릭과 일치합니다
• .*_accuracy는 train_accuracy, val_accuracy, test_accuracy처럼 서로 다른 데이터셋의 정확도 메트릭과 일치합니다

특정 메트릭 변형 일치 원하는 메트릭만 일치시키려면 alternation을 사용합니다. 예를 들어, 비캡처 그룹 (?:layer_0|layer_10)_loss는 중간 레이어를 제외하고 첫 번째와 열 번째 레이어의 loss에만 일치합니다.

​

캡처 그룹 이해하기

정규 표현식의 캡처 그룹은 여러 메트릭 패널이 생성되는 방식을 제어합니다. 이를 예상하지 못했다면 이런 동작이 혼란스러울 수 있습니다.

• 캡처 그룹은 여러 패널을 생성합니다 정규 표현식에 캡처 그룹을 형성하는 괄호가 포함되면, UI는 해당 그룹에서 캡처한 각 고유 값마다 별도의 패널을 생성합니다.

  예를 들어, 표현식 (layer_0|layer_10)_loss에는 캡처 그룹이 포함되어 있어 두 개의 별도 패널이 생성됩니다:

  1. layer_0와 일치하는 메트릭용 패널 1개
  2. layer_10와 일치하는 메트릭용 패널 1개

• 비캡처 그룹은 메트릭을 함께 유지합니다 별도의 패널을 만들지 않고 여러 대안을 매칭하려면 ?: 구문을 사용하는 비캡처 그룹을 사용하세요. 표현식 (?:layer_0|layer_10)_loss는 앞선 예시와 동일한 메트릭에 매칭되지만, 하나의 패널에 함께 표시됩니다.

차이는 다음과 같습니다:

• (layer_0|layer_10)_loss - 각 레이어별로 패널 1개씩, 총 2개의 패널을 생성합니다.
• (?:layer_0|layer_10)_loss - 두 레이어를 함께 보여주는 패널 1개를 생성합니다.

이 기능을 사용하면 분석 요구에 가장 적합한 방식을 유연하게 선택할 수 있습니다. 메트릭을 별도 패널로 분리하려면 캡처 그룹을 사용하세요. 하나의 플롯에서 메트릭을 함께 비교하려면 비캡처 그룹을 사용하세요.

​

선형 플롯 설정 편집

이 섹션에서는 개별 선형 플롯 패널, 섹션의 모든 선형 플롯 패널 또는 워크스페이스의 모든 선형 플롯 패널 설정을 편집하는 방법을 설명합니다. 선형 플롯 설정에 대한 전체 설명은 선형 플롯 레퍼런스를 참조하세요.

​

개별 선형 플롯

선형 플롯의 개별 설정은 섹션 또는 워크스페이스에 설정된 선형 플롯 설정을 재정의합니다. 선형 플롯을 사용자 지정하려면 다음과 같이 하세요.

1. 워크스페이스로 이동합니다.
2. 패널 위에 마우스를 올린 다음 톱니바퀴 아이콘을 클릭합니다.
3. 표시되는 드로어에서 설정을 편집할 탭을 선택합니다.
4. Apply를 클릭합니다.

선형 플롯 설정은 다음 탭으로 구성됩니다.

• Data: x축, y축, 샘플링 방법, 스무딩, 이상치, 차트 유형을 설정합니다.
• Grouping: 플롯에서 run을 그룹화하고 집계할지 여부와 그 방법을 설정합니다.
• Chart: 패널과 축의 제목을 지정하고 범례의 표시 여부와 위치를 설정합니다.
• Legend: 패널 범례의 모양과 내용을 사용자 지정합니다.
• Expressions: 축에 맞춤형 계산식을 추가합니다.

각 설정에 대한 자세한 내용은 선형 플롯 레퍼런스를 참조하세요.

​

섹션의 모든 선형 플롯

선형 플롯에 대한 워크스페이스 설정을 재정의하면서, 섹션의 모든 선형 플롯에 대한 기본 설정을 사용자 지정하려면 다음 단계를 따르세요.

1. 워크스페이스로 이동합니다.
2. 섹션의 톱니바퀴 아이콘을 클릭해 설정을 엽니다.
3. 표시되는 드로어에서 Data 또는 Display preferences 탭을 선택하여 섹션의 기본 설정을 구성합니다. 각 Data 설정에 대한 자세한 내용은 선형 플롯 레퍼런스를 참조하세요. 각 표시 기본 설정에 대한 자세한 내용은 섹션 레이아웃 구성을 참고하세요.

​

워크스페이스의 모든 선형 플롯

워크스페이스의 모든 선형 플롯에 대한 기본 설정을 사용자 지정하려면 다음과 같이 하세요.

1. 워크스페이스로 이동합니다.
2. 톱니바퀴 모양의 설정 레이블이 있는 워크스페이스 설정 아이콘을 클릭합니다.
3. 선형 플롯을 클릭합니다.
4. 표시되는 드로어에서 Data 또는 Display preferences 탭을 선택해 워크스페이스의 기본 설정을 구성합니다.
   • 각 Data 설정에 대한 자세한 내용은 선형 플롯 레퍼런스를 참조하세요.
   • 각 Display preferences 섹션에 대한 자세한 내용은 워크스페이스 Display preferences을 참고하세요. 워크스페이스 수준에서는 선형 플롯의 기본 확대/축소 동작을 구성할 수 있습니다. 이 설정은 x축 키가 일치하는 선형 플롯 간에 확대/축소를 동기화할지 여부를 제어합니다. 기본적으로 비활성화되어 있습니다.

​

plot에서 평균값 시각화하기

서로 다른 여러 실험이 있고 plot에서 값의 평균을 보고 싶다면 table의 Grouping 기능을 사용할 수 있습니다. run table 위의 “Group”을 클릭하고 “All”을 선택하면 그래프에 평균값이 표시됩니다.

다음은 평균을 내기 전 그래프의 모습입니다.

다음 이미지는 그룹화된 선을 사용해 Runs 전체의 평균값을 나타낸 그래프입니다.

​

플롯에서 NaN 값 시각화하기

wandb.Run.log()를 사용하면 PyTorch 텐서를 포함한 NaN 값도 선형 플롯에 표시할 수 있습니다. 예를 들면 다음과 같습니다:

with wandb.init() as run:
    # NaN 값 로깅
    run.log({"test": float("nan")})

​

하나의 차트에서 여러 메트릭 비교하기

1. 워크스페이스로 이동합니다.
2. 페이지 오른쪽 상단에서 Add panels 버튼을 선택합니다.
3. 표시되는 드로어에서 Evaluation 드롭다운을 펼칩니다.
4. Run comparer를 선택합니다.

​

선 색상 변경

기본 run 색상은 비교에 적합하지 않을 때가 있습니다. 이를 보완하기 위해 wandb는 색상을 수동으로 변경할 수 있는 두 가지 방법을 제공합니다.

run 테이블에서

각 run에는 초기화 시 기본적으로 임의의 색상이 지정됩니다.

색상 중 하나를 클릭하면 색상 팔레트가 나타나며, 여기에서 원하는 색상을 직접 선택할 수 있습니다.

차트 범례 설정에서

1. 워크스페이스로 이동합니다.
2. 설정을 편집하려는 패널 위에 마우스를 올립니다.
3. 나타나는 연필 아이콘을 선택합니다.
4. Legend 탭을 선택합니다.

​

서로 다른 x축으로 시각화하기

실험에 실제로 얼마나 시간이 걸렸는지 보거나, 실험이 어느 날짜에 실행되었는지 확인하려면 x축을 전환할 수 있습니다. 다음은 step에서 상대 시간으로, 그리고 wall time으로 전환하는 예시입니다.

맞춤형 x축을 사용하려면 y축을 기록할 때와 동일한 wandb.Run.log() 호출에서 metric도 함께 기록하세요. 예를 들면 다음과 같습니다.

with wandb.init() as run:
    for i in range(100):
        run.log({"accuracy": acc, "custom_x": i * 10})

자세한 내용은 로그 축 사용자 지정하기를 참조하세요.

​

확대/축소

직사각형 영역을 클릭해 드래그하면 세로와 가로를 동시에 확대/축소할 수 있습니다. 그러면 x축과 y축의 확대/축소가 모두 변경됩니다.

​

차트 범례 숨기기

다음의 간단한 표시/숨기기 옵션으로 선형 플롯의 범례를 끄세요:

​

run 메트릭 알림 만들기

Automations을 사용하면 지정한 조건을 run 메트릭이 충족할 때 팀에 알림을 보낼 수 있습니다. automation은 Slack 채널에 게시하거나 웹훅을 실행할 수 있습니다.

선형 플롯에서 표시된 메트릭에 대한 run 메트릭 알림을 빠르게 만들 수 있습니다.

1. 워크스페이스로 이동합니다.
2. 패널 위에 마우스를 올린 다음 종 모양 아이콘을 클릭합니다.
3. 기본 또는 고급 설정 옵션을 사용해 automation을 설정합니다. 예를 들어, run 필터를 적용해 automation의 범위를 제한하거나 절대 임곗값을 설정할 수 있습니다.

Automations에 대해 자세히 알아보세요.