이 페이지에서는 sweep를 정의, 초기화하고 실행하는 방법을 설명합니다. 주요 단계는 네 가지입니다:
- 트레이닝 코드를 설정합니다
- sweep 설정으로 검색 공간을 정의합니다
- sweep를 초기화합니다
- sweep 에이전트를 시작합니다
다음 코드를 Jupyter Notebook 또는 Python 스크립트에 복사하여 붙여넣으세요:
# W&B Python 라이브러리를 임포트하고 W&B에 로그인
import wandb
# 1: 목적/트레이닝 함수 정의
def objective(config):
score = config.x**3 + config.y
return score
def main():
with wandb.init(project="my-first-sweep") as run:
score = objective(run.config)
run.log({"score": score})
# 2: 검색 공간 정의
sweep_configuration = {
"method": "random",
"metric": {"goal": "minimize", "name": "score"},
"parameters": {
"x": {"max": 0.1, "min": 0.01},
"y": {"values": [1, 3, 7]},
},
}
# 3: sweep 시작
sweep_id = wandb.sweep(sweep=sweep_configuration, project="my-first-sweep")
wandb.agent(sweep_id, function=main, count=10)
wandb.Run.config에서 하이퍼파라미터 값을 받아, 이를 사용해 모델을 트레이닝하고 메트릭을 반환하는 트레이닝 함수를 정의합니다.
선택 사항으로 W&B run의 출력이 저장될 프로젝트 이름을 지정할 수 있습니다(wandb.init()의 project 파라미터). 프로젝트를 지정하지 않으면 run은 “Uncategorized” 프로젝트에 저장됩니다.
sweep와 run은 모두 동일한 프로젝트에 있어야 합니다. 따라서 W&B를 초기화할 때 지정하는 이름은 sweep를 초기화할 때 지정하는 프로젝트 이름과 일치해야 합니다.
# 1: 목적/트레이닝 함수 정의
def objective(config):
score = config.x**3 + config.y
return score
def main():
with wandb.init(project="my-first-sweep") as run:
score = objective(run.config)
run.log({"score": score})
'method':'random')을 사용하는 sweep 설정을 보여줍니다. 이 sweep은 배치 크기, 에포크, 학습률에 대해 설정에 나열된 값 중 임의의 조합을 무작위로 선택합니다.
W&B는 metric 키에 지정된 메트릭과 "goal": "minimize"가 연결되어 있으면 해당 메트릭을 최소화합니다. 이 경우 W&B는 메트릭 score("name": "score")가 최소화되도록 최적화합니다.
# 2: 검색 공간 정의
sweep_configuration = {
"method": "random",
"metric": {"goal": "minimize", "name": "score"},
"parameters": {
"x": {"max": 0.1, "min": 0.01},
"y": {"values": [1, 3, 7]},
},
}
sweep_id = wandb.sweep(sweep=sweep_configuration, project="my-first-sweep")
wandb.agent() API 호출을 사용하세요.
wandb.agent(sweep_id, function=main, count=10)
멀티프로세싱Python 표준 라이브러리의 multiprocessing 또는 PyTorch의 pytorch.multiprocessing 패키지를 사용하는 경우, wandb.agent() 및 wandb.sweep() 호출을 if __name__ == '__main__':로 감싸야 합니다. 예를 들면 다음과 같습니다.if __name__ == '__main__':
wandb.agent(sweep_id="<sweep_id>", function="<function>", count="<count>")
multiprocessing 또는 PyTorch multiprocessing을 참조하세요. if __name__ == '__main__': 관례에 대해서는 https://realpython.com/if-name-main-python/ 를 참조하세요. Ctrl+C를 누르세요. 한 번 더 누르면 에이전트가 종료됩니다. 
