프롬프트 실험에 플레이그라운드 활용하기

LLM 프롬프트와 응답을 반복적으로 개선하는 과정을 간소화합니다

한정된 기간 동안 W&B Inference가 무료 티어에 포함되어 있습니다. W&B Inference는 API와 Weave 플레이그라운드를 통해 주요 오픈소스 파운데이션 모델에 접근할 수 있게 해줍니다.

• 개발자 문서
• 제품 페이지

LLM 프롬프트와 응답을 평가하는 일은 쉽지 않습니다. Weave 플레이그라운드는 LLM 프롬프트와 응답을 반복적으로 개선하는 과정을 간소화하도록 설계되어, 다양한 모델과 프롬프트를 더 쉽게 실험할 수 있게 해줍니다. 프롬프트 편집, 메시지 재시도, 모델 비교 같은 기능을 통해 플레이그라운드는 LLM 애플리케이션을 빠르게 테스트하고 개선할 수 있도록 도와줍니다. 현재 플레이그라운드는 OpenAI, Anthropic, Google 등의 프로바이더 모델과 사용자 정의 프로바이더를 지원합니다.

• 빠른 액세스: 새 세션을 시작하려면 Weave 사이드바 메뉴에서 ‘플레이그라운드’를 열고, 기존 프로젝트를 테스트하려면 Call 페이지에서 엽니다.
• 메시지 제어: 채팅 내에서 직접 메시지를 편집, 재시도, 또는 삭제합니다.
• 유연한 메시징: 새 메시지를 사용자 입력 또는 시스템 입력으로 추가해 LLM으로 보냅니다.
• 사용자 지정 가능한 설정: 선호하는 LLM 프로바이더를 구성하고 모델 설정을 조정합니다.
• 다중 LLM 지원: 팀 단위 API 키 관리와 함께 모델 간 전환이 가능합니다.
• 모델 비교: 서로 다른 모델이 프롬프트에 어떻게 응답하는지 비교합니다.
• 사용자 정의 프로바이더: 맞춤형 모델용 OpenAI 호환 API endpoint를 테스트합니다.
• 저장된 모델: 워크플로에 사용할 수 있는 재사용 가능한 모델 프리셋을 생성하고 구성합니다

플레이그라운드를 활용해 LLM 상호작용을 최적화하고 프롬프트 엔지니어링과 LLM 애플리케이션 개발 과정을 간소화하세요.

• 프로바이더 자격 증명 및 정보 추가
• 플레이그라운드 액세스
• LLM 선택
• 플레이그라운드 설정 사용자 지정
• 메시지 제어
• LLM 비교
• 사용자 정의 프로바이더
• 저장된 모델

​

프로바이더 자격 증명 및 정보 추가

플레이그라운드를 사용하려면 먼저 프로바이더 자격 증명을 추가해야 합니다. 플레이그라운드는 현재 여러 프로바이더의 모델을 지원합니다. 사용 가능한 모델 중 하나를 사용하려면 W&B 설정의 팀 시크릿에 적절한 정보를 추가하세요.

• Amazon Bedrock:
  • AWS_ACCESS_KEY_ID
  • AWS_SECRET_ACCESS_KEY
  • AWS_REGION_NAME
• Anthropic: ANTHROPIC_API_KEY
• Azure:
  • AZURE_API_KEY
  • AZURE_API_BASE
  • AZURE_API_VERSION
• Deepseek: DEEPSEEK_API_KEY
• Google: GEMINI_API_KEY
• Groq: GROQ_API_KEY
• Mistral: MISTRAL_API_KEY
• OpenAI: OPENAI_API_KEY
• X.AI: XAI_API_KEY

​

플레이그라운드에 액세스하기

플레이그라운드에 액세스하는 방법은 두 가지입니다.

1. 간단한 시스템 프롬프트로 새 플레이그라운드 페이지 열기: Weave 프로젝트의 사이드바에서 플레이그라운드를 선택합니다. 플레이그라운드가 같은 탭에서 열립니다.
2. 특정 call에 대한 플레이그라운드 열기:
   1. 사이드바에서 Traces 탭을 선택합니다. 트레이스 목록이 표시됩니다.
   2. 트레이스 목록에서 보려는 call의 이름을 클릭합니다. call의 상세 페이지가 열립니다.
   3. Open chat in Playground를 클릭합니다. 플레이그라운드가 새 탭에서 열립니다.

​

LLM 선택

프롬프트 헤더(메인 플레이그라운드 패널 상단)에 있는 모델 선택 드롭다운에서 LLM을 전환할 수 있습니다. 여러 프로바이더에서 제공하는 사용 가능한 모델은 아래와 같습니다:

• Amazon Bedrock
• Anthropic
• Azure
• Deepseek
• Google
• Groq
• Mistral
• OpenAI
• X.AI

사용 가능한 모델은 팀에 구성된 프로바이더에 따라 달라집니다.

​

플레이그라운드 설정 사용자 지정하기

​

LLM 파라미터 조정

선택한 모델에 대해 다양한 파라미터 값을 시험해 볼 수 있습니다. 플레이그라운드에서 파라미터를 조정하려면 다음 단계를 따르세요.

1. 프롬프트 헤더(메인 패널 상단)에서 채팅 설정 () 버튼을 클릭해 채팅 설정 패널을 엽니다.
2. 채팅 설정 패널에서 원하는 대로 파라미터를 조정합니다. Weave call 추적을 켜거나 끌 수도 있고, 함수를 추가할 수도 있습니다.
3. 변경 사항은 자동으로 적용됩니다. 패널을 닫으려면 채팅 설정를 다시 클릭하거나 오른쪽 상단의 x를 클릭합니다. 채팅 설정 버튼에 마우스를 올리면 표시되는 텍스트도 업데이트되어 변경한 설정이 표시됩니다.

페이지를 벗어나면 설정이 사라집니다. 설정을 저장하려면 모델을 저장하세요. 변경한 설정을 버리고 처음부터 다시 시작하려면 페이지를 새로고침하세요.

플레이그라운드에서는 시행 횟수를 설정해 동일한 입력에 대해 여러 출력을 생성할 수 있습니다. 기본 설정은 1입니다. 시행 횟수를 조정하려면 채팅 설정 패널을 열고 Number of trials 설정을 조정하세요.

​

함수 추가

플레이그라운드에서는 서로 다른 모델이 사용자 입력에 따라 함수를 어떻게 사용하는지 테스트할 수 있습니다. 플레이그라운드에서 테스트할 함수를 추가하려면 채팅 설정 패널에서 + Add function을 클릭합니다. 화면 안내에 따라 함수를 정의하고 변경 사항을 저장합니다.

​

메시지 제어

​

프롬프트 정의 영역

프롬프트 정의 영역에서는 상호작용 전반에서 모델의 동작을 결정하는 지침을 정의할 수 있습니다.

이 영역을 사용해 메시지가 오가기 전에 일관되게 적용되는 컨텍스트를 제공하세요. 여기에는 역할 정의, 어조 및 스타일 가이드, 동작 제약, 출력 요구 사항이 포함됩니다. 여기서 변경한 내용은 수정하지 않는 한 이후의 모든 상호작용에 영향을 줍니다.

포함 항목:

• 프롬프트 선택기: 기존에 저장된 프롬프트를 선택하거나 새로 만듭니다.
• 메시지 역할 선택기: 현재 정의 중인 메시지의 역할(System, Assistant, 또는 User 역할)을 지정합니다.
• 프롬프트 텍스트: 모델이 어떻게 응답할지 결정하는 지침 텍스트를 입력합니다.
• 메시지 추가 버튼: 실행 전에 프롬프트 컨텍스트에 추가 메시지를 포함할 수 있습니다.

이 메시지들은 함께 모델로 전송되며, 다음과 같은 용도로 사용할 수 있습니다.

• 추가 시스템 수준 지침을 더합니다.
• 응답을 유도하기 위한 Assistant 메시지 예시를 제공합니다(예: few-shot 프롬프팅).
• 특정 시나리오를 테스트하기 위한 사용자 메시지를 미리 정의합니다.

​

메시지 패널

메시지 패널에는 실행 중 생성된 대화가 표시됩니다.

다음이 포함됩니다.

• 프롬프트 설정에 포함된 미리 정의된 메시지
• 메시지 작성기에서 전송된 메시지
• 모델이 반환한 응답

패널 내에서 메시지를 복사, Delete, 편집, 재시도할 수도 있습니다.

​

메시지 작성기(입력 필드)

메시지 작성기를 사용해 모델에 새 메시지를 보냅니다.

메시지 역할을 선택하고 실행할 메시지를 제출할 수 있습니다. 대부분의 상호작용은 User 메시지로 작성합니다. 지침 변경을 테스트할 때는 System 또는 Assistant 메시지를 추가할 수 있습니다.

​

메시지 이력 보기

메시지 이력을 보려면 오른쪽 플레이그라운드 툴바에서 이력 () 버튼을 클릭하세요. 그러면 현재 프로젝트에서 전송된 모든 메시지를 보여주는 이력 패널이 열립니다.

이력에서 항목을 선택하면 비교할 수 있도록 추가 채팅 패널에 해당 항목이 자동으로 로드됩니다.

​

LLM 비교

플레이그라운드에서는 LLM을 비교할 수 있습니다. 비교하려면 오른쪽 플레이그라운드 툴바에서 채팅 추가 () 버튼을 클릭하세요. 기존 채팅 옆에 두 번째 채팅이 열립니다. 두 번째 채팅에서도 모델 선택, 설정 조정, 함수 추가 등 기존 채팅과 동일한 기능을 사용할 수 있습니다.

​

사용자 정의 프로바이더

​

사용자 정의 프로바이더 추가

기본 제공 프로바이더 외에도 플레이그라운드에서 맞춤형 모델용 OpenAI 호환 API 엔드포인트를 테스트할 수 있습니다. 예를 들면 다음과 같습니다.

• 지원되는 모델 프로바이더의 이전 버전
• 로컬 모델

플레이그라운드에 사용자 정의 프로바이더를 추가하려면 다음 단계를 따르세요.

1. 프롬프트 헤더(메인 패널 상단)에서 모델 선택 드롭다운을 클릭합니다.
2. + Add AI provider를 선택합니다.
3. Custom Provider를 선택합니다.
4. pop-up modal에서 프로바이더 정보를 입력합니다.

• Provider name: openai 또는 ollama와 같은 프로바이더 이름입니다.
• API 키: OpenAI API 키와 같은 프로바이더의 API 키입니다.
• Base URL: https://api.openai.com/v1/ 또는 https://e452-2600-1700-45f0-3e10-2d3f-796b-d6f2-8ba7.ngrok-free.app와 같은 ngrok URL 등의 프로바이더용 기본 엔드포인트입니다.
• Headers: (선택) 하나 이상의 맞춤형 HTTP 헤더 키-값 쌍입니다.
• Models: deepseek-r1 또는 qwq와 같은 프로바이더용 하나 이상의 모델입니다.
• Max tokens: (선택) 각 모델이 응답에서 생성할 수 있는 최대 token 수입니다.

5. 프로바이더 정보를 입력한 후 Add provider를 클릭합니다.
6. 모델 선택 드롭다운에서 새 프로바이더와 사용 가능한 모델을 선택합니다.

CORS 제한으로 인해 플레이그라운드에서 localhost 또는 127.0.0.1 URL을 직접 call할 수 없습니다. 로컬 모델 서버(Ollama 등)를 실행 중인 경우 ngrok 같은 터널링 서비스를 사용해 안전하게 외부에 노출하세요. 자세한 내용은 Use ngrok with Ollama을 참조하세요.

이제 표준 플레이그라운드 기능을 사용해 사용자 정의 프로바이더 모델을 테스트할 수 있습니다. 사용자 정의 프로바이더를 편집하거나 제거할 수도 있습니다.

​

사용자 정의 프로바이더 편집

이전에 생성한 사용자 정의 프로바이더의 정보를 편집하려면 다음 단계를 따르세요:

1. 프롬프트 헤더에서 모델 선택 드롭다운을 클릭합니다. 그런 다음 +Configure providers를 선택합니다.

• 또는 사이드바 메뉴에서 프로젝트를 선택한 다음 AI 프로바이더 탭을 선택할 수 있습니다.

2. Custom providers 테이블에서 업데이트하려는 사용자 정의 프로바이더를 찾습니다.
3. 사용자 정의 프로바이더 항목의 Last Updated 열에서 편집 버튼(연필 아이콘)을 클릭합니다.
4. 팝업 모달에서 프로바이더 정보를 편집합니다.
5. Save를 클릭합니다.

​

사용자 정의 프로바이더 제거

이전에 생성한 사용자 정의 프로바이더를 제거하려면 다음 단계를 따르세요.

1. 프롬프트 헤더에서 모델 선택 드롭다운을 클릭한 다음 +프로바이더 구성을 선택합니다.

• 또는 사이드바 메뉴에서 프로젝트를 선택한 다음 AI 프로바이더 탭을 선택할 수 있습니다.

2. 사용자 정의 프로바이더 테이블에서 삭제하려는 사용자 정의 프로바이더를 찾습니다.
3. 해당 사용자 정의 프로바이더 항목의 Last Updated 열에서 삭제 버튼(휴지통 아이콘)을 클릭합니다.
4. 팝업 모달에서 프로바이더를 삭제할 것인지 확인합니다. 이 작업은 되돌릴 수 없습니다.
5. 삭제를 클릭합니다.

​

로컬 모델을 사용자 정의 프로바이더로 사용

플레이그라운드에서 로컬로 실행 중인 모델을 테스트하려면 ngrok와 Ollama를 사용해 CORS 제한을 우회할 수 있는 임시 공개 URL을 만드세요.

설정하려면 다음 단계를 따르세요:

1. 사용 중인 운영 체제에 맞는 ngrok를 설치합니다.

2. Ollama 모델을 시작합니다:

   ollama run <model>
   

3. 별도의 터미널에서 필요한 CORS 헤더를 포함해 ngrok 터널을 생성합니다:

   ngrok http 11434 --response-header-add "Access-Control-Allow-Origin: *" --host-header rewrite
   

4. ngrok가 시작되면 https://xxxx-xxxx.ngrok-free.app와 같은 공개 URL이 표시됩니다. 플레이그라운드에서 사용자 정의 프로바이더를 추가할 때 이 URL을 Base URL로 사용하세요.

다음 다이어그램은 로컬 환경, ngrok 프록시, W&B 클라우드 서비스 간의 데이터 흐름을 보여줍니다:

​

저장된 모델

​

모델 저장

워크플로에서 재사용할 수 있는 모델 프리셋을 만들고 구성할 수 있습니다. 모델을 저장하면 선호하는 설정, 매개변수, 함수 훅을 적용한 상태로 빠르게 불러올 수 있습니다.

1. 프롬프트 헤더(메인 패널 상단)의 모델 선택 드롭다운에서 제공업체와 모델을 선택합니다.
2. 프롬프트 헤더에서 채팅 설정 () 버튼을 클릭해 채팅 설정 패널을 엽니다.
3. 채팅 설정 패널에서:
   • 모델 이름 (필수): 저장할 모델의 이름을 입력합니다.
   • 원하는 대로 매개변수를 조정합니다. Weave call 추적을 켜거나 끌 수도 있고, 함수를 추가할 수도 있습니다.
4. 모델 게시를 클릭합니다. 모델이 저장되며 모델 선택 드롭다운의 저장된 모델에서 사용할 수 있습니다. 이제 저장된 모델을 사용하고 업데이트할 수 있습니다.

​

저장된 모델 사용

이전에 저장한 모델로 빠르게 전환해 실험이나 세션 전반에서 일관성을 유지하세요. 이렇게 하면 중단한 부분부터 바로 이어서 작업할 수 있습니다.

1. 프롬프트 헤더의 모델 선택 드롭다운에서 저장된 모델을 선택합니다.
2. 저장된 모델 목록에서 불러올 모델을 선택합니다. 모델이 로드되면 플레이그라운드에서 바로 사용할 수 있습니다.

​

저장된 모델 업데이트

기존 저장된 모델을 편집해 파라미터를 미세 조정하거나 설정을 새로 고칠 수 있습니다. 이렇게 하면 저장된 모델을 사용 사례 변화에 맞춰 최신 상태로 유지할 수 있습니다.

1. 프롬프트 헤더의 모델 선택 드롭다운에서 저장된 모델을 선택합니다.
2. 저장된 모델 목록에서 업데이트할 저장된 모델을 선택합니다.
3. 프롬프트 헤더에서 채팅 설정 () 버튼을 클릭해 채팅 설정 패널을 엽니다.
4. 채팅 설정 패널에서 원하는 대로 파라미터를 조정합니다. Weave call 추적을 켜거나 끌 수도 있고, 함수를 추가할 수도 있습니다.
5. 모델 업데이트를 클릭합니다. 그러면 모델이 업데이트되어 모델 선택 드롭다운의 저장된 모델에서 사용할 수 있게 됩니다. 저장된 모델의 버전은 자동으로 증가합니다.