메인 콘텐츠로 건너뛰기
이 노트북은 대화형 노트북입니다. 로컬에서 실행하거나 아래 링크를 사용할 수 있습니다:

​
preprocess_model_input를 사용해 평가에서 HuggingFace Datasets 사용하기

​
참고: 이것은 임시 우회 방법입니다

이 가이드는 HuggingFace Datasets를 Weave 평가와 함께 사용하는 우회 방법을 설명합니다.

이 과정을 더 간소화할 수 있도록, 보다 매끄러운 인테그레이션을 적극적으로 개발하고 있습니다. 이 방법도 사용할 수 있지만, 가까운 시일 내에 외부 데이터셋을 더 쉽게 다룰 수 있도록 개선 및 업데이트가 이루어질 예정입니다.

​
설정 및 임포트

먼저 Weave를 초기화하고 실험을 추적하기 위해 Weights & Biases에 연결합니다. 
!pip install datasets wandb weave
python
# 변수 초기화
HUGGINGFACE_DATASET = "wandb/ragbench-test-sample"
WANDB_KEY = ""
WEAVE_TEAM = ""
WEAVE_PROJECT = ""

# weave 및 필수 라이브러리 초기화
import asyncio

import nest_asyncio
import wandb
from datasets import load_dataset

import weave
from weave import Evaluation

# wandb 로그인 및 weave 초기화
wandb.login(key=WANDB_KEY)
client = weave.init(f"{WEAVE_TEAM}/{WEAVE_PROJECT}")

# 중첩 이벤트 루프 허용을 위해 nest_asyncio 적용 (일부 노트북 환경에서 필요)
nest_asyncio.apply()

​
HuggingFace 데이터셋 로드 및 준비

  • HuggingFace 데이터셋을 로드합니다.
  • 데이터셋 행을 참조할 수 있도록 인덱스 매핑을 생성합니다.
  • 이 인덱스 방식으로 원본 데이터셋에 대한 참조를 유지할 수 있습니다.
참고:
인덱스에서는 각 행에 고유 식별자가 있도록 hf_hub_name과 hf_id를 함께 인코딩합니다. 이 고유한 다이제스트 값은 평가 중 특정 데이터셋 항목을 추적하고 참조하는 데 사용됩니다. 
# HuggingFace 데이터셋 로드
ds = load_dataset(HUGGINGFACE_DATASET)
row_count = ds["train"].num_rows

# 데이터셋의 인덱스 매핑 생성
# HF 데이터셋 인덱스를 포함하는 딕셔너리 목록 생성
# 예시: [{"hf_id": 0}, {"hf_id": 1}, {"hf_id": 2}, ...]
hf_index = [{"hf_id": i, "hf_hub_name": HUGGINGFACE_DATASET} for i in range(row_count)]

​
처리 및 평가 함수 정의

​
처리 파이프라인

  • preprocess_example: 인덱스 레퍼런스를 평가에 필요한 실제 데이터로 변환합니다
  • hf_eval: 모델 출력을 어떻게 점수화할지 정의합니다
  • function_to_evaluate: 평가 대상인 실제 함수/모델
@weave.op()
def preprocess_example(example):
    """
    평가 전에 각 예제를 전처리합니다.
    Args:
        example: hf_id를 포함하는 Dict
    Returns:
        HF 데이터셋의 프롬프트를 포함하는 Dict
    """
    hf_row = ds["train"][example["hf_id"]]
    return {"prompt": hf_row["question"], "answer": hf_row["response"]}

@weave.op()
def hf_eval(hf_id: int, output: dict) -> dict:
    """
    모델 출력을 평가하는 채점 함수입니다.
    Args:
        hf_id: HF 데이터셋의 인덱스
        output: 평가할 모델의 출력값
    Returns:
        평가 점수를 포함하는 Dict
    """
    hf_row = ds["train"][hf_id]
    return {"scorer_value": True}

@weave.op()
def function_to_evaluate(prompt: str):
    """
    평가 대상 함수입니다 (예: 모델 또는 파이프라인).
    Args:
        prompt: 데이터셋의 입력 프롬프트
    Returns:
        모델 출력을 포함하는 Dict
    """
    return {"generated_text": "testing "}

​
평가 생성 및 실행

  • hf_index의 각 인덱스에 대해:
    1. preprocess_example가 HF 데이터셋에서 해당 데이터를 가져옵니다.
    2. 전처리된 데이터가 function_to_evaluate에 전달됩니다.
    3. 출력은 hf_eval을 사용해 점수가 매겨집니다.
    4. 결과는 Weave에 기록됩니다.
# 평가 객체 생성
evaluation = Evaluation(
    dataset=hf_index,  # 인덱스 매핑 사용
    scorers=[hf_eval],  # 채점 함수 목록
    preprocess_model_input=preprocess_example,  # 입력 전처리 함수
)

# 비동기로 평가 실행
async def main():
    await evaluation.evaluate(function_to_evaluate)

asyncio.run(main())