Track experiments

!pip install wandb -qU 

# W&B 계정에 로그인하세요 import wandb import random import math  # wandb-core 사용, wandb의 새로운 백엔드를 위해 임시적으로 사용 wandb.require("core") 

wandb.login() 

# @title import torch, torchvision import torch.nn as nn from torchvision.datasets import MNIST import torchvision.transforms as T  MNIST.mirrors = [  mirror for mirror in MNIST.mirrors if "http://yann.lecun.com/" not in mirror ]  device = "cuda:0" if torch.cuda.is_available() else "cpu"   def get_dataloader(is_train, batch_size, slice=5):  "트레이닝 데이터로더를 가져옵니다"  full_dataset = MNIST(  root=".", train=is_train, transform=T.ToTensor(), download=True  )  sub_dataset = torch.utils.data.Subset(  full_dataset, indices=range(0, len(full_dataset), slice)  )  loader = torch.utils.data.DataLoader(  dataset=sub_dataset,  batch_size=batch_size,  shuffle=True if is_train else False,  pin_memory=True,  num_workers=2,  )  return loader   def get_model(dropout):  "간단한 모델"  model = nn.Sequential(  nn.Flatten(),  nn.Linear(28 * 28, 256),  nn.BatchNorm1d(256),  nn.ReLU(),  nn.Dropout(dropout),  nn.Linear(256, 10),  ).to(device)  return model   def validate_model(model, valid_dl, loss_func, log_images=False, batch_idx=0):  "유효성 검사 데이터셋에서 모델의 성능을 계산하고 wandb.Table을 기록합니다"  model.eval()  val_loss = 0.0  with torch.inference_mode():  correct = 0  for i, (images, labels) in enumerate(valid_dl):  images, labels = images.to(device), labels.to(device)   # Forward 패스 ➡  outputs = model(images)  val_loss += loss_func(outputs, labels) * labels.size(0)   # 정확도 계산 및 누적  _, predicted = torch.max(outputs.data, 1)  correct += (predicted == labels).sum().item()   # 항상 동일한 batch_idx로 대시보드에 이미지 한 배치를 기록합니다.  if i == batch_idx and log_images:  log_image_table(images, predicted, labels, outputs.softmax(dim=1))  return val_loss / len(valid_dl.dataset), correct / len(valid_dl.dataset) 

def log_image_table(images, predicted, labels, probs):  "이미지, 레이블 및 예측이 포함된 wandb.Table을 기록합니다 (img, pred, target, scores)"  # 이미지, 레이블 및 예측을 기록할 wandb Table을 만듭니다.  table = wandb.Table(  columns=["image", "pred", "target"] + [f"score_{i}" for i in range(10)]  )  for img, pred, targ, prob in zip(  images.to("cpu"), predicted.to("cpu"), labels.to("cpu"), probs.to("cpu")  ):  table.add_data(wandb.Image(img[0].numpy() * 255), pred, targ, *prob.numpy())  wandb.log({"predictions_table": table}, commit=False) 

# 다양한 드롭아웃 비율을 시도하면서 3개의 실험을 시작합니다. for _ in range(3):  # wandb run을 초기화합니다.  wandb.init(  project="pytorch-intro",  config={  "epochs": 5,  "batch_size": 128,  "lr": 1e-3,  "dropout": random.uniform(0.01, 0.80),  },  )   # 구성을 복사합니다.  config = wandb.config   # 데이터를 가져옵니다.  train_dl = get_dataloader(is_train=True, batch_size=config.batch_size)  valid_dl = get_dataloader(is_train=False, batch_size=2 * config.batch_size)  n_steps_per_epoch = math.ceil(len(train_dl.dataset) / config.batch_size)   # 간단한 MLP 모델  model = get_model(config.dropout)   # 손실 및 옵티마이저를 만듭니다.  loss_func = nn.CrossEntropyLoss()  optimizer = torch.optim.Adam(model.parameters(), lr=config.lr)   # 트레이닝  example_ct = 0  step_ct = 0  for epoch in range(config.epochs):  model.train()  for step, (images, labels) in enumerate(train_dl):  images, labels = images.to(device), labels.to(device)   outputs = model(images)  train_loss = loss_func(outputs, labels)  optimizer.zero_grad()  train_loss.backward()  optimizer.step()   example_ct += len(images)  metrics = {  "train/train_loss": train_loss,  "train/epoch": (step + 1 + (n_steps_per_epoch * epoch))  / n_steps_per_epoch,  "train/example_ct": example_ct,  }   if step + 1 < n_steps_per_epoch:  # wandb에 트레이닝 메트릭을 기록합니다.  wandb.log(metrics)   step_ct += 1   val_loss, accuracy = validate_model(  model, valid_dl, loss_func, log_images=(epoch == (config.epochs - 1))  )   # wandb에 트레이닝 및 유효성 검사 메트릭을 기록합니다.  val_metrics = {"val/val_loss": val_loss, "val/val_accuracy": accuracy}  wandb.log({**metrics, **val_metrics})   # wandb에 모델 체크포인트를 저장합니다.  torch.save(model, "my_model.pt")  wandb.log_model(  "./my_model.pt",  "my_mnist_model",  aliases=[f"epoch-{epoch+1}_dropout-{round(wandb.config.dropout, 4)}"],  )   print(  f"Epoch: {epoch+1}, Train Loss: {train_loss:.3f}, Valid Loss: {val_loss:3f}, Accuracy: {accuracy:.2f}"  )   # 테스트 세트가 있는 경우 요약 메트릭으로 기록할 수 있는 방법입니다.  wandb.summary["test_accuracy"] = 0.8   # wandb run을 닫습니다.  wandb.finish() 

wandb.alert(title="Low accuracy", text=f"Accuracy is below the acceptable threshold") 

# wandb run을 시작합니다. wandb.init(project="pytorch-intro")  # 모델 트레이닝 루프 시뮬레이션 acc_threshold = 0.3 for training_step in range(1000):   # 정확도에 대한 임의의 숫자를 생성합니다.  accuracy = round(random.random() + random.random(), 3)  print(f"Accuracy is: {accuracy}, {acc_threshold}")   # wandb에 정확도를 기록합니다.  wandb.log({"Accuracy": accuracy})   # 정확도가 임계값보다 낮으면 W&B Alert를 실행하고 run을 중지합니다.  if accuracy <= acc_threshold:  # wandb Alert를 보냅니다.  wandb.alert(  title="Low Accuracy",  text=f"Accuracy {accuracy} at step {training_step} is below the acceptable theshold, {acc_threshold}",  )  print("Alert triggered")  break  # run을 완료된 것으로 표시합니다 (Jupyter 노트북에서 유용합니다). wandb.finish()