Bug fix и рефактор Wildberries

Author: Flyer-DM

parsers/wildberries_parser.py

@@ -1,4 +1,3 @@
-import re
 import time
 import random
 from tqdm import tqdm
@@ -51,18 +50,6 @@ def _get_goods_links(self, number_of_goods: Union[Literal['max'], int] = 10) ->
  self.page.goto(self.page.get_by_text(text=href_next_page).get_attribute(tag_href))
  self._get_goods_links(number_of_goods)
 
- @staticmethod
- def __parse_seller_descr(descr: str) -> tuple:
- """Парсинг доп информации о поставщике - уровень поставщика, сколько товаров продано, сколько времени на рынке
- version = 0.1
- """
- descr = descr.replace("\n", " ")
- level = re.search(r".+(?= У)", descr)
- level = level.group(0) if level else None
- sold_goods = re.search(r"(?:(?<= )|(?<=^))[\d\s]+(?= Т)", descr).group(0)
- on_market = re.search(r"(?<=[он] ).+(?= Н)", descr).group(0)
- return level, sold_goods, on_market
-
  def _get_good_descr(self, page_link: str) -> None:
  """Сбор информации о товаре на его странице
  version = 0.2
@@ -80,8 +67,7 @@ def _get_good_descr(self, page_link: str) -> None:
  product.price = self.page.query_selector('ins[class="price-block__final-price wallet"]')
  product.old_price = self.page.query_selector('del[class="price-block__old-price"]')
  product.score = self.page.query_selector('div[class="product-page__common-info"]')
- product.reviews = self.page.query_selector('span[class="product-review__count-review '
- 'j-wba-card-item-show j-wba-card-item-observe"]')
+ product.reviews = self.page.query_selector('span[data-wba-location="reviews"]')
  product.category = self.page.query_selector('div[class="breadcrumbs__container"]')
  seller_goods_data_link = "href{:selectedNomenclature^brandAndSubjectUrl}{on $analitic.proceedAndSave 'IBC'}"
  product.seller_goods = self.page.query_selector(f'a[data-link="{seller_goods_data_link}"]')
@@ -91,9 +77,8 @@ def _get_good_descr(self, page_link: str) -> None:
  time.sleep(random.uniform(.3, .6))
  if self.page.is_visible(seler_info_div): # проверяем, что есть блок с описанием продавца
  self.page.hover(seler_info_div) # наведение мышкой на значок подробностей о продавце
- seller_status = self.page.locator('.seller-params__list').inner_text()
+ product.parse_seller_descr(self.page.locator('.seller-params__list'))
  product.seller_score = self.page.query_selector('span[class="address-rate-mini"]')
- product.seller_lvl, product.sold_goods, product.on_market = self.__parse_seller_descr(seller_status)
  self.page.click('text="Все характеристики и описание"')
  self.page.wait_for_timeout(random.randint(150, 400)) # ждём, когда прогрузится открытый блок описания
  product.description = self.page.query_selector('p[class="option__text"]')

parsers_dataclasses/wildberries_dataclasses.py

@@ -7,26 +7,26 @@
 @dataclass
 class WildberriesProduct:
 
- __version__ = "0.2"
+ __version__ = "0.3"
  __base_link = "https://www.wildberries.ru"
 
  page_link: str = field(init=True) # ссылка на страницу товара
  title: str = field(init=True) # название товара
  seller: str = field(init=False) # название продавца
- seller_score: Optional[float] = field(init=False, default=None) # средняя оценка продавцы
+ seller_score: Optional[float] = field(init=False, default=None) # средняя оценка продавца
  brand: Optional[str] = field(init=False) # бренд товара
  article: int = field(init=False) # артикул товара
- price_wb_wallet: int = field(init=False) # цена товара с wb кошельком
- price: int = field(init=False) # цена товара со скидкой
- old_price: int = field(init=False) # старая цена товара
+ price_wb_wallet: Optional[int] = field(init=False) # цена товара с wb кошельком
+ price: Optional[int] = field(init=False) # цена товара со скидкой
+ old_price: Optional[int] = field(init=False) # старая цена товара
  score: Optional[float] = field(init=False) # средняя оценка товара
  reviews: Optional[int] = field(init=False) # количество отзывов на товар
  category: Optional[str] = field(init=False) # категория товара
  seller_goods: Optional[str] = field(init=False) # ссылка на товары бренда
  same_category: str = field(init=False) # ссылка на товары той же категории
  refund: Optional[str] = field(init=False) # возможность возврата
  seller_lvl: Optional[str] = field(init=False, default=None) # уровень продавца
- sold_goods: Optional[str] = field(init=False, default=None) # сколько товаров было продано продавцом
+ sold_goods: Optional[int] = field(init=False, default=None) # сколько товаров было продано продавцом
  on_market: Optional[str] = field(init=False, default=None) # сколько продавец на рынке
  description: str = field(init=False) # описание товара
 
@@ -35,7 +35,7 @@ def dict(self):
  return {k: v for k, v in asdict(self).items()}
 
  def __setattr__(self, key: str, value: Optional[Union[str, ElementHandle]]):
- """version = 0.3"""
+ """version = 0.4"""
  if key in ("seller", "title", "refund", "description"):
  value = self.__inner_text(value)
  elif key in ("price_wb_wallet", "price", "old_price", "reviews"):
@@ -45,18 +45,14 @@ def __setattr__(self, key: str, value: Optional[Union[str, ElementHandle]]):
  elif key == "article":
  value = int(self.__inner_text(value))
  elif key == "brand":
- value = self.__inner_text(value.query_selector('a'))
- value = value if value != '' else None
+ value = value if (value := self.__inner_text(value.query_selector('a'))) != '' else None
  elif key == "score":
- value = self.__inner_text(value)
- value = re.search(r'[\d\s\.]+(?=\n)', value) if value else None
- value = float(value.group(0)) if value else None
+ value = re.search(r'[\d\s\.]+(?=\n)', value) if (value := self.__inner_text(value)) else None
+ value = float(value[0]) if value else None
  elif key == "seller_score":
  value = float(self.__inner_text(value))
  elif key == "category":
  value = self.__inner_text(value).replace('\n', '/')
- elif key == "sold_goods":
- value = self.__format_number(value)
  super().__setattr__(key, value)
 
  @staticmethod
@@ -77,6 +73,16 @@ def __href(value: Optional[ElementHandle]) -> Optional[str]:
  @staticmethod
  def __format_number(number: str) -> Optional[int]:
  """Форматирование целочисленных атрибутов с присутствием нечисловых символов
- version = 0.2.1
+ version = 0.3
+ """
+ return int(number) if (number := re.sub(r'[^\d]', '', number) if number else None) else None
+
+ def parse_seller_descr(self, seller_data: Optional[ElementHandle]) -> None:
+ """Парсинг доп информации о поставщике - уровень поставщика, сколько товаров продано, сколько времени на рынке
+ version = 0.1
  """
- return int(re.sub(r'[^\d]', '', number)) if number else None
+ if seller_data:
+ level = re.search(r".+(?= У)", seller_data := seller_data.inner_text().replace("\n", " "))
+ self.seller_lvl = level[0] if level else None
+ self.sold_goods = int(re.sub(r'[^\d]', '', re.search(r"(?:(?<= )|(?<=^))[\d\s]+(?= Т)", seller_data)[0]))
+ self.on_market = re.search(r"(?<=[он] ).+(?= Н)", seller_data)[0]