Инструмент для загрузки и локального сохранения документации с сайта ИТС.

• Парсер документации 1С ИТС
  • Возможности
  • Установка
    • Предварительные требования
    • Установка зависимостей
  • Настройка
    • 1. Аргументы командной строки
    • 2. Файл .env (рекомендуется для безопасности)
  • Использование
    • Простой запуск
    • Полный пример с указанием всех параметров
    • Параметры командной строки
  • Структура проекта
  • Особенности и рекомендации
  • Устранение неполадок

• Автоматическая авторизация на сайте 1С ИТС
• Извлечение структуры документации с учетом иерархии разделов
• Сохранение HTML-страниц с сохранением форматирования
• Загрузка и сохранение изображений
• Создание локального оглавления со ссылками на сохраненные страницы
• Поддержка ограничения количества загружаемых страниц
• Возможность возобновления загрузки с заданного раздела

• Python 3.6 или выше
• Google Chrome или Chromium
• ChromeDriver, соответствующий версии вашего браузера

pip install -r requirements.txt

Существует два способа указания учетных данных для авторизации:

Передайте логин и пароль напрямую через аргументы --username и --password.

Скопируйте файл-шаблон .env.example в .env командой:

copy .env.example .env

Затем откройте файл .env в любом текстовом редакторе и заполните свои учетные данные:

USERNAME=ваш_логин PASSWORD=ваш_пароль

python main.py --url https://its.1c.ru/db/edtdoc --login https://login.1c.ru

python main.py --url https://its.1c.ru/db/edtdoc --login https://login.1c.ru/login --username 56572-45 --password 5c5ad902 --limit 50 --headless --verbose

После завершения работы программы в директории out будут созданы:

• index.html - оглавление документации со ссылками на загруженные страницы
• Папки page_XXXX для каждой загруженной страницы
  • page.html - содержимое страницы с корректными ссылками на изображения
  • metadata.txt - информация о странице (заголовок, уровень, URL)
  • images/ - папка с изображениями для данной страницы

1. Оптимизация скорости: При указании параметра --limit скрипт оптимизирует процесс разворачивания узлов дерева, что значительно ускоряет работу программы.

2. Headless режим: По умолчанию браузер запускается в видимом режиме. Чтобы запустить в фоновом режиме без графического интерфейса, используйте параметр --headless.

3. Возобновление загрузки: Для продолжения загрузки после ошибки или прерывания, вы можете указать конкретный URL страницы, с которой нужно начать:

   python main.py --url https://its.1c.ru/db/edtdoc/content/123 --login https://login.1c.ru

4. Использование локальной копии: Для просмотра загруженной документации откройте файл out/index.html в любом современном браузере. В оглавлении доступны фильтры по уровням иерархии и инструменты навигации.

1. Ошибки авторизации: Убедитесь, что указаны правильные учетные данные. Проверьте URL страницы входа (--login).

2. Таймауты при загрузке: Для больших документаций может потребоваться больше времени. Используйте параметр --limit для ограничения количества страниц.

3. Проблемы с отображением кириллицы: Все файлы сохраняются в UTF-8, проверьте, что ваш браузер правильно определяет кодировку.

4. Несоответствие уровней вложенности: Если в консоли или результатах видны проблемы с определением уровней, используйте параметр --verbose для детальной диагностики.

5. Изображения не отображаются в документации ERP: Парсер включает специальную обработку для различных типов документации. Для документации ERP реализована дополнительная логика обработки путей изображений с учетом специфики этой документации. Если все же возникают проблемы с отображением:

   • Запустите скрипт без параметра --headless для отслеживания загрузки изображений
   • Проверьте папку images сохраненной страницы на наличие подпапок вида .files
   • В браузере откройте инструменты разработчика (F12) для анализа ошибок загрузки ресурсов