Автоматизировать процесс парсинга текстов с помощью Screaming Frog можно с помощью выражений Xpath.
Xpath — это язык запросов к элементам xml или xhtml документа. Для того, чтобы пользоваться данным языком запросов не обязательно быть программистом
Необходимо:
1️) Составить список страниц, в которых необходимо выгрузить текст.
2️) На одной из страниц скопировать Xpath для элемента статьи. Например, для того, чтобы найти соответствующий Xpath на выбранной странице нажимаем Ctrl+Shift+I, копируем Xpath нужного элемента для парсинга: правая кнопка мыши → Copy → Copy XPath
3️) Далее настраиваем лягушку:
- Переключаемся в режим списка (меню Mode → List)
- Переходим в меню Configuration → Custom → Extraction, выбираем XPath и Extract Text и вставляем скопированный код скопированный код XPath
4️) Запускаем парсинг по списку URL-ов.
В соответствующем столбце спарсится нужный текст
