Автоматизировать процесс парсинга текстов с помощью Screaming Frog можно с помощью выражений Xpath.

Xpath — это язык запросов к элементам xml или xhtml документа. Для того, чтобы пользоваться данным языком запросов не обязательно быть программистом

Необходимо:

1️) Составить список страниц, в которых необходимо выгрузить текст.

2️) На одной из страниц скопировать Xpath для элемента статьи. Например, для того, чтобы найти соответствующий Xpath на выбранной странице нажимаем Ctrl+Shift+I, копируем Xpath нужного элемента для парсинга: правая кнопка мыши → Copy → Copy XPath

3️) Далее настраиваем лягушку:

• Переключаемся в режим списка (меню Mode → List)
  


• Переходим в меню Configuration → Custom → Extraction, выбираем XPath и Extract Text и вставляем скопированный код скопированный код XPath
  

4️) Запускаем парсинг по списку URL-ов.

В соответствующем столбце спарсится нужный текст