Skip to content
Snippets Groups Projects

Fs25 fixes

Merged Sonja Huber requested to merge fs25_fixes into master
2 files
+ 24
24
Compare changes
  • Side-by-side
  • Inline
Files
2
@@ -46,7 +46,7 @@ def scrape_websites(file_url_list, file_output):
# das Heruntergeladene wird von trafilatura brauchbar gemacht
# Output-Format ist XML, Kommentare inkludiert, und nur Seiten auf Deutsch werden gescrapt
website_content_cleaned = extract(website_content, output_format='xml', include_comments=True,
website_content_cleaned = extract(website_content, with_metadata=True, output_format='xml', include_comments=True,
target_language='de')
if website_content_cleaned is None: # falls die Extraktion nicht ausgeführt werden kann
Loading