JunkpileWebSpider

# JunkpileWebSpider 🕷️

En snabb och effektiv webbspider för Windows som crawlar webbplatser och laddar ner filer automatiskt.

##  Funktioner

– **Rekursiv crawling** – Följ länkar till valfritt djup (1-9 nivåer eller alla)
– **Intelligent filtrering** – Välj vilka filtyper du vill ladda ner:
– Bilder (JPG, PNG, GIF, SVG, WebP, etc.)
– CSS-filer
– HTML/PHP-sidor
– Dokument (PDF, DOC, XLS, ZIP, etc.)
– Alla filer
– **Domänkontroll** – Välj att stanna inom samma webbplats eller följa externa länkar
– **Automatisk nedladdning** – Alla hittade filer laddas ner automatiskt till vald mapp
– **Realtidsloggning** – Se vad som händer i realtid via loggfönstret
– **URL-validering** – Kontrollerar automatiskt att URL:en är giltig innan crawling startar
– **Single-file executable** ingen installation behövs!

## Systemkrav

– Windows 7 eller senare
– .NET Framework 4.7.2 eller senare (ingår i Windows 10/11)

## Användning

1. **Starta programmet** – Dubbelklicka på `JunkpileWebSpider.exe`

2. **Ange URL** – Skriv in webbplatsens adress (t.ex. `https://example.com`)

3. **Välj nedladdningsmapp** – Klicka på “Select Download Path” och välj var filerna ska sparas

4. **Konfigurera inställningar**:
– ✅ **Stay within site url** – Crawla endast samma domän
– ✅ **Follow Links** – Följ länkar rekursivt (välj antal nivåer)
– Välj vilka filtyper du vill ladda ner

5. **Klicka på GO** – Spidern börjar crawla och laddar ner automatiskt!

##  Exempel

URL: https://example.com Nivåer: 2 Filtyper: Bilder + HTML Stay in site: ✓
Resultat:
• Nivå 0: Crawlar https://example.com/
• Nivå 1: Crawlar https://example.com/about.html
• Nivå 2: Crawlar https://example.com/gallery.html
Hittade 47 filer Lyckade: 45 Misslyckade: 2

##  Teknisk information

**Utvecklat i:**
– Visual Basic .NET
– .NET Framework 4.7.2
– Windows Forms

**Paketerat med:**
– ILRepack (single-file executable)

**Funktioner:**
– HTTP/HTTPS-stöd
– Regex-baserad länkparsing
– Rekursiv crawling med besökta URL-tracking
– Automatisk hantering av relativa/absoluta URL:er
– Felhantering och återhämtning

##  Buggrapportering

Om du hittar buggar eller har förslag på förbättringar, vänligen rapportera dem till metal@midnatt.net

## Utvecklare

Junkpile Studio Sweden
Utvecklad med passion för effektiv webbcrawling! 🕷️

**Varning:** Använd spindeln ansvarsfullt. Respektera webbplatsers robots.txt och användarvillkor. Överbelasta inte servrar med för många förfrågningar.