got-scraft

Módulo profesional de scraping con axios + cheerio. Anti-bloqueo integrado para cualquier sitio web.

npm install got-scraft

npm install https://github.com/natsu-dev01/got-scraft.git

const got = require('got-scraft');

About

got-scraft es un módulo de scraping diseñado para extraer datos de cualquier sitio web evitando bloqueos. Todo en uno: HTTP client, parser HTML, anti-detección, y extractores de datos.

Por qué got-scraft

• Anti-bloqueo real: proxies rotativos, rate limiting, cache busting, headers camuflados
• Sin navegador: usa axios + cheerio, más rápido que Puppeteer
• Dual CJS/ESM: funciona con require() e import
• TypeScript: definiciones de tipos incluidas
• Integridad: verificación SHA256 contra manipulation
• Zero config: funciona out-of-the-box

Capacidades

| Area | Que hace | |------|----------| | HTTP | fetch, fetchWithRetry, post, sesiones con cookies | | HTML | cheerio, meta tags, Open Graph, encoding auto | | Extraccion | links, imágenes, scripts, emails, forms, JSON-LD | | Anti-bloqueo | ProxyRotator, Throttler, cacheBust, isBlocked | | Headers | 12 perfiles de dispositivo, headers rotativos |

Anti-bloqueo

Proxy rotatorio

const got = require('got-scraft');

const rotator = new got.ProxyRotator()
  .loadFromFile('./proxies.txt')
  .add('127.0.0.1:8080');

// Rotación automática en errores
const html = await got.fetchWithRetry('https://ejemplo.com', {
  proxyRotator: rotator,
  retries: 5,
  rotateOnError: true,
});

Rate limiting

const got = require('got-scraft');

const throttler = new got.Throttler(20); // 20 req/min

const html = await got.fetch('https://ejemplo.com', { throttler });

Cache busting

const got = require('got-scraft');

// Auto: agrega ?_=timestamp a cada URL
await got.fetch('https://ejemplo.com', { cacheBust: true });

// Manual
const url = got.cacheBust('https://ejemplo.com');

Sesión completa

const got = require('got-scraft');

const session = got.createSession({
  minGap: 3000,          // 3s entre requests
  maxRPM: 15,            // 15 requests/minuto
  cacheBust: true,
  cookieJar: true,
  randomizeHeaders: true,
});

const a = await session.get('https://ejemplo.com/a');
const b = await session.get('https://ejemplo.com/b');

Detectar bloqueo

const got = require('got-scraft');

const html = await got.fetch('https://ejemplo.com');

if (got.isBlocked(html)) {
  console.log('Respuesta bloqueada');
}

// Inspeccionar respuesta completa
const response = await got.axios.get('https://ejemplo.com');
console.log(got.inspectResponse(response));

API completa

HTTP

| Función | Descripción | |---------|-------------| | fetch(url, opts?) | GET request | | fetchWithRetry(url, opts?) | GET con reintentos + backoff | | post(url, body, opts?) | POST request | | createClient(opts?) | Cliente axios reusable | | createSession(opts?) | Sesión con rate limit + cookies |

HTML

| Función | Descripción | |---------|-------------| | load(html, opts?) | Carga HTML (auto-detect encoding) | | getMeta($, prop) | Meta tag por propiedad | | getAllMeta($) | Todas las meta tags | | getOG($) | Tags Open Graph (og:*) | | getText($) | Texto plano del body | | getLines($) | Líneas de texto no vacías | | matchText(text, patterns[]) | Regex múltiple | | stripHTML(html) | Limpia etiquetas HTML | | parseNumber(str) | "1.5k" → "1500" |

Extractores

| Función | Descripción | |---------|-------------| | extractLinks($, baseUrl) | Todos los links | | extractImages($, baseUrl) | Todas las imágenes | | extractScripts($, baseUrl) | Scripts externos | | extractStyles($, baseUrl) | Hojas de estilo | | extractEmails(text) | Direcciones de email | | extractIFrames($, baseUrl) | Iframes | | extractForms($) | Formularios con campos | | extractJsonLd($) | Datos JSON-LD estructurados |

Anti-bloqueo

| Función/Clase | Descripción | |---------------|-------------| | ProxyRotator | Rotador de proxies (HTTP/SOCKS) | | Throttler | Limitador de requests/minuto | | cacheBust(url) | Evita caché del navegador | | isBlocked(html) | Detecta bloqueo en respuesta | | inspectResponse(res) | Inspecciona respuesta axios |

Headers

| Función | Descripción | |---------|-------------| | buildHeaders(opts?) | Headers camuflados completos | | buildSecChUa() | Sec-Ch-Ua aleatorio | | PROFILES | 12 perfiles de dispositivo | | AGENTS | User-Agents de cada perfil | | REFERERS | 23 referers reales | | LANGUAGES | 12 locales de idioma |

Cookies

| Función | Descripción | |---------|-------------| | cookiesFromFile(path) | Lee cookies de archivo | | cookiesFromNetscape(path) | Lee cookies formato Netscape | | cookiesFromBrowser(path) | Alias de cookiesFromNetscape | | cookiesToHeader(cookies) | Convierte a string header | | mergeCookies(...cookies) | Fusiona múltiples fuentes |

Utilidades

| Función | Descripción | |---------|-------------| | rand(min, max) | Entero aleatorio | | pick(arr) | Elemento aleatorio | | shuffle(arr) | Fisher-Yates shuffle | | shuffleObjectKeys(obj) | Keys en orden aleatorio | | sleep(ms) | Pausa en milisegundos | | randomDelay(min?, max?) | Pausa aleatoria | | saveJSON(data, path) | Guarda JSON a archivo | | loadJSON(path) | Lee JSON de archivo | | log(msg, data?) | Log a stderr con timestamp |

Meta scraper

const got = require('got-scraft');

const info = await got.scrapeMeta('https://ejemplo.com');
// { url, title, meta: {...}, og: {...} }

Ejemplo: scraper de video de Facebook

const got = require('got-scraft');

const TARGET_URL = process.argv[2] || 'https://www.facebook.com/facebook/videos/10153231379946729/';

function extractVideoUrls(html) {
  const result = { hd: null, sd: null };
  const hd = html.match(/browser_native_hd_url"\s*:\s*"([^"]+)"/);
  const sd = html.match(/browser_native_sd_url"\s*:\s*"([^"]+)"/);
  if (hd) result.hd = hd[1].replace(/\\\//g, '/');
  if (sd) result.sd = sd[1].replace(/\\\//g, '/');
  return result;
}

async function scrapeVideo() {
  const session = got.createSession({
    minGap: 3000,
    maxRPM: 15,
    cookieJar: false,
  });

  const html = await session.get(TARGET_URL);

  const $ = got.load(html);
  const jsonLd = got.extractJsonLd($);
  const videoUrls = extractVideoUrls(html);

  const result = {
    url: TARGET_URL,
    scrapedAt: new Date().toISOString(),
    title: $('title').text(),
    description: got.getMeta($, 'description'),
    og: got.getOG($),
    videoUrls,
    jsonLd,
  };

  console.log(JSON.stringify(result, null, 2));
}

scrapeVideo().catch(console.error);

YouTube scraper

Extrae metadata, formatos y URLs de streaming. Si YouTube cifra las URLs (casi siempre), got-scraft descarga yt-dlp automáticamente desde GitHub y lo usa para descifrarlas.

const got = require('got-scraft');

// Metadata + formatos
const info = await got.getVideoInfo('https://youtu.be/dQw4w9WgXcQ');
console.log(info.title);       // Rick Astley - Never Gonna Give You Up
console.log(info.author);      // Rick Astley
console.log(info.lengthSeconds); // 213
console.log(info.formats);     // [27 formatos con itag, calidad, codecs]

// URLs de streaming descifradas (usa yt-dlp si es necesario)
const audio = await got.getAudioUrl('https://youtu.be/dQw4w9WgXcQ');
console.log(audio.url);        // URL real de streaming

const video = await got.getVideoUrl('https://youtu.be/dQw4w9WgXcQ');
console.log(video.url);

// Descargar audio como MP3
await got.download('https://youtu.be/dQw4w9WgXcQ', './audio.mp3');

API YouTube

| Función | Descripción | |---------|-------------| | getVideoInfo(url, opts?) | Metadata + todos los formatos | | getAudioUrl(url, opts?) | URL de streaming de audio (mejor calidad) | | getVideoUrl(url, opts?) | URL de streaming de video | | getDirectUrl(url, formatSelector, opts?) | URL para un itag específico | | download(url, dest, opts?) | Descarga audio como MP3 |

Opciones:

| Opción | Tipo | Descripción | |--------|------|-------------| | preferAudioItag | number | Itag preferido para audio (ej: 140 = m4a 128kbps, 251 = webm 160kbps) | | preferVideoItag | number | Itag preferido para video (ej: 18 = 360p, 137 = 1080p) | | ytDlpPath | string | Ruta personalizada a yt-dlp (si no se especifica, se descarga solo) |

Dependencias

| Paquete | Versión | Uso | |---------|---------|-----| | axios | ^1.18 | HTTP client | | cheerio | ^1.2 | HTML parser | | tough-cookie | ^5.1 | Cookie jar | | axios-cookiejar-support | ^5.0 | Cookies en axios | | https-proxy-agent | ^7.0 | Proxy HTTP/HTTPS | | socks-proxy-agent | ^8.0 | Proxy SOCKS | | iconv-lite | ^0.6 | Encoding conversion | | chardet | ^2.1 | Detección de encoding |

Licencia

MIT