bgustdown 🚀

💡 La Visión

bgustdown es una solución de ingeniería de datos de nivel industrial construida desde cero en Rust. Está diseñada para eliminar los cuellos de botella de rendimiento en pipelines de IA, RAG (Retrieval-Augmented Generation) y fine-tuning de LLMs, transformando archivos binarios corporativos complejos en Markdown estructurado y conjuntos de datos semánticos sin latencias innecesarias ni dependencias pesadas de runtime.

Ecosistema BGUST. bgustdown y bgustreadimg (OCR) son servicios independientes y publicables por separado que forman parte del ecosistema BGUST / bgustforge. El OCR de documentos escaneados se delega a bgustreadimg, no a bgustdown.

🌟 Características Clave

• Motor de Ingesta Multi-Formato Ultra-Rápido (Rust):
  • PDF: Extracción estructurada y limpia de texto y capas vectoriales usando lopdf.
  • Office (DOCX / ODT / XLSX): Conversión directa de esquemas XML (a través de quick-xml y calamine) a Markdown, preservando tablas, listas y jerarquías de cabeceras.
• Formato de Tablas Basado en Apache Arrow:
  • Representación interna de datos tabulares (CSV y hojas XLSX) usando Apache Arrow, lo que permite operaciones en memoria ultrarrápidas y conversiones de esquemas sin copia de memoria (Zero-Copy).
• Preparación de Datasets NLP:
  • Limpieza semántica determinista (DatasetCleaner) y segmentación de oraciones optimizada para pipelines de entrenamiento RAG y NLP.
• Delegación de OCR (Ecosistema BGUST):
  • Los PDFs escaneados se detectan y marcan con BGUST_OCR_REQUIRED; el OCR lo ejecuta el servicio independiente bgustreadimg.
• Soporte NAPI-RS Nativo:
  • Bindings dinámicos y de alto rendimiento compilados en C/C++ cargados directamente por Node.js sin sobrecoste de llamadas externas.

🏗️ Arquitectura del Repositorio

El proyecto ha consolidado su arquitectura monorrama en main, centralizando el desarrollo del core y organizando las configuraciones y manifiestos de distribución en el directorio docs/:

                           [ bgustdown Core ]
                                   │
      ┌────────────────────────────┼────────────────────────────┬──────────────────────┐
      ▼ (Librería Rust)            ▼ (Bindings Node/NAPI)       ▼ (Skill para Agentes) ▼ (MCP Server)
  [ Canal Crates.io (v0.2.1) ]   [ Canal NPM / CLI (v0.2.1) ] [ Canal Skill de IA ]  [ bgustdown-mcp ]
  - docs/crates/                 - docs/npm/                  - SKILL.md            - mcp/
  - Importable como rlib         - Binario cdylib (.node)     - install_skill.sh    - stdio local

El OCR lo ejecuta el servicio independiente bgustreadimg (también del ecosistema BGUST). bgustdown detecta PDFs escaneados y devuelve un marcador BGUST_OCR_REQUIRED para delegar el proceso.

📦 Canales de Distribución

1. Canal Rust (Crates.io) 🦀

• Versión Activa: v0.2.1
• Tipo de Biblioteca: Estática (rlib).
• Uso: Añade bgustdown a tu proyecto Rust:

  [dependencies]
  bgustdown = "0.2.1"

• Ver detalles de publicación en: docs/crates/README.md.

2. Canal Node.js & CLI (NPM) 🟢

• Versión Activa: v0.2.1
• Tipo de Biblioteca: Dinámica (cdylib mediante NAPI-RS).
• Instalación:

  npm install -g bgustdown

• Ver detalles de publicación en: docs/npm/README.md.

3. Canal MCP Server 🤖

• Expone las herramientas convert_file, prepare_nlp_data y preprocess_image (OCR vía bgustreadimg) sobre el Model Context Protocol en stdio local.
• Instalación: npm install -g bgustdown-mcp
• Ver detalles en: mcp/README.md.

4. Canal Skill para Agentes de IA 🧠

• Guía de uso del motor para agentes autónomos (MCP o CLI), incluyendo la delegación de OCR a bgustreadimg.
• Ver el manifiesto en: SKILL.md y el instalador en docs/skill/install_skill.sh.

🛠️ Instalación y Compilación de Desarrollo

Si deseas compilar la librería dinámica y probar el CLI en tu entorno de desarrollo local:

1. Clonar el repositorio:

   git clone https://github.com/B-GUST/bgustdown.git
   cd bgustdown

2. Instalar dependencias de desarrollo e iniciar compilación:

   npm install
   npm run build

3. Ejecutar el CLI:

   node cli.js convert ruta/a/tu/archivo.pdf

🤖 Guía de Uso del CLI Global

Una vez enlazado o instalado globalmente:

| Comando | Acción | | :--- | :--- | | bgustdown convert <file_path> | Conversión universal a Markdown. | | bgustdown prepare <file_path> | Segmentación y estructuración en JSON de datos NLP. |

📜 Licencia y Créditos

Este proyecto se distribuye bajo la Business Source License 1.1 (BUSL-1.1). Consulta el archivo CREDITS.md para atribuciones a las librerías de terceros (Apache Arrow, Calamine, NAPI-RS).

Parte del ecosistema BGUST / bgustforge — marca personal del desarrollador Benito August (B-GUST).