docs/research/real_data_sources.md

Fuentes de Datos Reales en Oncología (Open & Registered Access)

Para construir un sistema OncoAgent robusto y libre de alucinaciones, necesitamos datos del mundo real. A continuación, presento la lista más exhaustiva de fuentes de datos oncológicos categorizadas por su utilidad para nuestro pipeline (Fine-Tuning vs. RAG) y su nivel de accesibilidad.

1. Datasets de NLP y Resúmenes Clínicos (Ideal para Fine-Tuning)

Estos datasets contienen texto libre clínico, ideal para entrenar a Llama 3.1 en razonamiento oncológico y extracción de entidades.

• PMC-Patients V2 (HuggingFace / GitHub)
  • Volumen: ~250,000 resúmenes de pacientes reales.
  • Origen: Extraídos de reportes de casos médicos en PubMed Central.
  • Acceso: 🟢 Abierto (HuggingFace Hub).
  • Uso en OncoAgent: Fundamental para generar el formato JSONL de instrucción y entrenar la lógica de "Patient-to-Article" (conectar un paciente con literatura).
• PubMedQA / MedQA / MedMCQA (HuggingFace)
  • Volumen: Cientos de miles de pares de Pregunta/Respuesta biomédica.
  • Origen: Exámenes médicos reales (USMLE) y abstracts de PubMed con respuestas de expertos.
  • Acceso: 🟢 Abierto (HuggingFace Hub).
  • Uso en OncoAgent: Validación de razonamiento y fine-tuning de QA clínico.

2. Bases de Conocimiento Clínico (Ideal para RAG Engine)

Documentos autoritativos que sirven como fuente de verdad para el sistema de recuperación vectorial.

• ESMO Clinical Practice Guidelines
  • Origen: European Society for Medical Oncology, publicados en Annals of Oncology.
  • Formato: PDFs de alta calidad (Living Guidelines).
  • Acceso: 🟢 Abierto (Free/Open Access directamente en su web).
  • Uso en OncoAgent: Fuente primaria de verdad para el RAG sin fricción de autenticación.
• NCCN Clinical Practice Guidelines in Oncology
  • Origen: National Comprehensive Cancer Network.
  • Formato: PDFs detallados estructurados en algoritmos.
  • Acceso: 🟡 Registro Gratuito Requerido. Los PDFs deben descargarse manualmente tras iniciar sesión.
  • Uso en OncoAgent: Estándar de oro en EE.UU. Requiere recolección manual previa.

3. Registros de Historias Clínicas Electrónicas (EHR / EMR)

Datos crudos de hospitales, ideales para pruebas de estrés de triaje con ruido real (laboratorios, notas de evolución).

• MIMIC-IV (PhysioNet)
  • Volumen: Cientos de miles de admisiones hospitalarias (Beth Israel Deaconess Medical Center). Contiene un subconjunto masivo de pacientes oncológicos con notas clínicas de texto libre, patología y radiología.
  • Acceso: 🔴 Controlado. Requiere firmar un Data Use Agreement (DUA) y completar el curso de ética CITI.
  • Uso en OncoAgent: La mejor fuente de datos de historias clínicas crudas si logras la acreditación.
• Project Data Sphere
  • Volumen: Datos a nivel de paciente de ensayos clínicos oncológicos históricos donados por farmacéuticas (Sanofi, Pfizer, etc.).
  • Acceso: 🟡 Registro Requerido. Abierto a investigadores tras registro básico.
  • Uso en OncoAgent: Excelente para evaluar líneas de tratamiento y toxicidad real.

4. Datos Genómicos y Patología (Multimodal)

Si el OncoAgent se expande a analizar perfiles moleculares para terapias dirigidas (Targeted Therapy).

• TCGA (The Cancer Genome Atlas) / Genomic Data Commons (GDC)
  • Volumen: +11,000 pacientes (33 tipos de cáncer).
  • Origen: NIH / NCI.
  • Acceso: 🟢 Abierto para datos clínicos y mutaciones simples; 🔴 Controlado para genómica cruda.
  • Uso en OncoAgent: Cruce de perfiles moleculares (ej. EGFR, ALK) con guías clínicas.
• AACR Project GENIE
  • Volumen: +130,000 pacientes.
  • Origen: Consorcio internacional. Relaciona secuenciación clínica con resultados del mundo real.
  • Acceso: 🟢 Abierto a la comunidad investigadora mediante releases periódicos.

---

Estrategia para el Hackathon (Viabilidad vs. Tiempo): Dado el límite de tiempo, la mejor relación esfuerzo-beneficio es:

1. Descargar ESMO Guidelines (sin fricción) para llenar ChromaDB.
2. Descargar PMC-Patients V2 vía el SDK de HuggingFace para los casos de prueba de triaje. (Esto nos da 100% de realidad clínica en 10 minutos de procesamiento, sin esperar certificaciones éticas como las de MIMIC-IV).