Agrupando texto sin estructura con embeddings de LLM y HDBSCAN

Tienes un montón de texto sin estructura — reseñas de clientes, tickets de soporte, publicaciones en redes sociales — y necesitas descubrir qué hay dentro sin tener que leer cada línea tú mismo. El truco ahora es dejar que un LLM convierta cada fragmento en un vector, y luego agrupar esos vectores con HDBSCAN.

HDBSCAN encuentra grupos de densidad variable y etiqueta automáticamente los valores atípicos como ruido. A diferencia de KMeans, no tienes que adivinar cuántos grupos hay. Introduce unas cuantas miles de oraciones, observa cómo el algoritmo las divide en grupos naturales, y luego pidele a un LLM que nombre cada grupo. El resultado es una taxonomía etiquetada que no tuviste que construir a mano.

Por qué nos importa: Las comunidades Brown y Black producen montañas de datos sin estructura — informes comunitarios, notas de pacientes, reseñas de pequeños negocios — y las herramientas que pueden agrupar y etiquetarlas automáticamente significan menos gatekeeping y más voz sobre lo que se cuenta.