Meta libera LLaMA y se "filtra" en internet: el momento que detona open source serio
El 24 de febrero, Meta AI publicó LLaMA (Large Language Model Meta AI), una familia de modelos de lenguaje en cuatro tamaños (7B, 13B, 33B y 65B parámetros) con desempeño competitivo contra GPT-3 a una fracción del costo computacional. La liberación fue oficialmente "research-only": Meta entregaba pesos a investigadores académicos previa solicitud y firma de un acuerdo de no uso comercial.
Una semana después, los pesos completos aparecieron publicados en 4chan vía un torrent. Días más tarde, alguien abrió un pull request en el repo oficial de Meta agregando el enlace al torrent (rechazado, obviamente). En cuestión de días, LLaMA estaba corriendo en cientos de servidores fuera de Meta. Y entonces empezó algo que pocos anticiparon: una explosión de innovación open source que, en pocas semanas, cambió la estructura del mercado de IA.
Para empresas mexicanas medianas, el efecto operativo es concreto: la conversación de build vs buy de IA ya no se decide automáticamente a favor de las APIs propietarias. Aquí va por qué.
Qué pasó después de la "filtración"
La velocidad de iteración del ecosistema fue extraordinaria. En los primeros 30 días post-filtración:
- llama.cpp (Georgi Gerganov): port en C++ de la inferencia, optimizado para CPU. De repente, modelos de 7B y 13B parámetros corrían en Macs M1, en Raspberry Pi e incluso en celulares. La barrera de "necesitas GPU caras para inferencia" se rompió para modelos pequeños.
- Alpaca (Stanford): fine-tuning de LLaMA 7B sobre 52,000 instrucciones generadas por GPT-3.5 (vía la técnica self-instruct), por aproximadamente 600 dólares de costo total. Resultado: un modelo conversacional comparable en muchas tareas a text-davinci-003. La barrera de "necesitas millones para crear un asistente" se desplomó.
- Vicuna (UC Berkeley + CMU + Stanford), poco después: fine-tuning con conversaciones de ChatGPT, calidad aún más cercana al original.
- Quantization (4-bit, 8-bit): técnicas para comprimir los modelos sin perder mucha calidad, permitiendo correr LLaMA 13B en una sola GPU de consumo.
En menos de un trimestre, el ecosistema open source de LLMs pasó de no existir a tener stack completo: modelos base, técnicas de fine-tuning baratas, runtimes optimizados, herramientas de quantization y comunidades activas iterando.
Por qué importa para empresas medianas
Hace 12 meses, "correr tu propio LLM" requería:
- Equipo de ML maduro.
- Infraestructura GPU sustancial.
- Caso de uso muy claro para justificar la inversión.
- Tolerancia a calidad significativamente menor que las APIs comerciales.
Después del LLaMA-leak y la explosión que detonó:
- Modelos pequeños (7B-13B) corren en hardware accesible o incluso CPU.
- Fine-tuning específico cuesta cientos de dólares, no millones.
- Stack maduro (HuggingFace transformers, vLLM más adelante en el año, Ollama, LM Studio) hace que un equipo técnico promedio pueda operarlo.
- Calidad para tareas específicas se acerca a APIs comerciales.
Esto no significa que GPT-4 o Claude dejen de tener sentido. Significa que el portafolio de opciones se amplió, y el cálculo cambia caso por caso.
Cuándo modelo propio empieza a tener sentido
Patrones donde estamos viendo a empresas medianas considerar (o ya implementar) modelos propios basados en derivados de LLaMA:
1. Alto volumen, dominio acotado
Procesamiento masivo de tickets de soporte, clasificación de correos, extracción de campos estructurados de documentos, validación de formularios. En volúmenes de cientos de miles de requests al mes, la API por token se vuelve cara y el modelo propio (con costo predecible de GPU rentada o on-prem) gana económicamente.
2. Datos sensibles que no pueden salir
Análisis de contratos, revisión de código propietario, procesamiento de datos médicos o financieros bajo compliance estricto. Modelo propio en infraestructura controlada elimina el flujo de datos a un tercero.
3. Casos donde la latencia local importa
Aplicaciones donde la respuesta debe ser instantánea (en milisegundos, no segundos) y la red es factor: modelo local en edge tiene ventaja sobre API remota.
4. Experimentación intensiva sin presión de costo
Equipos que iteran muchísimo (data science, R&D, prototipado rápido). Cada llamada a API tiene costo; modelo propio absorbe la experimentación dentro del costo fijo de infraestructura.
Cuándo NO recomendamos modelo propio aún
Igual de importante saber cuándo no:
- Calidad de frontera necesaria: GPT-4 o el próximo Claude siguen siendo superiores para razonamiento complejo, español con matices, dominios mixtos. Si la calidad es lo que define el caso, paga por API premium.
- Volumen bajo o impredecible: si vas a hacer 10,000 llamadas al mes, no vale la pena el costo fijo de infraestructura. APIs ganan económicamente.
- No tienes equipo técnico para operar la infraestructura: modelos propios requieren MLOps, monitoring, actualizaciones, manejo de incidentes. Si no tienes el equipo (o consultor confiable), las APIs son más cómodas.
- Caso de uso aún no validado: primero valida con APIs (rápido, sin compromiso), luego decide si vale la pena migrar a modelo propio.
Stack típico recomendado para 2023
Para una empresa mediana mexicana que decide explorar modelo propio basado en LLaMA o derivados, el stack inicial razonable:
- Modelo base: una variante derivada (Vicuna, Alpaca, posteriormente Llama-2 que llega más adelante en el año). Tamaño 7B-13B para arrancar.
- Hardware: una GPU NVIDIA A100/A10/A40 rentada en AWS, GCP o un proveedor LATAM. Costo de operación: $700-2,000 USD/mes según GPU y uso.
- Runtime: HuggingFace transformers para arranque, vLLM para producción cuando necesites throughput.
- Fine-tuning: LoRA o QLoRA para ajustes baratos sobre tus datos específicos.
- Orchestration y observabilidad: Langfuse, Helicone, o stack propio con Prometheus + Grafana.
La inversión inicial razonable para un primer caso de uso operando es de 4-8 semanas de equipo técnico (interno o consultoría) más unos $5-10k USD de infraestructura para el primer año.
El elefante en la sala: licencias
LLaMA v1 oficialmente NO permite uso comercial. Los pesos "filtrados" no cambian eso legalmente. Para empresas serias, esto significa:
- No usar LLaMA v1 directamente en producción comercial. Riesgo legal real.
- Usar derivados con licencia más permisiva: Alpaca, Vicuna y similares heredan restricciones; revisa caso por caso.
- Esperar a Llama-2 (que llega más adelante en 2023 con licencia comercial permisiva) o usar otros modelos abiertos: MPT (MosaicML), Falcon (TII), modelos chinos con licencia abierta.
Para empresas mexicanas, recomendamos en este Q1: hacer el aprendizaje técnico con derivados (entender el stack, medir calidad para tu caso) pero esperar para producción al lanzamiento de modelos con licencia comercial limpia.
La lectura larga
La filtración de LLaMA no fue solo un incidente; fue el momento en que el genio se salió de la botella. La velocidad de innovación que se desencadenó muestra que la comunidad open source, cuando tiene un base model competitivo, itera más rápido que cualquier laboratorio cerrado. Esto no significa que OpenAI y Anthropic pierdan; significa que el mercado se segmenta.
Para empresas mexicanas medianas, la postura sana en 2023 es portafolio, no monomodelo. APIs comerciales para casos premium, modelos propios para volumen alto y datos sensibles, capacidades internas para evaluar opciones a la velocidad que el mercado las saca. Quien arme esa flexibilidad este año va a operar más barato, con más resiliencia y con más control en 2024.
¿Evaluando modelo propio vs API? Revisemos números. En ALCA acompañamos a equipos técnicos a evaluar arquitecturas híbridas de IA y a ejecutar pilotos serios. Solicita una sesión técnica.
