Notas sobre desarrollo de software, machine learning e ingeniería.
Sexta parte de la serie Reinforcement Learning desde cero con Agentic Racing. Cómo se traduce un objetivo humano a una recompensa, con la función real del piloto RL del proyecto como caso de estudio: escalas, unidades, recompensas densas y escasas, terminaciones que funcionan como premios, reward shaping, y por qué siete variantes de la recompensa no podían arreglar un problema que no era de recompensa.
Quinta parte de la serie Reinforcement Learning desde cero con Agentic Racing. Cómo encadenar Behavioral Cloning, GAIL y PPO: qué hace ML-Agents de verdad cuando los combinas, cómo se haría un fine-tuning en dos corridas, por qué en este proyecto la recompensa de la tarea podría borrar justo lo que el demo necesita, y cómo diseñar un experimento que pueda demostrar que la combinación no funciona.
Cuarta parte de la serie Reinforcement Learning desde cero con Agentic Racing. Qué es GAIL, cómo un discriminador convierte la imitación en una recompensa aprendida, qué hace exactamente ML-Agents con ella, y qué habría pasado si el proyecto hubiera llegado a usar la configuración de GAIL que preparó para su piloto.
Tercera parte de la serie Reinforcement Learning desde cero con Agentic Racing. Qué es Behavioral Cloning, cómo lo implementa ML-Agents, por qué un pequeño error se convierte en uno grande, y qué pasó cuando el proyecto preparó todo para imitar a su piloto heurístico sin que la bitácora registre una sola demostración grabada.
Segunda parte de la serie Reinforcement Learning desde cero con Agentic Racing. Abrimos PPO por dentro: policy gradient, la razón de probabilidades, el clipping, actor-critic y GAE, cada pieza conectada con la configuración real de ML-Agents del proyecto y con lo que pasó cuando PPO optimizó exactamente lo que le pedimos.
Primer artículo de una serie sobre Reinforcement Learning desde cero, usando Agentic Racing como laboratorio: estado, observación, acción, policy, recompensa, return, value, Q y advantage, explicados con el código real del piloto RL del proyecto, con sus números y con los fracasos que enseñaron más que cualquier ecuación.
Tomé el patrón Chain-of-Agents del capítulo 7 de 30 Agents Every AI Engineer Must Build y lo llevé a un demo real: un modelo local de 1.5B que escribe solo lo indispensable, un motor de decisiones al estilo JEV que responde con probabilidades en vez de texto, y un ciclo de conflicto de presupuesto que se resuelve sin generar un solo token. Lo que funcionó, lo que el modelo inventó y cómo el código terminó escribiendo la parte honesta.
Construí un demo de carreras donde un piloto reactivo obedece a un jefe de equipo LLM que razona por evento. Ocho intentos de entrenar el piloto con aprendizaje por refuerzo no funcionaron —la pista estaba rota antes que el algoritmo—, y medir cuánto aporta el estratega terminó siendo el experimento más interesante: siete corridas, sesgos de razonamiento reales y parcialmente corregibles, y una lección sobre confiar en el benchmark completo antes que en el test rápido de escritorio.
El demo detrás de cada tarjeta de proyecto de mi sitio no existe hasta que lo pides, y deja de existir veinte minutos después. Esta es la maquinaria detrás de ese botón: un entorno efímero por sesión, un pool de subdominios, un gateway, un reaper que hubo que rehacer, y los bugs que solo aparecieron en producción.
Volví a escribir construyendo algo: un chatbot RAG bilingüe sobre los posts de este blog, 100% local, $0 de API y desplegado como demo efímero. Arquitectura, calibración del umbral, performance en CPU y los bugs que enseñaron más que el happy path.
beenhereActualización 10.2023Esta entrada ha sido actualizada con la versión de TensorFlow 2.12.1 y PyTorch 2.0.1 Ya han transcurrido varios años desde el inicio del auge del Deep Learning. He sido te…
Introducción ¡Hola, entusiastas de asyncio! Si han estado siguiendo mis publicaciones, recordarán que recientemente nos sumergimos en los conceptos básicos de la biblioteca asyncio de Python en mi ent…
Introducción En el mundo en constante evolución de la programación en Python, entender la biblioteca asyncio se está volviendo cada vez más importante. asyncio permite la programación asíncrona, concu…
Tabla de contenidos Introducción Incrustación de Entrada (Input Embedding) Codificación Posicional (Positional Encoding PE) El Codificador Mecanismo de Auto-atención Mecanismo de Atención Multicabezal…
beenhereActualización 09.2022Esta entrada ha sido actualizada con la versión de TensorFlow v2.10.0 y PyTorch 1.12.1 Tabla de Contenidos ¿Qué es una función de activación?Funciones de ActivaciónSigmoid…
La generación automática de imágenes es una de las tareas que actualmente ha sido potenciada por generadores de imágenes potenciados por Inteligencia Artificial (AI). Estos últimos días se ha estado h
