Canon de IA | Shenzhen Bold Venture Solutions Inc.

La investigación en inteligencia artificial está aumentando a un ritmo exponencial. Es difícil para los expertos en IA mantenerse al día con todo lo nuevo que se publica, y aún más difícil para los principiantes saber por dónde empezar.

Entonces, en esta publicación, compartimos una lista seleccionada de recursos en los que nos hemos basado para ser más inteligentes con la IA moderna. Lo llamamos el "Canon de IA" porque estos documentos, publicaciones de blog, cursos y guías han tenido un impacto enorme en el campo durante los últimos años.

Comenzamos con una introducción suave a los modelos de difusión latente y de transformadores, que están alimentando la ola actual de IA. A continuación, profundizamos en los recursos de aprendizaje técnico; guías prácticas para construir con grandes modelos de lenguaje (LLM); y análisis del mercado de IA. Finalmente, incluimos una lista de referencia de resultados de investigaciones históricas, comenzando con "La atención es todo lo que necesita", el artículo de Google de 2017 que presentó al mundo los modelos de transformadores y marcó el comienzo de la era de la IA generativa.

Estos artículos no requieren conocimientos especializados y pueden ayudarlo a ponerse al día rápidamente en las partes más importantes de la ola moderna de IA.

Estos recursos brindan una comprensión básica de las ideas fundamentales en el aprendizaje automático y la IA, desde los conceptos básicos del aprendizaje profundo hasta los cursos de nivel universitario de expertos en IA.

Hay innumerables recursos, algunos mejores que otros, que intentan explicar cómo funcionan los LLM. Estos son algunos de nuestros favoritos, dirigidos a una amplia gama de lectores/espectadores.

Está surgiendo una nueva pila de aplicaciones con LLM en el núcleo. Si bien todavía no hay mucha educación formal disponible sobre este tema, sacamos algunos de los recursos más útiles que hemos encontrado.

Todos nos hemos maravillado con lo que puede producir la IA generativa, pero todavía hay muchas preguntas sobre lo que significa todo esto. ¿Qué productos y empresas sobrevivirán y prosperarán? ¿Qué les pasa a los artistas? ¿Cómo deberían usarlo las empresas? ¿Cómo afectará literalmente a los puestos de trabajo ya la sociedad en general? Aquí hay algunos intentos de responder a estas preguntas.

La mayoría de los sorprendentes productos de IA que vemos hoy en día son el resultado de investigaciones no menos sorprendentes, realizadas por expertos dentro de grandes empresas y universidades líderes. Últimamente, también hemos visto un trabajo impresionante de personas y de la comunidad de código abierto que llevan proyectos populares hacia nuevas direcciones, por ejemplo, mediante la creación de agentes automatizados o la migración de modelos a espacios de hardware más pequeños.

Aquí hay una colección de muchos de estos documentos y proyectos, para personas que realmente quieren profundizar en la IA generativa. (Para trabajos y proyectos de investigación, también hemos incluido enlaces a las publicaciones de blog o sitios web adjuntos, cuando estén disponibles, que tienden a explicar las cosas en un nivel superior. Y hemos incluido años de publicación originales para que pueda realizar un seguimiento de la investigación fundamental a lo largo del tiempo. .)

Nuevos modelos

Mejoras en el modelo (por ejemplo, ajuste fino, recuperación, atención)

Codigo de GENERACION

Generación de vídeo

Biología humana y datos médicos.

Generación de audio

Generación de imágenes multidimensionales

Un agradecimiento especial a Jack Soslow, Jay Rughani, Marco Mascorro, Martin Casado, Rajko Radovanovic y Vijay Pande por sus contribuciones a este artículo, y a todo el equipo de a16z por una discusión siempre informativa sobre lo último en IA. Y gracias a Sonal Chokshi y al equipo de criptografía por construir una larga serie de cánones en la empresa.

* * *

Las opiniones expresadas aquí son las del personal individual de AH Capital Management, LLC ("a16z") citado y no son las opiniones de a16z o sus afiliados. Cierta información contenida aquí se ha obtenido de fuentes de terceros, incluso de compañías de cartera de fondos administrados por a16z. Si bien se tomó de fuentes que se consideran confiables, a16z no ha verificado de forma independiente dicha información y no hace declaraciones sobre la precisión duradera de la información o su idoneidad para una situación determinada. Además, este contenido puede incluir anuncios de terceros; a16z no ha revisado dichos anuncios y no respalda ningún contenido publicitario incluido en ellos.

Este contenido se proporciona solo con fines informativos y no debe considerarse como asesoramiento legal, comercial, de inversión o fiscal. Debe consultar a sus propios asesores sobre estos asuntos. Las referencias a cualquier valor o activo digital son solo para fines ilustrativos y no constituyen una recomendación de inversión ni una oferta para proporcionar servicios de asesoramiento de inversión. Además, este contenido no está dirigido ni destinado a ser utilizado por ningún inversionista o posible inversionista, y bajo ninguna circunstancia se puede confiar en él al tomar una decisión de invertir en cualquier fondo administrado por a16z. (Una oferta para invertir en un fondo a16z se realizará solo mediante el memorando de colocación privada, el acuerdo de suscripción y otra documentación relevante de dicho fondo y debe leerse en su totalidad). Cualquier inversión o compañía de cartera mencionada, referida o descritas no son representativas de todas las inversiones en vehículos administrados por a16z, y no puede garantizarse que las inversiones serán rentables o que otras inversiones realizadas en el futuro tendrán características o resultados similares. Una lista de inversiones realizadas por fondos administrados por Andreessen Horowitz (excluyendo inversiones para las cuales el emisor no ha otorgado permiso para que a16z divulgue públicamente, así como inversiones no anunciadas en activos digitales que cotizan en bolsa) está disponible en https://a16z.com/investments /.

Los cuadros y gráficos proporcionados en el interior tienen únicamente fines informativos y no se debe confiar en ellos al tomar cualquier decisión de inversión. El rendimiento pasado no es indicativo de resultados futuros. El contenido habla sólo a partir de la fecha indicada. Todas las proyecciones, estimaciones, pronósticos, objetivos, perspectivas y/u opiniones expresadas en estos materiales están sujetas a cambios sin previo aviso y pueden diferir o ser contrarias a las opiniones expresadas por otros. Consulte https://a16z.com/disclosures para obtener información adicional importante.

Tabla de contenido Software 2.0 Estado de GPT ¿Qué está haciendo ChatGPT... y por qué funciona? Transformadores, explicados Cómo funciona Stable Diffusion Aprendizaje profundo en pocas palabras: conceptos básicos Aprendizaje profundo práctico para codificadores Explicación de Word2vec Sí, debe entender backprop Stanford CS229 Stanford CS224N El transformador ilustrado El transformador anotado Construyamos GPT: desde cero, en código, explicado El Difusión estable ilustrada: RLHF: Aprendizaje por refuerzo a partir de la retroalimentación humana Aprendizaje por refuerzo a partir de la retroalimentación humana Stanford CS25 Stanford CS324 Aprendizaje predictivo, NIPS 2016 IA para la conducción autónoma total en Tesla La hipótesis de escala Las implicaciones salvajes de Chinchilla Un estudio de grandes modelos de lenguaje Chispas de inteligencia artificial general : Primeros experimentos con GPT-4 La revolución de la IA: cómo Auto-GPT desencadena una nueva era de automatización y creatividad El efecto Waluigi Construya un bot de soporte de GitHub con GPT3, LangChain y Python Creación de aplicaciones LLM para producción Guía de ingeniería rápida Inyección rápida: qué es lo peor que puede pasar? OpenAI cookbook Pinecone learning center LangChain docs LLM Bootcamp Hugging Face Transformers Chatbot Arena Open LLM Leaderboard ¿Quién es el propietario de la plataforma de IA generativa? Navegar por el alto costo de la computación de IA El arte no está muerto, solo es generado por máquinas La revolución de la IA generativa en los juegos Para las aplicaciones de IA generativa B2B, ¿es menos más? Los servicios financieros adoptarán la IA generativa más rápido de lo que piensa IA generativa: la próxima plataforma para el consumidor Para marcar una diferencia real en el cuidado de la salud, la IA deberá aprender como nosotros La nueva revolución industrial: Bio x AI Sobre las oportunidades y los riesgos de los modelos básicos Informe sobre el estado de la IA Los GPT son GPT: una mirada preliminar al potencial de impacto en el mercado laboral de los modelos de lenguaje extenso Medicina profunda: cómo la inteligencia artificial puede hacer que la atención médica vuelva a ser humana Modelos de lenguaje extenso Todo lo que necesita es atención BERT: entrenamiento previo de transformadores bidireccionales profundos para comprensión del lenguaje Mejorar la comprensión del lenguaje mediante un preentrenamiento generativo Los modelos de lenguaje son aprendices de pocos intentos Entrenar modelos de lenguaje para seguir instrucciones con retroalimentación humana LaMDA: modelos de lenguaje para aplicaciones de diálogo PaLM: escalar el modelado de lenguaje con vías OPT: entrenamiento de modelos de lenguaje de transformadores preentrenados abiertos modelos de lenguaje grande con optimización de cálculo Informe técnico GPT-4 LLaMA: modelos de lenguaje base abiertos y eficientes Alpaca: un modelo sólido y replicable de seguimiento de instrucciones Mejoras del modelo (por ejemplo, ajuste fino, recuperación, atención) Aprendizaje de refuerzo profundo de las preferencias humanas Recuperación aumentada generación para tareas de NLP intensivas en conocimiento Mejora de los modelos de lenguaje mediante la recuperación de billones de tokens LoRA: Adaptación de bajo rango de grandes modelos de lenguaje AI constitucional (2022) FlashAttention: Atención exacta rápida y eficiente en memoria con conciencia de IO Hipopótamos hambrientos: Hacia el lenguaje modelado con modelos de espacio de estado Modelos de generación de imágenes Aprendizaje de modelos visuales transferibles a partir de la supervisión del lenguaje natural Generación de texto a imagen de tiro cero Síntesis de imágenes de alta resolución con modelos de difusión latente Modelos fotorrealistas de difusión de texto a imagen con comprensión profunda del lenguaje DreamBooth: ajuste fino modelos de difusión de texto a imagen para la generación impulsada por el sujeto Agregar control condicional a los modelos de difusión de texto a imagen Agentes Un camino hacia la inteligencia artificial autónoma ReAct: Sinergizar el razonamiento y la actuación en modelos de lenguaje Agentes generativos: Simulacros interactivos del comportamiento humano Reflexión: un agente autónomo con memoria dinámica y autorreflexión Toolformer: los modelos de lenguaje pueden aprender a usar herramientas Auto-GPT: un experimento autónomo de GPT-4 BabyAGI Otras modalidades de datos Generación de código Evaluación de grandes modelos de lenguaje entrenados en código Generación de código a nivel de competencia con AlphaCode CodeGen : Un gran modelo de lenguaje abierto para código con síntesis de programa de múltiples turnos Generación de video Make-A-Video: Generación de texto a video sin datos de texto y video Imagen Video: Generación de video de alta definición con modelos de difusión Biología humana y datos médicos Estrategias para Redes neuronales gráficas previas al entrenamiento Predicción mejorada de la estructura de proteínas utilizando los potenciales del aprendizaje profundo Los grandes modelos de lenguaje codifican el conocimiento clínico Generación de audio Jukebox: un modelo generativo para música AudioLM: un enfoque de modelado de lenguaje para la generación de audio MusicLM: generación de música a partir de texto Generación de imágenes multidimensionales NeRF: representación de escenas como campos de radiación neuronal para la síntesis de vistas DreamFusion: conversión de texto a 3D mediante difusión 2D