Um modelo de fundação, modelo fundamental, ou modelo de base é um modelo de inteligência artificial treinado com uma grande quantidade de dados de diferentes domínios não rotulados (geralmente por meio de aprendizado autossupervisionado) que resulta em um modelo que pode ser adaptado a uma ampla gama de tarefas. Os modelos de fundação transformaram o desenvolvimento dos sistemas de IA desde a sua introdução em 2018. Os primeiros exemplos de modelos de fundação foram grandes modelos de linguagem pré-treinados, tais como BERT e GPT-3. Utilizando as mesmas ideias, foram construídos modelos específicos de domínio que usam sequências de outros tipos de tokens, como códigos médicos. Posteriormente, foram produzidos modelos de fundação multimodais, incluindo DALL-E, Flamingo e Florence. O Centro de Pesquisa em Modelos de Fundação (CRFM) do Institute for Human-Centered Artificial Intelligence da Universidade de Stanford (HAI) popularizou o termo.
Definições O Centro de Pesquisa em Modelos de Fundação (CRFM) do Instituto de Inteligência Artificial Centrada no Ser Humano (HAI) da Universidade de Stanford usou o termo «modelo de fundação» em agosto de 2021 para referir-se a "qualquer modelo que seja treinado com um conjunto de dados multidomínio de larga escala (geralmente por meio de treinamento autossupervisionado) que possa ser adaptado (ajustado) a uma ampla gama de tarefas". Optou-se pelo termo em vez de «modelo fundamental» para dar a entender que estes servem como o "alicerce" para modelos específicos e não são, explicitamente, uma fonte de princípios fundamentais, dado seu caráter emergente e incompleto. À medida que os governos regulamentam os modelos de fundação, surgiram novas definições legais:
Nos Estados Unidos, a Ordem Executiva sobre o Desenvolvimento e Uso Seguro e Confiável da Inteligência Artificial o define como «um modelo de IA que é treinado com grande quantidade de dados; geralmente usando autossupervisão; contém pelo menos dezenas de bilhões de parâmetros e é aplicável em uma ampla gama de contextos». Na União Europeia, o Regulamento sobre Inteligência Artificial o define como um «modelo de IA que é treinado com dados de vários domínios em larga escala, é projetado para a generalização de resultados e pode ser adaptado a uma ampla gama de tarefas». No Reino Unido, o relatório AI Foundation Models: Initial Report o define como «um tipo de tecnologia de IA que é treinada com grandes quantidades de dados e que pode ser adaptada a uma ampla gama de tarefas e operações».
Ver também Inteligência artificial Inteligência artificial generativa Modelos de linguagem de grande escala ChatGPT Aprendizado de máquina Geração aumentada por recuperação Processamento de linguagem natural
Referências