Para o Rogerio Bromfman, CTO da Beaver, startup que usa IA para processar documentos de forma inteligente, por enquanto essa é uma restrição importante para as novas aplicações:

"Uma coisa não vai ser resolvida em um futuro próximo: o tamanho dos modelos. Para o GPT gerar estes resultados impressionantes, por exemplo, os modelos são gigantescos. Isto significa que custam centenas de milhares (senão milhões) de dólares para treinar. Servir o modelo para que as pessoas usem também é bastante caro. O GPT-3 custa 2 centavos de dólar por mil tokens, o que é um custo proibitivo para muitas aplicações. Como comparação, um modelo baseado no #BERT pode rodar continuamente num servidor da #AWS que custa algo como 70 dólares por mês.

• Nem todas as aplicações necessitam de um modelo tão grande e complexo. 

A Beaver tem um produto de processamento inteligente de documentos. Nós usamos uma mistura de modelos BERT com uma coleção de modelos mais simples, juntamente com nosso conhecimento dos documentos que nós processamos e das informações que nossos clientes precisam. Desta forma, conseguimos um resultado melhor do que conseguiríamos mesmo com o ChatGPT numa fração do tempo de treinamento,