ZenML quer ser o elo que faz com que todas as ferramentas de IA (Inteligência Artificial) de código aberto se conectem. Este framework de código aberto permite que você construa pipelines que serão usados por cientistas de dados, engenheiros de aprendizado de máquina e engenheiros de plataforma para colaborar e criar novos modelos de IA.
A razão pela qual ZenML é interessante é que ele capacita as empresas para que possam construir seus próprios modelos privados de Inteligência artificial. Claro, as empresas provavelmente não construirão um concorrente para o GPT-4, mas elas poderiam construir modelos menores que funcionam especialmente para suas necessidades.Isso reduziria sua dependência de fornecedores de API, como a OpenAI e a Anthropic.
"A ideia é que, uma vez que a primeira onda de hype com todos usando a OpenAI ou APIs de código fechado tenha passado, [ZenML] permitirá que as pessoas construam sua própria pilha", disse Louis Coppey, sócio da empresa de capital de risco Point Nine.
No início deste ano, o ZenML arrecadou uma extensão de sua rodada de financiamento inicial da Point Nine, com o investidor existente Crane também participando. No total, a startup sediada em Munique, Alemanha, arrecadou US$6,4 milhões desde sua fundação.
Adam Probst e Hamza Tahir, os fundadores do ZenML, trabalharam juntos anteriormente em uma empresa que construía pipelines de ML para outras empresas em um setor específico. "Dia após dia, precisávamos construir modelos de aprendizado de máquina e trazê-los para a produção", disse o CEO do ZenML, Adam Probst.
A partir desse trabalho, a dupla começou a projetar um sistema modular que se adaptaria a diferentes circunstâncias, ambientes e clientes para que eles não precisassem repetir o mesmo trabalho repetidamente - isso levou ao ZenML.
Ao mesmo tempo, engenheiros que estão começando com aprendizado de máquina podem se beneficiar ao usar esse sistema modular. A equipe do ZenML chama esse espaço de MLOps - é um pouco como DevOps, mas aplicado ao ML em particular.
"Estamos conectando as ferramentas de código aberto que se concentram em etapas específicas da cadeia de valor para construir um pipeline de aprendizado de máquina - tudo nas costas dos hiperescaladores, ou seja, tudo nas costas da AWS e do Google - e também em soluções locais", disse Probst.
O conceito principal do ZenML são os pipelines. Quando você escreve um pipeline, pode executá-lo localmente ou implantá-lo usando ferramentas de código aberto como o Airflow ou o Kubeflow. Você também pode aproveitar os serviços de nuvem gerenciados, como EC2, Vertex Pipelines e SageMaker. O ZenML também se integra a ferramentas de ML de código aberto, como Hugging Face, MLflow, TensorFlow, PyTorch, etc.
"O ZenML é a coisa que reúne tudo em uma única experiência unificada - é multi-fornecedor, multi-nuvem", disse Hamza Tahir, CTO do ZenML. Ele traz conectores, observabilidade e auditabilidade para fluxos de trabalho de ML.
A empresa lançou seu framework pela primeira vez no GitHub como uma ferramenta de código aberto. A equipe acumulou mais de 3.000 estrelas na plataforma de codificação. O ZenML também começou recentemente a oferecer uma versão na nuvem com servidores gerenciados - os gatilhos para integração contínua e implantação (CI/CD) estão chegando em breve.
Algumas empresas têm utilizado o ZenML para casos de uso industrial, sistemas de recomendação de comércio eletrônico, reconhecimento de imagens em ambiente médico, etc. Os clientes incluem Rivian, Playtika e Leroy Merlin.
O sucesso do ZenML dependerá de como o ecossistema de IA está evoluindo. Atualmente, muitas empresas estão adicionando recursos de IA aqui e ali consultando a API da OpenAI. Neste produto, você agora tem um novo botão mágico que pode resumir grandes trechos de texto. Naquele produto, você agora tem respostas pré-escritas para interações de suporte ao cliente.
"A OpenAI terá um futuro, mas achamos que a maioria do mercado precisará de sua própria solução", disse Adam Probst.
Mas há alguns problemas com essas APIs - elas são muito sofisticadas e muito caras. "A OpenAI, ou esses grandes modelos de linguagem construídos a portas fechadas, são construídos para casos de uso geral - não para casos de uso específicos. Portanto, atualmente é treinado demais e muito caro para casos de uso específicos", disse Probst.
O CEO da OpenAI, Sam Altman, também acredita que os modelos de IA não serão uma solução única para todos. "Acho que ambos têm um papel importante. Estamos interessados em ambos, e o futuro será uma combinação de ambos", disse Altman ao responder a uma pergunta sobre modelos pequenos e especializados versus modelos amplos durante uma sessão de perguntas e respostas na Station F no início deste ano.
Também existem implicações éticas e legais no uso de IA. A regulamentação ainda está evoluindo em tempo real, mas a legislação europeia, em particular, pode incentivar as empresas a usar modelos de IA treinados em conjuntos de dados muito específicos e de maneiras muito específicas.
"A Gartner diz que 75% das empresas estão mudando de [provas de conceito] para produção em 2024. Portanto, o próximo ano ou dois provavelmente serão alguns dos momentos mais seminais na história da IA, onde finalmente estamos entrando em produção usando provavelmente uma mistura de modelos fundamentais de código aberto ajustados em dados proprietários", disse Tahir.
"O valor do MLOps é que acreditamos que 99% dos casos de uso de IA serão impulsionados por modelos mais especializados, mais baratos e menores que serão treinados internamente", acrescentou mais tarde na conversa.
Tradução livre do artigo “While tech companies play with OpenAI’s API, this startup believes small, in-house AI models will win” , feito pela Equipe Divibank.
Confira na íntegra: https://techcrunch.com/2023/10/23/zenml-empowers-companies-to-build-their-own-ai-stack-based-on-open-source-tools/