Conectores
Conectores definem como a plataforma se conecta a fontes de dados externas. Cada tipo de conector possui seu próprio método de autenticação, padrões de acesso a dados e funcionalidades.
Conectores Disponíveis
PostgreSQL
O conector mais maduro, com streaming completo, ingestão incremental e preview em tempo real.
| Recurso | Status |
|---|---|
| Autenticação | Usuário/Senha |
| Navegador de Schemas | ✅ |
| Queries SQL Customizadas | ✅ |
| Preview (enriquecido por IA) | ✅ |
| Ingestão Incremental | ✅ (baseada em rastreamento de mudanças) |
| Execução Agendada | ✅ |
Como funciona: A plataforma conecta ao seu banco PostgreSQL, executa a query configurada (ou extract completo da tabela), faz streaming das linhas como CSV e importa para o seu armazém de dados.
Google Sheets / Drive (Em progresso)
Google Sheets/Drive aparece no produto como Em progresso e esta temporariamente indisponivel para novas conexoes, previews, testes e jobs agendados.
| Recurso | Status |
|---|---|
| Autenticação | OAuth 2.0 (Google) |
| Preview | Em progresso |
| Execução Agendada | Em progresso |
| Ingestão Incremental | ❌ (extract completo) |
Campos de configuração:
- Spreadsheet ID — Encontrado na URL da planilha:
docs.google.com/spreadsheets/d/SPREADSHEET_ID/edit - Range — ex:
Sheet1!A:Zou apenasA:Zpara a aba padrão
Comportamento planejado: A plataforma usara a Google Sheets API v4 para ler dados via OAuth. A primeira linha sera tratada como cabecalho e as linhas seguintes serao convertidas para CSV antes do carregamento.
Microsoft (Excel / SharePoint)
Conecte sua conta Microsoft 365 via OAuth para acessar arquivos Excel Online, pastas do SharePoint e listas do SharePoint.
| Recurso | Status |
|---|---|
| Autenticação | OAuth 2.0 (Microsoft) |
| Preview | ✅ |
| Execução Agendada | ✅ |
| Ingestão Incremental | ❌ (extract completo) |
Três tipos de fonte são suportados:
Arquivo Excel
Lê um workbook Excel específico do OneDrive ou SharePoint.
Pasta do SharePoint
Ingere todos os arquivos CSV e Excel de uma pasta de biblioteca de documentos do SharePoint.
Lista do SharePoint
Lê dados de uma lista do SharePoint e converte para formato tabular.
MySQL (Parcial)
Configuração aceita, mas execução via streaming SQL está pendente de implementação.
SQL Server (Parcial)
Mesmo status do MySQL — configuração de conexão funciona, execução pendente.
API de Entrada (Push)
A plataforma atua como servidor de API — sistemas externos enviam dados para a plataforma via um endpoint webhook dedicado. Cada conexão recebe um token de ingestão único e revogável.
| Recurso | Status |
|---|---|
| Autenticação | Token de Ingestão (gerado automaticamente, 256-bit) |
| Direção | Push (externo → plataforma) |
| Preview | ✅ (últimos dados recebidos) |
| Execução Agendada | N/A — orientado a eventos |
Como funciona: Crie uma conexão API de Entrada, a plataforma gera uma URL de endpoint única com token de ingestão. Sistemas externos fazem POST de dados JSON para o endpoint.
Cliente de API com IA (Pull)
Conecte-se a qualquer API REST sem escrever uma única linha de código. Ao fornecer documentações técnicas (esquema Swagger, ReDoc, JSON/TXT ou textos livres) e descrever o que deseja extrair (ex: "Puxar oportunidades ganhas do ERP"), nosso integrador inteligente orquestra toda a ponte de forma automatizada em uma sandbox de segurança.
| Recurso | Status |
|---|---|
| Autenticação | Bearer Token / API Key / Basic Auth / Headers Customizados |
| Direção | Pull (Iara Data → API Externa) |
| Mapeamento sem Código | ✅ (Análise completa de manuais de infraestrutura e rotas) |
| Prevenção Ativa de Duplicados | ✅ (Reaproveitamento rápido de credenciais para domínios existentes) |
| Instruções Didáticas de Auth | ✅ (Passos ilustrativos sob medida baseados nos requisitos de segurança) |
| Compilação Silenciosa | ✅ (Geração de lógica e testes de amostragem em background sem ruído técnico) |
| Agendamento e Recorrência | ✅ (Intervalos personalizados, revisão de schema, tipos e chaves) |
Experiência Unificada No-Code
Em termos de UX, eliminamos a barreira clássica entre "Criar Conexão" e "Criar Pipeline", unificando tudo em uma jornada contínua:
- Análise de Manuais: Insira o endereço base de chamada da API e forneça as referências técnicas (manuais, trechos Swagger/ReDoc). A IA interpreta a estrutura em segundos.
- Instruções Didáticas de Credenciais: O assistente exibe cards educativos específicos explicando onde e como obter as chaves de API, segredos ou tokens de autenticação compatíveis.
- Prevenção de Duplicidade por Domínio: Caso você insira um host que já foi cadastrado para outra pipeline, o sistema alerta sobre a existência de credenciais anteriores e oferece um botão de Reutilização com 1 clique, otimizando a governança e poupando novos cadastros.
- Seleção de Cartões Recomendados: A IA mapeia os endpoints ativos e sugere os fluxos operacionais recomendados (ex: Tabela de Clientes, Pedidos, Notas Fiscais).
- Execução e Teste Silencioso em Background: Ao clicar em uma recomendação, a engenharia de código é gerada e executada de forma invisível. O usuário não necessita depurar console ou ler scripts complexos.
- Tela Final de Amostragem, Revisão e Agendamento: Visualize de imediato a tabela resultante contendo dados reais de amostra, atribua tipagens estruturadas, trate dados sensíveis (máscara de PII) e salve a recorrência cron para sincronização periódica.
Shopify
Ingira dados da sua loja Shopify via Admin API.
| Recurso | Status |
|---|---|
| Autenticação | Admin API Access Token |
| Objetos Suportados | Pedidos, Produtos, Clientes, Itens de Estoque, Coleções |
| Preview | ✅ |
| Paginação | ✅ (baseada em cursor via header Link) |
| Ingestão Incremental | ✅ (via rastreamento updated_at) |
| Execução Agendada | ✅ |
| Plano | Starter+ |
Campos de configuração:
- Domínio da Loja — ex:
minha-loja.myshopify.com - Access Token — De um app customizado Shopify (Admin API)
- Versão da API — Padrão
2024-01
Como funciona: A plataforma chama a Shopify Admin REST API, pagina por todos os registros usando paginação baseada em cursor (header Link), achata objetos aninhados e envia os dados como CSV para o armazém de dados.
Para obter um access token:
- Vá em Admin Shopify → Configurações → Apps e canais de vendas → Desenvolver apps
- Crie um app customizado e configure os escopos do Admin API (read_orders, read_products, etc.)
- Instale o app e copie o Admin API access token
Stripe
Ingira dados de pagamento e cobrança do Stripe.
| Recurso | Status |
|---|---|
| Autenticação | API Key Restrita (somente leitura) |
| Objetos Suportados | Cobranças, Assinaturas, Clientes, Faturas, Pagamentos, Disputas, Produtos, Preços |
| Preview | ✅ |
| Paginação | ✅ (baseada em cursor via starting_after) |
| Ingestão Incremental | ✅ (via filtro de timestamp created) |
| Execução Agendada | ✅ |
| Plano | Starter+ |
Campos de configuração:
- API Key — Chave restrita com permissões somente leitura
Como funciona: A plataforma chama a Stripe REST API com paginação baseada em cursor, achata objetos aninhados (metadata, endereço, etc.) e envia ao armazém de dados.
HubSpot
Ingira dados de CRM do HubSpot.
| Recurso | Status |
|---|---|
| Autenticação | Access Token de App Privado |
| Objetos Suportados | Contatos, Empresas, Negócios, Tickets, Produtos, Itens de Linha |
| Preview | ✅ |
| Paginação | ✅ (API de Busca baseada em cursor) |
| Ingestão Incremental | ✅ (via updatedAt) |
| Execução Agendada | ✅ |
| Plano | Growth+ |
Campos de configuração:
- Access Token — De um app privado HubSpot
Como funciona: A plataforma usa a HubSpot CRM v3 Search API para paginar pelos registros. Propriedades são automaticamente achatadas do objeto properties aninhado.
Para obter um access token:
- Vá em HubSpot → Configurações → Integrações → Apps Privados
- Crie um app privado com escopos de leitura de objetos CRM
- Copie o access token
TOTVS Protheus
Ingira dados do sistema ERP TOTVS Protheus via REST API.
| Recurso | Status |
|---|---|
| Autenticação | Basic Auth / Bearer Token / API Key |
| Entidades Suportadas | Clientes (SA1), Produtos (SB1), Pedidos de Venda (SC5), Notas Fiscais (SF2), Financeiro (SE1/SE2), customizado |
| Preview | ✅ |
| Paginação | ✅ (baseada em offset) |
| Mapeamento de Campos | ✅ (mapear campos Protheus para nomes padrão) |
| Execução Agendada | ✅ |
| Plano | Growth+ |
Campos de configuração:
- URL Base — ex:
https://protheus.empresa.com.br:8888 - Tipo de Autenticação — Basic, Bearer ou API Key
- Ambiente / Empresa / Filial — Headers de contexto específicos do Protheus
Como funciona: A plataforma chama a TOTVS Protheus REST API usando paginação por offset. Endpoints de entidade pré-configurados (SA1, SB1, SC5, SF2, SE1, SE2) mapeiam para objetos de negócio padrão. Endpoints customizados podem ser especificados para entidades não-padrão.
S3 / GCS (Bucket na Nuvem)
Ingira arquivos de buckets Amazon S3 ou Google Cloud Storage.
| Recurso | Status |
|---|---|
| Autenticação | Access Key (S3) / Service Account (GCS) |
| Formatos Suportados | CSV, JSON, JSONL |
| Preview | ✅ |
| Ingestão Multi-Arquivo | ✅ |
| S3-Compatível | ✅ (MinIO, DigitalOcean Spaces, etc.) |
| Execução Agendada | ✅ |
| Plano | Growth+ |
Campos de configuração:
- Provedor — S3 ou GCS
- Nome do Bucket — Bucket de destino
- Região — Região S3 (ex:
us-east-1) - Endpoint Customizado — Para serviços compatíveis com S3, como MinIO
Como funciona: A plataforma lista arquivos no bucket (filtrados por prefixo), baixa e analisa cada arquivo, então importa os dados combinados ao seu armazém de dados. Uma coluna _source_file é adicionada para rastrear a origem de cada linha.
Salesforce
Ingira dados de CRM e negócios do Salesforce usando queries SOQL.
| Recurso | Status |
|---|---|
| Autenticação | OAuth Access Token |
| Queries SOQL Customizadas | ✅ |
| Objetos Suportados | Todos os objetos padrão e customizados do Salesforce |
| Preview | ✅ |
| Paginação | ✅ (automática via nextRecordsUrl) |
| Ingestão Incremental | ✅ (via LastModifiedDate) |
| Execução Agendada | ✅ |
| Plano | Growth+ |
Campos de configuração:
- Instance URL — ex:
https://minhaempresa.salesforce.com - Access Token — OAuth access token
- Versão da API — Padrão
v59.0
Como funciona: A plataforma executa queries SOQL contra a Salesforce REST API. Resultados são automaticamente paginados usando nextRecordsUrl.
MongoDB
Ingira documentos do MongoDB via Atlas Data API.
| Recurso | Status |
|---|---|
| Autenticação | Atlas Data API Key |
| Queries Customizadas | ✅ (filter, projection, sort) |
| Preview | ✅ |
| Execução Agendada | ✅ |
| Plano | Starter+ |
Campos de configuração:
- Data API URL — Endpoint Atlas Data API
- API Key — Chave Data API
- Data Source — Nome do cluster (ex:
Cluster0) - Database — Banco de dados alvo
Como funciona: A plataforma usa o endpoint /action/find do MongoDB Atlas Data API. Tipos Extended JSON ($oid, $date, $numberDecimal) são automaticamente convertidos para valores primitivos. Arrays e objetos aninhados são serializados como JSON em colunas string.
FTP / SFTP
Conecte a servidores FTP ou SFTP para ingerir arquivos.
| Recurso | Status |
|---|---|
| Autenticação | Usuário/Senha ou Chave Privada (SFTP) |
| Teste de Conexão | ✅ (alcançabilidade TCP) |
| Execução Completa | ⚠️ Requer dependência ssh2-sftp-client |
| Plano | Starter+ |
Nota: A execução completa de FTP/SFTP requer os pacotes npm ssh2-sftp-client e basic-ftp instalados. O teste de conexão verifica apenas alcançabilidade TCP.
BigQuery
Execute queries SQL no Google BigQuery e ingira os resultados.
| Recurso | Status |
|---|---|
| Autenticação | Service Account JSON (JWT) |
| Queries SQL Customizadas | ✅ |
| Preview | ✅ |
| Tipos de Schema | ✅ (preserva metadados de tipo BigQuery) |
| Execução Agendada | ✅ |
| Plano | Business+ |
Campos de configuração:
- Project ID — ID do projeto GCP
- Service Account JSON — Chave de service account com role BigQuery Reader
- Location — Localização do dataset BigQuery (ex:
US,EU)
Como funciona: A plataforma assina um JWT usando a chave do service account, troca por um access token, então executa a query SQL via BigQuery REST API. Metadados de schema são preservados.
Snowflake
Execute queries SQL no Snowflake e ingira os resultados.
| Recurso | Status |
|---|---|
| Autenticação | Usuário/Senha ou Par de Chaves |
| Queries SQL Customizadas | ✅ |
| Preview | ✅ |
| Execução Agendada | ✅ |
| Plano | Business+ |
Campos de configuração:
- Account — Identificador da conta Snowflake (ex:
xy12345.us-east-1) - Username / Password — Credenciais Snowflake
- Warehouse — Warehouse de computação
- Database / Schema / Role — Contexto padrão
Como funciona: A plataforma submete queries SQL via Snowflake SQL REST API (/api/v2/statements). Resultados são retornados sincronamente para queries pequenas. Nomes e tipos de colunas são extraídos do resultSetMetaData.
SAP (OData)
Ingira dados de sistemas SAP via serviços OData.
| Recurso | Status |
|---|---|
| Autenticação | Basic Auth / OAuth / API Key |
| Queries OData | ✅ ($select, $filter, $expand) |
| Preview | ✅ |
| Paginação | ✅ ($skip/$top com contagem inline) |
| Execução Agendada | ✅ |
| Plano | Business+ |
Campos de configuração:
- URL do Serviço OData — URL do serviço SAP Gateway
- Tipo de Autenticação — Basic, OAuth ou API Key
- SAP Client — (opcional) Número do mandante (ex:
100)
Como funciona: A plataforma chama o serviço OData SAP com paginação $skip/$top, usando $inlinecount=allpages para determinar a contagem total de registros. Objetos de metadados (__metadata, __deferred) são automaticamente removidos.
Kafka
Consuma mensagens de tópicos Kafka via Confluent REST Proxy.
| Recurso | Status |
|---|---|
| Autenticação | SASL (PLAIN / SCRAM) |
| Protocolo | Confluent REST Proxy (v2) |
| Preview | ✅ |
| Controle de Offset | ✅ (earliest / latest) |
| Execução Agendada | ✅ |
| Plano | Business+ |
Campos de configuração:
- URL do REST Proxy — Endpoint do Confluent REST Proxy
- URL do Schema Registry — (opcional) Para deserialização Avro/Protobuf
- Credenciais SASL — (opcional) Usuário/senha
Como funciona: A plataforma cria uma instância de consumidor via REST Proxy, se inscreve no tópico especificado, consome mensagens e depois limpa o consumidor. Valores das mensagens são achatados de JSON; metadados (tópico, partição, offset, chave, timestamp) são preservados.
Notion
Ingira dados de databases e páginas do Notion.
| Recurso | Status |
|---|---|
| Autenticação | Token de Integração |
| Objetos Suportados | Databases, Páginas |
| Preview | ✅ |
| Paginação | ✅ (baseada em cursor) |
| Ingestão Incremental | ✅ (via last_edited_time) |
| Execução Agendada | ✅ |
| Plano | Growth+ |
Campos de configuração:
- Token de Integração — De uma integração Notion (
secret_...)
Como funciona: A plataforma consulta databases Notion usando o endpoint /databases/{id}/query da API. Todos os 18+ tipos de propriedade do Notion (título, rich_text, número, select, multi_select, data, checkbox, URL, email, telefone, fórmula, relação, rollup, pessoas, arquivos, created_time, last_edited_time, status) são automaticamente achatados para valores escalares.
Para obter um token de integração:
- Vá em notion.so/my-integrations
- Crie uma nova integração
- Compartilhe o database alvo com a integração
Slack
Exporte mensagens, usuários e canais de workspaces Slack.
| Recurso | Status |
|---|---|
| Autenticação | Bot User OAuth Token (xoxb-...) |
| Tipos de Dados | Mensagens, Usuários, Canais |
| Preview | ✅ |
| Paginação | ✅ (baseada em cursor) |
| Ingestão Incremental | ✅ (via timestamp ts da mensagem) |
| Execução Agendada | ✅ |
| Plano | Growth+ |
Campos de configuração:
- Bot Token — Slack Bot User OAuth Token (
xoxb-...)
Tipos de dados:
- Mensagens — Histórico de mensagens do canal com reações, threads, anexos
- Usuários — Membros do workspace com info de perfil, email, status
- Canais — Canais públicos e privados com tópico, propósito, contagem de membros
Para obter um bot token:
- Vá em api.slack.com/apps e crie um novo app
- Adicione Bot Token Scopes:
channels:history,channels:read,users:read,users:read.email - Instale o app no seu workspace e copie o Bot User OAuth Token
Arquitetura de Conectores
Todos os conectores seguem o mesmo padrão de pipeline:
Fonte Externa → Motor do Conector → Processamento → Armazém de Dados Iara
- Conexão armazena credenciais criptografadas (tokens OAuth ou senhas)
- Job define o que extrair (query, planilha, pasta) e o agendamento
- Motor de execução roteia para o conector apropriado
- Dados são sempre normalizados antes de serem importados para o seu armazém de dados
- A plataforma cuida da inferência de schema, criação de tabela e carga de dados
Planos e Preços
| Plano | Conectores Incluídos |
|---|---|
| Starter | PostgreSQL, MySQL, SQL Server, Microsoft Excel, Upload de Arquivo, API de Entrada, Cliente de API com IA, Shopify, Stripe, MongoDB, FTP/SFTP |
| Growth | + HubSpot, TOTVS Protheus, S3/GCS, Salesforce, Notion, Slack |
| Business | + BigQuery, Snowflake, SAP, Kafka |