Author
Article written by Shivani Shah, CTO & Co-founder at Samp
Tendo em conta o mercado atual, existem inúmeras ferramentas com fluxos de trabalho bastante maduros para anotar e gerir dados de treino de IA. No entanto, na Samp, optámos por desenvolver internamente ferramentas personalizadas para realizar esta tarefa, o que pode revelar-se bastante complexo. O objetivo deste artigo é, portanto, descrever o raciocínio subjacente a esta escolha, ao mesmo tempo que expõe a complexidade subjacente à tarefa.
Domínios como os veículos autónomos, o mapeamento de territórios geográficos e de interiores de edifícios, entre outros, também requerem a anotação de grandes quantidades de dados LIDAR 3D. No entanto, este mercado é mais reduzido do que o das imagens 2D e as necessidades de anotação são igualmente fragmentadas, pelo que existem muito menos ferramentas desenvolvidas com o objetivo de rotular nuvens de pontos.
Que tipo de anotação de dados é necessária nas nuvens de pontos?
O papel da IA 3D no produto «Shared Reality» da Samp consiste em detetar uma instância de um objeto e também prever a sua classe semântica, o que é igualmente conhecido como «Segmentação Panóptica». Assim, para a rotulagem de dados, precisamos de separar cada objeto da cena e atribuir-lhe a instância e o rótulo semântico.
Começámos com softwares de código aberto, como o Cloud Compare, e depois passámos para o Leica Cyclone quando os conjuntos de dados se tornaram maiores. Uma tarefa de anotação deste tipo requer conhecimentos especializados sobre os objetos presentes no local das Indústrias; por isso, era importante escolher um software com o qual os especialistas na área se sentissem à vontade. No entanto, acabámos por conceber a nossa própria ferramenta para realizar a tarefa.

1. Volume colossal dos dados industriais
Desde que começámos a lidar com dados reais de clientes, tivemos de anotar digitalizações que contêm milhares de milhões de pontos por local! Trata-se de petabytes de dados de nuvens de pontos a processar, se somados. Isto abrandou a maioria das operações e a própria transferência de dados entre dois locais podia demorar horas.
A maioria das ferramentas de anotação de dados de IA suporta até alguns milhões de pontos. Isto é suficiente para o mercado dos veículos autónomos, principalmente porque estes utilizam nuvens de pontos muito esparsas. Por outro lado, as nuvens de pontos industriais de que dispomos exigem uma densidade de pontos muito superior, o que resulta em ficheiros de dimensão muito grande.
Com softwares industriais como o Cyclone, estes começam a abrandar significativamente com este volume de dados. Acrescentam-se muitos minutos de tempo de espera e, por fim, acabam por falhar. Dado que não são de código aberto, também não é possível compreender os pontos de estrangulamento nem melhorar quaisquer funcionalidades por nossa conta.
Com o objetivo de acelerar todo o processo de anotação, identificámos as seguintes tarefas que precisavam de ser abordadas:
- Permitir que a ferramenta de anotação processe ficheiros de dados de maior dimensão
- Centralizar o fluxo de dados para evitar numerosas transferências de dados
- Acelerar a velocidade de leitura, gravação e transferência dos dados
Com os membros da equipa extremamente qualificados da Samp, conseguimos resolver os objetivos acima referidos através da criação da nossa própria ferramenta de anotação, capaz de lidar com ficheiros de dados muito maiores.
Isto conduziu a desenvolvimentos técnicos internos muito especiais, tais como:
- Formato de ficheiro personalizado. O nosso estimado «Samp-point-Z». Foi concebido para incluir toda a informação necessária para o treino de IA, por exemplo, rótulos de objetos. O que reduziu o número de operações de leitura e escrita.
- Algoritmo de compressão personalizado. Foi concebido especificamente para a densidade das nuvens de pontos necessárias à IA e à qualidade visual dos produtos da Samp. É mais adequado do que o Draco, uma vez que não há perda de dados na leitura e gravação. Proporcionou-nos cerca de 30% mais compressão de dados do que formatos abertos como o .e57.
- Centralização do fluxo de dados. Ao controlar o processo de ponta a ponta, conseguimos conceber formas ótimas de transferir dados entre as diferentes etapas do processo de anotação. Desde a verificação dos dados, passando pela segmentação, rotulagem e controlos de qualidade para o QaQC.

Onde a integridade física se alia à integridade da informação
2. Segurança dos dados
Os dados das Indústrias são sensíveis e existem regulamentos rigorosos em vigor para evitar qualquer fuga de informação relativa aos ativos. Isto sempre constituiu um desafio aquando da transferência de dados para ferramentas de terceiros. No entanto, no processo recentemente concebido, controlamos a autenticação do utilizador. Além disso, os dados nunca saem do servidor e das ferramentas da Samp, o que garante uma maior segurança dos dados para os clientes.
3. Aceleração do processo de anotação de dados através da utilização de IA interna.
É prática comum nas ferramentas de anotação 2D pré-segmentar os dados utilizando IA em segundo plano, a fim de facilitar a seleção das regiões a rotular. De forma semelhante, a mesma analogia foi aplicada ao 3D, onde a IA desenvolvida internamente foi utilizada na ferramenta de anotação para pré-segmentar os dados em agrupamentos correspondentes à instância pretendida.
A principal vantagem reside na poupança de tempo, uma vez que a IA já realiza grande parte do trabalho pesado, reduzindo o tempo para metade.
4. Gestão das variações nos dados
Uma vez que estamos a implementar a solução em diferentes categorias de indústrias pesadas, como a água, os resíduos, a energia, etc., constatamos algumas diferenças no processo. Normalmente, estas dizem respeito à taxonomia, aos tipos de dados, aos formatos de dados, à oclusão, à densidade, etc.
Dispor da nossa própria ferramenta de anotação de dados proporciona-nos flexibilidade suficiente para responder de forma eficiente às necessidades em constante evolução e ajuda-nos a expandir-nos por diversas indústrias.
5. Comercialização e intervenção humana
A visão para as empresas que implementam modelos de visão computacional é passar do «Manual» para a «IA parcial» e, por fim, para a «Apenas IA». No entanto, os erros nesta fase podem ter consequências perigosas para a segurança nestes locais. Por isso, os seres humanos precisam de verificar e, se necessário, corrigir os resultados dos modelos de IA antes da entrega final.
Ao interligar a ferramenta de anotação de dados à plataforma web da Samp, disponibilizámos a capacidade de correção dos dados do cliente… facilitando o «Human-in-the-loop».
Todas as empresas de IA enfrentam os seus próprios desafios para obter os dados rotulados necessários; teríamos todo o prazer em estabelecer contacto e trocar ideias sobre este assunto.

