Exatidão

A exatidão é uma das métricas mais fundamentais e intuitivas utilizadas para avaliar o desempenho dos modelos de Aprendizagem Automática (AM), particularmente em tarefas de classificação no âmbito da Inteligência Artificial (IA) e da Visão por Computador (VC). Representa a proporção de previsões corretas feitas pelo modelo de IA em relação ao número total de previsões. Embora seja fácil de compreender e calcular, confiar apenas na exatidão pode, por vezes, ser enganador, especialmente quando se lida com determinados tipos de conjuntos de dados ou requisitos de problemas específicos.

Como é calculada a exatidão

A exatidão é calculada dividindo o número de previsões corretas (tanto os verdadeiros positivos como os verdadeiros negativos) pelo número total de previsões efectuadas. Por exemplo, se um modelo identificar corretamente 90 em cada 100 imagens, a sua precisão é de 90%. Esta simplicidade torna-o um ponto de partida popular para avaliar o desempenho do modelo.

Importância da IA e da aprendizagem automática

A precisão fornece uma medida direta da frequência com que um modelo está globalmente correto. É amplamente utilizada durante as fases iniciais de desenvolvimento e treino de modelos para obter uma noção geral do desempenho. Uma precisão elevada é frequentemente um objetivo primário para muitas aplicações, indicando que o modelo generaliza bem para dados novos e não vistos. Muitos modelos de última geração, como o Ultralytics YOLO para deteção de objectos, esforçam-se por obter uma elevada precisão, equilibrando outros factores como a velocidade. É possível ver comparações como YOLO11 vs YOLOv8, que frequentemente destacam referências de precisão.

Limitações da exatidão

Apesar da sua intuitividade, a precisão tem limitações significativas:

• Conjuntos de dados desequilibrados: A exatidão pode ser um mau indicador do desempenho quando se lida com dados desequilibrados, em que uma classe supera significativamente as outras. Por exemplo, na deteção de uma doença rara (por exemplo, 1% de prevalência), um modelo que prevê sempre "nenhuma doença" atinge 99% de precisão, mas não consegue identificar nenhum caso real, tornando-se inútil. Este facto realça a importância de considerar o potencial enviesamento do conjunto de dados.
• Ignorar tipos de erros: A exatidão trata todos os erros da mesma forma. No entanto, em muitos cenários do mundo real, o custo de diferentes erros varia. Por exemplo, a classificação incorrecta de um tumor maligno como benigno (falso negativo) é frequentemente muito mais crítica do que a classificação de um tumor benigno como maligno (falso positivo).
• Paradoxo da exatidão: Nalgumas situações, um modelo menos exato, de acordo com a definição padrão, pode ser mais útil na prática. Este facto é conhecido como o Paradoxo da Exatidão.

Distinguir a exatidão de outras métricas

Devido às limitações da exatidão, especialmente com dados desequilibrados ou custos de erro variáveis, outras métricas são frequentemente preferidas ou utilizadas em conjunto:

• Precisão: Mede a proporção de identificações positivas que estavam efetivamente corretas. Uma precisão elevada é crucial quando o custo de falsos positivos é elevado (por exemplo, filtros de spam que marcam mensagens de correio eletrónico importantes como spam).
• Recuperação (Sensibilidade): Mede a proporção de positivos reais que foram corretamente identificados. Uma recuperação elevada é vital quando o custo dos falsos negativos é elevado (por exemplo, a ausência de um diagnóstico).
• Pontuação F1: A média harmónica de Precisão e Recuperação, proporcionando um equilíbrio entre os dois. É útil quando tanto os falsos positivos como os falsos negativos são importantes.
• Precisão média (mAP): Uma métrica comum na deteção de objectos que considera tanto a precisão da classificação como a precisão da localização (IoU) em diferentes níveis de recuperação.
• Matriz de confusão: Uma tabela que visualiza o desempenho de um algoritmo de classificação, mostrando os verdadeiros positivos, os verdadeiros negativos, os falsos positivos e os falsos negativos, o que ajuda a calcular a precisão, a recuperação e a exatidão.
• Curvas ROC e AUC: Estas visualizam o compromisso entre a taxa de verdadeiros positivos (Recall) e a taxa de falsos positivos em várias definições de limiar.

A compreensão destas diferentes métricas de desempenho YOLO permite uma avaliação mais matizada do desempenho do modelo, adaptada a necessidades específicas.

Aplicações IA/ML do mundo real

1. Análise de imagens médicas: Em tarefas como a deteção de tumores utilizando o YOLO11, embora a precisão global seja considerada, métricas como Recall (sensibilidade) são muitas vezes prioritárias para minimizar o risco de não detetar tumores reais (falsos negativos). As soluções em IA nos cuidados de saúde devem equilibrar cuidadosamente estas métricas.
2. Veículos autónomos: Para soluções de IA no sector automóvel, os modelos de deteção de objectos necessitam de uma elevada precisão na identificação de peões, veículos e obstáculos. No entanto, medir simplesmente a precisão geral não é suficiente; métricas como o mAP são essenciais para garantir a classificação correta e a localização precisa( previsãoda caixa delimitadora ) para segurança.

Melhorar a exatidão do modelo

Várias técnicas podem ajudar a melhorar a exatidão do modelo, embora muitas vezes impliquem compromissos com outras métricas ou custos computacionais:

• Aumento de dados: Aumentar artificialmente a diversidade dos dados de treino sem recolher novas amostras. Consulte o guia YOLO Data Augmentation para obter exemplos.
• Afinação de hiperparâmetros: Otimização de parâmetros como a taxa de aprendizagem ou o tamanho do lote que são definidos antes do início da formação. Guias como o guia Ajustamento de hiperparâmetros podem ajudar.
• Escolha de arquitecturas avançadas: Seleção de modelos mais potentes, como os mais recentes modelos Ultralytics YOLO ou Transformers.
• Aprendizagem por transferência: Utilizar modelos pré-treinados em grandes conjuntos de dados como o ImageNet e afiná-los numa tarefa específica.
• Métodos de Ensemble: Combinação de previsões de vários modelos para melhorar o desempenho global.

Recursos de consultoria como Dicas de treinamento de modelos podem fornecer orientações práticas. Plataformas como o Ultralytics HUB permitem que os utilizadores treinem modelos e acompanhem facilmente a precisão juntamente com outras métricas importantes, muitas vezes visualizadas através de ferramentas como o TensorBoard. O acompanhamento do progresso no campo pode ser feito através de recursos como o Stanford AI Index Report ou a navegação em conjuntos de dados no Papers With Code. Estruturas como PyTorch (ver site oficial) e TensorFlow (ver site oficial) são normalmente utilizadas para construir e treinar estes modelos.

Em conclusão, embora a precisão seja uma métrica valiosa e intuitiva para avaliar o desempenho do modelo de IA, raramente deve ser utilizada isoladamente. Considerar os objectivos específicos da tarefa de ML e a natureza dos dados, especialmente os potenciais desequilíbrios ou os custos variáveis dos erros, é essencial para selecionar as métricas de avaliação mais adequadas, como a precisão, a recuperação, a pontuação F1 ou o mAP. A utilização de técnicas de IA explicável (XAI) também pode fornecer conhecimentos mais profundos para além dos valores de métrica única.