🛣️ D-FINE Large — Detecção de Defeitos em Pavimento (pavimentos-dfine-l)
Modelo de detecção de objetos baseado na arquitetura D-FINE Large (Fine-grained Distribution Refinement, família DETR), ajustado para detecção de patologias em pavimentos asfálticos (buracos/panelas).
Esta versão (v8 Calibrada) utiliza Platt Scaling para operar nativamente no limiar de confiança padrão (threshold = 0.50) e foi treinada com Hard-Negative Mining via Bounded Hinge Loss, zerando a taxa de falsos positivos em texturas planas (paredes, calçadas e asfalto liso). Ao contrário de modelos YOLO sob licença AGPL-3.0, este modelo utiliza licença permissiva Apache 2.0 (uso comercial proprietário livre).
📊 Sumário Executivo
| Atributo | Especificação / Resultado Real |
|---|---|
| Arquitetura Base | ustc-community/dfine-large-obj2coco-e25 (D-FINE Large) |
| Resolução de Entrada | 640 x 640 pixels |
| Classes (1) | 0: buraco |
| Limiar Operacional Padrão | 0.50 (Calibração Platt afim gravada nos pesos) |
| Precision (Teste @ Conf $\ge$ 0.50) | 74.83% (3 em cada 4 detecções são buracos confirmados) |
| mAP@0.50 (Teste) | 53.90% |
| Falsos Positivos em Texturas Limpas | $\approx$ 0% (Modelo ignora ativamente asfalto liso e sombras) |
| Formatos Disponíveis | PyTorch / Safetensors, ONNX Dinâmico e TorchScript |
🧪 Gráficos de Avaliação no Conjunto de Teste
Curvas de Desempenho e Matriz de Confusão
Grade de Predições (Incluindo Texturas Negativas Rejeitadas)
(Note que nas duas últimas linhas o modelo ignora corretamente asfalto liso e marcações)
💻 Como Usar em Produção
Para evitar que o modelo tente achar buracos no céu, em muros ou no capô do carro, utilize a função abaixo que implementa o Filtro Geométrico (bloqueia caixas de "tela inteira" e linhas de meio-fio).
1. Inferência em Imagens Estáticas (Hugging Face transformers)
import torch
import torchvision.ops as tv_ops
from PIL import Image, ImageOps
from transformers import AutoImageProcessor, AutoModelForObjectDetection
REPO_ID = "Kodjaoglanian/pavimentos-dfine-l"
DEVICE = "cuda" if torch.cuda.is_available() else "cpu"
processor = AutoImageProcessor.from_pretrained(REPO_ID)
model = AutoModelForObjectDetection.from_pretrained(REPO_ID).to(DEVICE).eval()
def detectar_buracos(image_path, conf_threshold=0.50, nms_iou=0.45):
pil_img = ImageOps.exif_transpose(Image.open(image_path)).convert("RGB")
orig_w, orig_h = pil_img.size
img_area = float(orig_w * orig_h)
inputs = processor(images=pil_img, return_tensors="pt").to(DEVICE)
with torch.no_grad():
outputs = model(**inputs)
res = processor.post_process_object_detection(
outputs, target_sizes=torch.tensor([[orig_h, orig_w]], device=DEVICE), threshold=conf_threshold
)[0]
boxes, scores, labels = res["boxes"].float(), res["scores"].float(), res["labels"].long()
if len(boxes) == 0:
return []
# 1. Filtro Geométrico (Ignora caixas gigantes de parede/textura e linhas finas)
bw = (boxes[:, 2] - boxes[:, 0]).clamp(min=1.0)
bh = (boxes[:, 3] - boxes[:, 1]).clamp(min=1.0)
rel_area = (bw * bh) / img_area
aspect = torch.maximum(bw / bh, bh / bw)
valid_geom = (rel_area <= 0.35) & (rel_area >= 0.0004) & (aspect <= 7.0)
boxes, scores, labels = boxes[valid_geom], scores[valid_geom], labels[valid_geom]
if len(boxes) == 0:
return []
# 2. Supressão de Queries Duplicados (NMS)
keep = tv_ops.batched_nms(boxes, scores, labels, iou_threshold=nms_iou)
deteccoes = []
for box, score, lid in zip(boxes[keep].cpu(), scores[keep].cpu(), labels[keep].cpu()):
deteccoes.append({
"confianca": round(score.item(), 3),
"bbox": [round(v, 1) for v in box.tolist()],
})
return deteccoes
print(detectar_buracos("sua_imagem_de_rodovia.jpg"))
2. Inferência em Vídeo (Dashcam / GoPro) com Zona de Pista (ROI)
Em vídeos em movimento, é fundamental recortar o capô e o céu antes da inferência para máxima definição.
import cv2
import torch
import torchvision.ops as tv_ops
from transformers import AutoImageProcessor, AutoModelForObjectDetection
REPO_ID = "Kodjaoglanian/pavimentos-dfine-l"
DEVICE = "cuda" if torch.cuda.is_available() else "cpu"
processor = AutoImageProcessor.from_pretrained(REPO_ID)
model = AutoModelForObjectDetection.from_pretrained(REPO_ID).to(DEVICE).eval()
cap = cv2.VideoCapture("dashcam.mp4")
orig_w = int(cap.get(cv2.CAP_PROP_FRAME_WIDTH))
orig_h = int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT))
fps = cap.get(cv2.CAP_PROP_FPS) or 30.0
out_video = cv2.VideoWriter(
"dashcam_anotado.mp4", cv2.VideoWriter_fourcc(*"mp4v"), fps, (orig_w, orig_h)
)
# Define ROI da Pista (ex: de 44% a 77% da altura da tela)
roi_y1, roi_y2 = int(orig_h * 0.44), int(orig_h * 0.77)
roi_x1, roi_x2 = int(orig_w * 0.05), int(orig_w * 0.95)
roi_h, roi_w = roi_y2 - roi_y1, roi_x2 - roi_x1
while cap.isOpened():
ret, frame = cap.read()
if not ret:
break
# 1. Isola apenas o asfalto (melhora resolução e ignora cenário)
roi_rgb = cv2.cvtColor(frame[roi_y1:roi_y2, roi_x1:roi_x2], cv2.COLOR_BGR2RGB)
img_resized = cv2.resize(roi_rgb, (640, 640))
tensor_in = (
torch.from_numpy(img_resized).permute(2, 0, 1).unsqueeze(0).to(DEVICE, dtype=torch.float32) / 255.0
)
with torch.no_grad():
outputs = model(pixel_values=tensor_in)
res = processor.post_process_object_detection(
outputs, target_sizes=torch.tensor([[roi_h, roi_w]], device=DEVICE), threshold=0.50
)[0]
boxes, scores, labels = res["boxes"], res["scores"], res["labels"]
if len(boxes) > 0:
# Filtro Geométrico Interno à ROI
bw = (boxes[:, 2] - boxes[:, 0]).clamp(min=1.0)
bh = (boxes[:, 3] - boxes[:, 1]).clamp(min=1.0)
rel_area = (bw * bh) / float(roi_w * roi_h)
valid = (rel_area <= 0.25) & (rel_area >= 0.001)
boxes, scores, labels = boxes[valid], scores[valid], labels[valid]
if len(boxes) > 0:
keep = tv_ops.batched_nms(boxes, scores, labels, iou_threshold=0.45)[:15]
for box, score in zip(boxes[keep].cpu().numpy(), scores[keep].cpu().numpy()):
# Reprojeta as coordenadas para a imagem original
x1, y1, x2, y2 = map(int, box)
x1 += roi_x1
x2 += roi_x1
y1 += roi_y1
y2 += roi_y1
cv2.rectangle(frame, (x1, y1), (x2, y2), (0, 0, 255), 2)
out_video.write(frame)
cap.release()
out_video.release()
📜 Citação BibTeX
@misc{tulux2026pavimentosdfinel,
author = {Tulux, Bruno Kodjaoglanian Cardoso},
title = {D-FINE Large para Detecção de Defeitos em Pavimento (v8 Calibrado)},
year = {2026},
publisher = {Hugging Face},
howpublished = {\url{https://huggingface.co/Kodjaoglanian/pavimentos-dfine-l}}
}