Verificador de backlinks gratuito estilo Ahrefs vs. API: quanto custa uma publicação

O que os limites significam para um lote

Um limite é um teto para uma única solicitação, não para o seu mês. O limite de 2.000 domínios no bulk_dr significa que uma lista de 2.001 hosts precisa de duas chamadas, então planeje seus lotes com base nessa figura.

A paginação funciona da mesma maneira. É fácil gastar demais por acidente. Defina per para o maior valor necessário, até 5000, e navegue pelas páginas com page. A paginação profunda para em 50.000 linhas, então uma lista desse tamanho precisa de um filtro, não de um loop mais longo.

Um limite também se aplica a cada chamada separadamente. Planeje os lotes para que um host não seja enviado duas vezes, pois cada repetição custa seu próprio crédito.

Por que um verificador web gratuito não pertence a um job

Essas ferramentas foram criadas para pessoas. Verificadores gratuitos do Ahrefs, Semrush e Moz mostram uma fatia limitada de resultados atrás de um formulário, o que serve para alguém com uma única pergunta e nada mais.

Seus termos e limites mudam sem aviso prévio. Leia a página de cada ferramenta antes de construir sobre ela, e lembre-se de que um script que faz scraping de um formulário quebra no dia em que a marcação muda.

Uma API com preço documentado evita ambos os problemas. Se você só precisa de uma consulta rápida à mão, o verificador de domínio na página inicial é a mesma ideia sem necessidade de chave.

Um script construído sobre um formulário também não tem contrato, então a primeira mudança que quebra chega sem aviso.

Uma consulta única está bem com uma ferramenta gratuita. No momento em que a mesma verificação se repete em um agendamento, a ferramenta gratuita se torna uma dependência que ninguém concordou.

Uma aba do navegador é a ferramenta certa para uma única pergunta, e um script é a ferramenta certa para uma pergunta constante.

Por que fazer scraping de um formulário gratuito é frágil

Uma página de verificador de backlinks gratuito estilo Ahrefs é uma ferramenta humana. Transformá-la em um job significa que um script precisa fingir ser uma pessoa, e isso falha de três maneiras comuns.

Quando a marcação muda

Um redesign move o elemento que seu parser lê. O job ainda é executado, mas agora ele lê uma célula vazia e grava zeros no log. Essa falha é silenciosa, e é o pior tipo.

Quando o formulário pede um humano

Um formulário pode começar a pedir ao visitante que prove que é humano. Um cron job não pode responder a isso, então a execução trava ou falha, dependendo de como o script lida com uma página inesperada.

Quando os resultados são uma fatia

Uma visualização gratuita mostra as linhas superiores e para aí. Uma auditoria mensal que compara listas precisa do conjunto completo, e uma lista parcial parece um site encolhendo.

Onde o custo se esconde em um pipeline

A linha da API raramente é a mais cara. Os custos que surpreendem as equipes ficam em outro lugar, e são fáceis de perder porque ninguém os fatura diretamente.

Minutos de CI

Um portão que roda em cada push, em vez de apenas quando uma publicação é agendada, multiplica o tempo do runner. Execute-o na etapa de agendamento, e os minutos permanecem proporcionais ao trabalho.

Tempo do editor

Cada HOLD custa a uma pessoa alguns minutos. Dez holds por dia em vários sites são um custo real, mesmo quando os créditos não são. Ajuste o limite mínimo até que um HOLD signifique algo.

Armazenamento de logs

Logs que mantêm uma resposta completa para cada chamada crescem mais rápido do que você espera. Mantenha a linha _credits e o veredito, e armazene respostas completas apenas para as falhas.

Rotacione esses logs em um agendamento que você já mantém para outras saídas de job, para que eles não se tornem um segundo arquivo para manter.

Lendo a tabela como um orçamento

Leia a tabela linha por linha. A primeira linha é gratuita, as linhas do meio custam um ou dois créditos, e apenas as ações do tipo pesquisa chegam a três. A maioria dos pipelines nunca precisa desse último grupo.

A tabela também é uma lista de verificação. Cada linha nomeia uma ação que você usa ou não.

Comece pela proporção. Uma chamada de portão custa 1 crédito e uma extração de auditoria custa 2, então mesmo uma equipe que publica dez publicações por dia em dez sites fica abaixo de um dólar por mês em créditos.

O custo surpresa raramente é a API. Geralmente são minutos de CI, uma cadeira de mensagens ou um editor que lê cada HOLD assim que chega.

Precifique seu pipeline de ponta a ponta, então decida se a linha da API vale a pena ser ajustada. Mantenha a tabela no repositório ao lado do job, para que uma mudança nos números apareça como um diff simples.

Limites de taxa e os números que não temos

Não declaramos limite de solicitações por segundo. Como nenhum é publicado, o ritmo é parte do seu trabalho, e um loop sem pausa é a maneira mais fácil de ser surpreendido.

Durma brevemente entre os itens em um loop, agrupe domínios através de bulk_dr em vez de fazer loop, e pare no 402 em vez de tentar novamente. Meça sua própria taxa de transferência em uma execução de teste e anote esse número no seu runbook em vez de assumir um.

Quando você mede, anote o tamanho do lote e a espera entre os itens. Adicione a data. Um número sem uma data fica desatualizado rapidamente. O glossário explica a janela de atualização, o que altera como você testa.

Observe as primeiras linhas de log da semana. Se a espera média entre as chamadas parecer errada, ajuste o loop antes da execução mensal, em vez de depois do primeiro 402.

Cada linha de log mostra uma espera real, uma contagem real e um saldo real, o que supera qualquer estimativa.