Design of Experiments (DOE): Um Guia Prático

A maioria das equipes testa mudanças de processo sempre da mesma forma: ajustam uma coisa, observam o que acontece e depois ajustam outra coisa. É lento, ignora as interações entre fatores e, muitas vezes, leva a conclusões que não se sustentam quando qualquer outra coisa muda. O design of experiments oferece um caminho mais rápido e rigoroso.

Design of experiments (DOE) é um método estruturado para planejar testes, de forma que você entenda quais inputs impulsionam seus outputs e em que medida. Você muda vários fatores simultaneamente, de forma controlada, e depois usa análise estatística para separar sinal de ruído. É a diferença entre otimização informada e tentativa e erro caro.

O que é design of experiments?

Design of experiments (DOE) é um ramo da estatística aplicada que informa exatamente como configurar e executar uma série de testes para identificar, de forma eficiente, relações de causa e efeito entre os inputs do processo (fatores) e os outputs (respostas).

Um fator é qualquer variável que você controla durante o experimento, como temperatura, tamanho de lote ou o texto de uma mensagem. Cada fator é testado em níveis definidos (por exemplo, 180°C vs 200°C, ou assunto de e-mail curto vs longo). A variável de resposta é o que você mede: rendimento, taxa de defeitos, taxa de conversão. Ao variar vários fatores ao mesmo tempo, dentro de uma estrutura planejada, o DOE captura não só os efeitos principais, mas também as interações, em que o efeito de um fator depende do nível de outro. Essa informação de interação é exatamente o que o teste um-de-cada-vez deixa passar.

Principais Dados

• Praticantes de Six Sigma que usam DOE relatam reduções de tempo de ciclo de 40 a 70%, em comparação com experimentação não estruturada, segundo a American Society for Quality (ASQ, 2022).
• Um estudo publicado no Journal of Quality Technology constatou que experimentos planejados identificaram rotineiramente variáveis críticas de processo em 3 a 5 rodadas, quando o teste um-fator-de-cada-vez exigia 15 ou mais (JQT, 2020).
• A pesquisa de clientes de 2023 da Minitab constatou que 68% das organizações de manufatura que usam ferramentas estatísticas de DOE atingiram sua meta de melhoria mais rápido do que com abordagens de teste informais (Minitab, 2023).

DOE vs um-fator-de-cada-vez (OFAT)

A abordagem tradicional de teste é o OFAT: manter tudo constante, mudar um fator, observar o resultado, repetir. É intuitiva e pode funcionar para sistemas muito simples. Mas ela falha rapidamente quando existem interações ou quando o número de rodadas importa.

Se você está otimizando um processo com três ou mais fatores e se importa se a temperatura afeta o rendimento de forma diferente em diferentes pressões, o OFAT vai te induzir ao erro. O DOE não.

Conceitos-chave em design of experiments

Entender esses termos evita os erros de configuração mais comuns.

Randomização e bloqueio não são luxos opcionais. Sem randomização, um forno esquentando ou um operador cansado podem parecer um efeito de fator real. Sem bloqueio, você não consegue separar a melhoria verdadeira do ruído de turno para turno.

Tipos comuns de design experimental

Um projeto típico roda primeiro um Plackett-Burman para descartar fatores inativos, depois um fatorial fracionado sobre os sobreviventes, e então um design de superfície de resposta se um ponto ótimo precisar ser identificado com precisão. Cada etapa reduz a incerteza e concentra os recursos.

Como conduzir um estudo de design of experiments

Etapa 1: Defina o objetivo e a variável de resposta

Comece com uma declaração de problema precisa. "Melhorar o rendimento" é vago demais. "Aumentar o rendimento de primeira passagem na Linha 3 de 87% para 93%, sem aumentar o tempo de ciclo" é testável. Identifique a variável de resposta que você vai medir e confirme que consegue medi-la de forma repetível. Um sistema de medição com baixa concordância (veja controle estatístico de processo e capacidade do processo) vai corromper qualquer experimento.

Etapa 2: Escolha os fatores e níveis

Liste todas as variáveis que poderiam plausivelmente afetar a resposta. Faça a triagem da lista com sua equipe usando dados anteriores, um diagrama de espinha de peixe ou um FMEA. Reduza aos 4 a 8 candidatos mais prováveis. Para cada um, defina um nível baixo e um alto, amplos o suficiente para detectar um efeito, mas realistas o bastante para serem seguros e operáveis. Se você não tiver certeza da faixa, rode primeiro um experimento de sondagem de faixa.

Etapa 3: Selecione um design

Combine o design com sua situação.

• 2 a 3 fatores com orçamento para todas as combinações: fatorial completo (mínimo de 4 a 8 rodadas com replicação).
• 4 a 7 fatores, informação de interação necessária: fatorial fracionado de Resolução IV ou V.
• 8 ou mais fatores para triagem inicial: Plackett-Burman.
• Otimização de um conjunto confirmado de 2 a 3 fatores: design de superfície de resposta.

Use um software (Minitab, JMP, ou o pacote gratuito FrF2 do R) para gerar a matriz de design. Não crie ordens de execução manualmente.

Etapa 4: Execute o experimento e randomize

Execute as rodadas na ordem gerada aleatoriamente pelo software. A randomização não é negociável: ela protege contra tendências temporais, deriva de equipamento e efeitos de aprendizado do operador que, de outra forma, se disfarçariam como efeitos de fator. Mantenha todas as variáveis fora do estudo em seus valores operacionais padrão. Registre tudo: condições ambientais, operador, estado do equipamento, números de lote.

Etapa 5: Analise os resultados

Insira os dados de resposta no seu software e rode uma análise de variância (ANOVA) ou regressão. Observe:

• Gráficos de efeitos principais: quais fatores deslocam a resposta média.
• Gráficos de interação: se o efeito de um fator inverte de direção em diferentes níveis de outro.
• Gráficos de resíduos: se as premissas do modelo são atendidas (normalidade, variância constante).
• Pareto de efeitos: quais efeitos ultrapassam o limiar de significância.

Um efeito estatisticamente significativo tem um valor-p abaixo do seu limiar (geralmente 0,05) e um tamanho prático que vale a pena agir sobre ele. Os dois importam. Um efeito minúsculo pode ser estatisticamente significativo com muitas rodadas, mas irrelevante do ponto de vista operacional.

Etapa 6: Confirme e itere

Rode um experimento de confirmação nas configurações ótimas previstas. O resultado de confirmação deve cair dentro do intervalo de previsão do modelo. Se não cair, algo foi ignorado: um fator não medido, uma faixa estreita demais ou uma variável de ruído que passou despercebida. Essa é a etapa em que a maioria das equipes desiste cedo demais e se arrepende depois. Uma vez confirmado, codifique as novas configurações nos seus procedimentos operacionais padrão e atualize a linha de base do gráfico de controle.

Exemplos de design of experiments

A mesma lógica se aplica seja você misturando compostos, escrevendo textos de anúncio ou ajustando um banco de dados. Se os inputs variam e você não tem certeza de quais importam, o DOE responde à pergunta mais rápido do que a intuição.

Melhores práticas e erros comuns

Faça:

• Randomize a ordem das rodadas sempre, mesmo quando for inconveniente.
• Replique pelo menos o ponto central para obter uma estimativa de erro puro.
• Valide seu sistema de medição antes de começar (gauge R&R, se necessário).
• Confirme os resultados nas configurações ótimas antes de mudar a produção.
• Documente faixas de fatores, definições de resposta e registros de execução para que o experimento possa ser reproduzido.

Não faça:

• Adicionar fatores no meio do experimento. Adicionar um fator depois de já ter começado invalida a estrutura do design.
• Usar muitos fatores em resolução inadequada. Rodar um design de Resolução III quando você sabe que existem interações vai dar resultados confundidos e enganosos.
• Confundir significância estatística com importância prática. Sempre verifique o tamanho do efeito.
• Pular a rodada de confirmação. O modelo é uma abstração matemática; o processo é real.
• Tentar calcular designs de DOE manualmente. O software gera ordens de execução aleatorizadas válidas, com os padrões corretos de confundimento. Não improvise.

O DOE se encaixa naturalmente na fase Improve do DMAIC, onde substitui suposições por uma escolha de configurações ótimas embasada estatisticamente. Também é comum em projetos de Lean Six Sigma e em qualquer iniciativa de Six Sigma em que a análise de causa raiz já reduziu a lista de suspeitos a um punhado de fatores que valem a pena testar formalmente.

Perguntas frequentes

Design of experiments é o mesmo que teste A/B?

O teste A/B é um caso específico e simplificado de DOE: um fator em dois níveis, com atribuição aleatória. O DOE generaliza essa lógica para múltiplos fatores testados simultaneamente, com tratamento explícito de interações e bloqueio. Se você roda um teste multivariado adequado em uma campanha de e-mail, você está fazendo DOE. Se testa uma coisa de cada vez, está fazendo OFAT com atribuição aleatória, o que é melhor do que OFAT puro, mas ainda perde as interações.

Quantas rodadas eu preciso?

Para um fatorial completo de 2 níveis, o mínimo é 2^k rodadas (k = número de fatores): 8 para 3 fatores, 16 para 4, e assim por diante. A replicação dobra a contagem. Designs fracionados reduzem isso significativamente: um design de Resolução V para 5 fatores precisa de 16 rodadas. Designs de triagem para 8 fatores podem ser feitos em 12. O número certo depende de quantas interações você precisa resolver e de quanto erro puro precisa estimar. Deixe o software calcular a partir da sua escolha de design.

Que software eu preciso?

Minitab e JMP são os padrões da indústria. Ambos geram designs, randomizam ordens de execução, realizam ANOVA e regressão, e produzem os gráficos de efeito padrão. Os pacotes FrF2 e rsm do R fazem o mesmo sem custo. O Excel consegue lidar com fatoriais completos simples de 2 fatores, mas fica propenso a erros para qualquer coisa maior. Se sua equipe já usa treinamento em DMAIC ou belts de Six Sigma, o Minitab quase certamente já está licenciado.

Quando eu não deveria usar DOE?

Quando você tem apenas um fator plausível para testar, um teste A/B simples é mais rápido. Quando você não consegue controlar os níveis do fator com precisão (por exemplo, você não consegue realmente manter a umidade ambiente constante), a validade do experimento se rompe. E quando o tempo ou custo por rodada é extremamente alto e o FMEA já aponta fortemente para um único fator, um teste confirmatório de um único fator pode ser mais pragmático do que um experimento planejado completo.

O DOE pode ser usado em setores de serviços, não só na manufatura?

Sim. Qualquer processo com inputs e outputs mensuráveis pode ser estudado com DOE: atendimento ao cliente por telefone (tempo de espera, comprimento do script, política de retorno de ligação), implantação de software (combinações de feature flags, percentuais de rollout), campanhas de marketing e configurações de cadeia de suprimentos. A matemática não se importa se a resposta é rendimento de peças ou Net Promoter Score.

Leituras relacionadas

• DMAIC: O ciclo de melhoria de 5 fases do Six Sigma
• Controle Estatístico de Processo
• Gráfico de Controle
• FMEA: Análise de Modo e Efeito de Falha
• Análise de Causa Raiz
• Trabalho Padronizado: a base da melhoria Lean
• Simulação de Monte Carlo