Testar a reforma só em qualidade ou também em produção? Qual é o dilema real?

Discordo em um ponto: leitura em produção não é livre de risco. Como vimos, ó, ela depende de o ambiente ter a mesma versão da solução fiscal que qualidade. Uma observação de projeto diz que a disponibilidade depende da versão da solução instalada, e isso não prova o comportamento descrito. Antes de confiar na leitura em produção, confirme que as versões são as mesmas.

Em campo, viu, a conta que faço é de cobertura: cada tipo de operação fiscal da empresa precisa de pelo menos um caso testado em qualidade. Monte uma matriz de operações por ambiente: quais foram testadas em qualidade, quais confirmadas em produção por leitura e quais ficaram sem teste. A matriz mostra, em uma página, onde está o risco que sobrou. Sou consultor de compras e a matriz virou nosso principal documento de aceite.

Teste a configuração em qualidade e confirme o comportamento em produção só com leitura. Na sustentação, viu, a regra é: nada de alterar parâmetro em produção para testar. Em produção você observa o que as notas reais mostram, sem mudar nada. Se mudar, é projeto de mudança com janela, backup e plano de volta. Assim o risco de configuração fica em qualidade e o dado real entra como confirmação.

Complementando o Alexandre. Então, o ponto é que, o que faltou aqui foi volume em qualidade. Pedimos uma carga de notas anonimizadas de períodos recentes, com os casos que mais aparecem. Sem dado pessoal, claro. Assim qualidade imita produção em variedade, mesmo sem a mesma quantidade. Para o fiscal, o critério passou a ser quantos tipos de documento foram testados, não quantas notas.