Causa
Quando for emitida uma NF-e e o CNPJ do destinatário for informado no Grupo de Autorização para obter XML, será retornado a rejeição "324 - CNPJ do destinatário já autorizado para download".
Exemplo:
Foi emitida NF-e com CNPJ do destinatário informado no Grupo de Autorização para obter XML. Nessa situação a NF-e será rejeitada pelo motivo 324.
Como Resolver
Deve-se remover o Grupo de Autorização para obter o XML que contenha o CNPJ do destinatário informado. Abaixo é possível visualizar o grupo que deverá ser removido:

Feita a correção, basta reenviar a NF-e para processamento.
Referência
Manual de Orientação do Contribuinte - http://www.nfe.fazenda.gov.br/portal/exibirArquivo.aspx?conteudo=9hd38oni4Nc=