Para os alunos que já realizaram a avaliação não há como anular. O sistema congela os dados da avaliação para o aluno assim que ele acessa a avaliação, além de calcular as notas por questão e final de forma automática. 

Portanto, se excluir as questões ou realizar qualquer outra alteração na avaliação, não irá afetar a nota dos alunos.

Para matrículas futuras ou para usuários que ainda não acessaram a avaliação, você pode excluir a questão afim de garantir que ninguém mais a veja. 

Mas a anulação da questão, para quem já realizou, realmente não é possível.

Espero ter lhe ajudado, qualquer dúvida, estou à disposição.