A forma correta de escrita da palavra é mau-caráter. A palavra mal-caráter está errada.
Mau-caráter é usado para referir uma pessoa que tem um caráter mau e traiçoeiro, não inspirando confiança. É sinônimo de cafajeste, canalha, patife, velhaco, calhorda, desonesto, entre outros.
Na escrita desta palavra deve ser usado o adjetivo mau porque é antônimo de bom, ou seja, alguém tem um caráter bom ou tem um caráter mau. Não deve ser usado o advérbio mal porque mal é antônimo de bem e não é correto dizer que alguém tem um caráter bem.
A palavra mau-caráter pode ser substantivo ou adjetivo de dois gêneros, apresentando a mesma forma, quer no gênero feminino, quer no gênero masculino:
O plural de mau-caráter é maus-caracteres.
Aquele homem é um mau-caráter.
Aqueles homens são uns maus-caracteres.