A forma correta de escrita é mal-estar, um substantivo masculino composto hifenizado. As palavras mau-estar, mal estar e mau estar estão erradas.
Mal-estar se refere a uma sensação física desagradável, bem como a uma inquietação indefinida ou a uma situação constrangedora, sendo sinônimo de indisposição, incômodo, enjoo, constrangimento, embaraço, vergonha, inquietação, ansiedade e insatisfação, entre outros.
Mal-estar é uma palavra formada através de composição por justaposição, ou seja, ocorre a formação de uma nova palavra partindo da junção de duas ou mais palavras: mal + estar.
Neste substantivo composto, as palavras mal e estar mantêm sua autonomia, estando apenas justapostas.
Devemos utilizar o advérbio mal porque é antônimo de bem, ou seja, mal-estar e bem-estar. Não devemos usar o adjetivo mau porque mau é antônimo de bom e não é correto dizer bom-estar.
Segundo o Novo Acordo Ortográfico, o hífen é utilizado em palavras compostas com os advérbios mal e bem quando a segunda palavra começa por vogal ou h:
Quando a segunda palavra começa com consoante, ocorre a junção das palavras em compostos com os advérbios mal e bem, sendo eliminado o hífen:
Apesar disso, o advérbio bem pode continuar autônomo mesmo em palavras começadas com consoantes: