A molécula da água quando começa a chegar proxima dos 4 graus muda sua geometria, aumentando seu espaço vazio intermolecular e como consequencia ocupando menos espaço e diminuindo de densidade. 
E é exatamente por isso que o gelo flutua, pois ele tem uma densidade menor do que seu estado líquido.