Até os anos 1970, fazendeiros de cacau e gado promoveram invasões da reserva, ocasionando a expulsão de pelo menos 95% da população original dos Pataxó Hã-hã-hãe do local. Entre 1976 e 1982, o governo do Estado da Bahia extinguiu a reserva e iniciou a imissão de títulos em favor dos invasores.

Os Pataxó Hã-hã-hãe, da Terra Indígena Caramuru Paraguassu, localizada nos municípios de Pau Brasil, Camacã e Itaju do Colonia, estão há 26 anos tentando reaver suas terras tradicionais através de uma ação de nulidade de títulos impetrada junto à justiça federal.