É por causa do princípio da inércia.

Explicação:

A inércia é a resistência que um corpo faz para se manter no estado inicial.

É melhor entendida dessa forma:

Um corpo em movimento tende a se manter em movimento e um corpo em repouso tende a se manter em repouso.

Assim, se vc está parado e o carro acelera, a inércia diz que você tende a manter o estado inicial, ou seja, tende a ficar parado, ao passo que o carro se movimenta, por isso você se sente empurrado para trás.

A inércia também explica no caso de você estar em movimento:

Image você dentro de um ônibus em movimento, caso ele freie bruscamente, você que estavam em movimento com ele tenderá a permanecer em movimento, por isso quando o ônibus freia você é lançado para frente.

Por isso a inércia é dita como a tendência que um corpo (ou objeto) tem de manter o seu estado inicial, seja ele o repouso ou o movimento.