Você pode pensar nisso como um triângulo retângulo, a distância mínima entre uma margem e outra é a distância em linha reta que forma um ângulo de 90º com a margem (esse é valor x, um dos catetos). A hipotenusa seria a distância que o barco efetivamente percorreu, uma distância diagonal partindo de um ponto (o mesmo em que "começa" o x) e vale 5km. O segundo cateto é a distância entre o ponto onde "terminaria" a menor distância e o ponto onde o barco chegou, e vale 4km.
5² = 4² + x²
x = 3km.

      4km
  Oo
  |     /
  |    /
x|   /    5km
  |  /
  | /
  |/