Antes de tudo, se as esferas estão eletrizadas com cargas em mC (milicoulomb), eu não consegui encontrar uma resposta. Mas se por mC você quis dizer microcoulomb (algo como uC já que não dá pra copiar o símbolo certo), a resposta que eu encontrei foi a alternativa C.

Você tinha uma esfera com carga de -2,0 uC (negativa) e outra com carga de 8,0 uC (positiva) que naturalmente se atraem. Quando há o contato, ambas ficam com a mesma carga. É mais fácil pensar que a esfera positiva vai cedendo 1 uC para a esfera negativa até que ambas fiquem com cargas idênticas, mais ou menos assim:

ESFERA P | ESFERA Q
-2 uC            8uC
-1uC             7uC
neutra           6uC
1uC              5uC
2uC              4uC
3uC              3uC

Como ambas possuem o mesmo sinal (+), vão se repelir - já saem as alternativas A e B.

Agora só ir pra fórmula da força de interação:

F = k • Q1 • Q2
              d²
F = 9 • 10^9 • 3 • 10^-6 • 3 • 10^-6
                               (0,3)²

(Note que 1 uC = 1 • 10^-6 C, que é a unidade padrão no SI; 30cm = 0,3m, a unidade padrão)

Resolvendo as multiplicações, fica:

F = 81 • 10^-3
          0,09

(No caso da multiplicação de números em notação científica, multiplique os números (9 • 3 • 3), repita o • 10 e faça a adição das potências, já que os números estão se multiplicando: 9 + (-6) + (-6) = 9 - 6 - 6 = 9 - 12 = -3)

Você pode dividir o 81 direto por 0,09, que é como dividir 81 por 9 e adicionar dois zeros depois, ficando:

F = 900 • 10^-3 N

Em notação científica, fica:

F = 9 • 10^-1 N

(Você vai somar à potência a quantidade de casas que você cortou, que no caso foram duas: 10^-3 + 2 = 10^-1)

Espero ter ajudado (e acertado), estou estudando esse mesmo assunto.