Bom cara, "matemática", talvez não seria a forma mais correta de se falar, mas vamos começar a falar sobre os números que envolvem o sistema computacional.
De uma forma MUITO GERAL vou explicar quais as bases numéricas e para que servem no meio da computação
A primeira base é a famosa Binária, que é um conjunto de 2 bits, 0 ou 1 onde, 1 = verdadeiro 0 = falso, essa base compõem a parte de mais baixo nivel do sistema computacional, o hardware, mas também é usada na aplicação e compilações de softwares, um conjunto desses bits formam mensagens ou sinais para o meio computacional.
sobre o sistema binário eu sugiro que voce pesquise sobre
Portas lógicas
tabela verdade
para uma breve introdução.
acho que você deve começar por ai, é bem interessante. Após isso estude um pouco sobre bases:
hexadeximais: armazenamento, encurtamento, compactação entre muitas outras coisas.
e um pouco sobre base octal.
não vou comentar mais pois é um assunto muito amplo. espero ter ajudado...