Geralmente é - em torno de 3000°C, mas dependendo do circuito elétrico, ela pode sim chegar a 4000°C por alguns segundos.Ainda assim, a temperatura é realmente muito alta. 

O Tungstênio,de que o filamento da lâmpada é feito, tem altíssimo ponto de fusão e por isso, não funde à essas altíssimas temperaturas. 

Você já notou que uma barra de ferro, quando aquecida, começa a ficar laranja, amarelada e a brilhar mais(chama-se efeito da Radiação de Corpo Negro)?na lâmpada é a mesma coisa.Agora imagine quanto calor é necessário pra fazer aquilo brilhar como uma lâmpada?Por isso, na lâmpada isso chega a essas altíssimas temperaturas. 

Note que o calor é concentrado SOMENTE no filamento da lâmpada(caso contrário, todo mundo estaria morto carbonizado pelo calor das lâmpadas.As únicas coisas que não iriam derreter seriam diamantes!).A lâmpada é submetida a vácuo interno justamente para não perder calor à toa - já que a finalidade é iluminar, não aquecer.Dessa forma, o unico calor que sentimos da lâmpada é o da radiação eletromagnética, que é muito menor que a condução de calor por contato ou convecção. 

Ou seja, essa temperatura enorme é limitada àquele fiozinho apenas, por causa do vácuo dentro da lâmpada.Aos arredores da lâmpada essa temperatura cai bruscamente, de forma que sua mão é apenas queimada de leve ao tocar a lâmpada, e não derretida/vaporizada.