El color original de la Casa Blanca era blanco. Según la Asociación Histórica de la Casa Blanca, cuando las paredes se terminaron en 1798, se blanquearon para evitar que la piedra se congele en invierno.
Las paredes de la Casa Blanca fueron encaladas dos años antes de que el presidente John Adams y su esposa Abigail se mudaran al edificio como sus primeros residentes en 1800. Según una historia a menudo contada pero errónea, la Casa Blanca fue pintada de blanco en 1814. , después de que fue incendiada por los británicos durante la Guerra de 1812. Aunque existe evidencia de que la casa del Presidente fue llamada la Casa Blanca desde 1812, Theodore Roosevelt lo hizo oficial en septiembre de 1901.