Las paredes exteriores de la Casa Blanca están hechas de piedra arenisca Aquia Creek pintada de blanco que fue extraída por esclavos. Esta es la misma piedra que se utilizó para construir el edificio del Capitolio.
James Hoban diseñó la Casa Blanca luego de ganar una competencia que Thomas Jefferson, entonces Secretario de Estado, y el Presidente George Washington organizaron en 1792. Hoban nació en Irlanda y se formó como arquitecto allí. La leyenda dice que Jefferson, él mismo arquitecto, entró al concurso bajo un seudónimo y perdió. La Casa Blanca se ha renovado varias veces desde que se construyó por primera vez; sin embargo, las paredes exteriores son las mismas paredes que se construyeron inicialmente.
