Aunque George Washington seleccionó el sitio de la Casa Blanca en 1791, nunca vivió allí. A partir de 2014, es el único presidente que no residió en la Casa Blanca.
John Adams y su familia fueron la primera familia presidencial en vivir en la Casa Blanca. En 1814, los británicos incendiaron la casa; fue reconstruido En 1817, James Monroe se mudó. Harry S. Truman comenzó la restauración de la Casa Blanca y regresó a la Casa Blanca en 1952.
Bajo algunos presidentes, la Casa Blanca pasó por una construcción que no requirió que la Primera Familia se mudara. Theodore Roosevelt hizo mudar las oficinas del presidente a West Wing y William Howard Taft hizo construir la Oficina Oval.
