Los helados llegaron a la Casa Blanca a través de los europeos, cuando miembros de familias reales introdujeron a los estadounidenses de la alta sociedad a la delicia cremosa del siglo XVIII. El helado apareció en la Casa Blanca junto con el primer presidente, George Washington. Sin embargo, ganó popularidad con el cuarto presidente James Madison y su esposa Dolly, quienes tenían una afinidad por el helado.
Aunque ahora es una delicia popular entre los estadounidenses de todas las clases socioeconómicas, el helado alguna vez fue caro y relativamente raro, por lo que es un postre para los ciudadanos ricos. En Europa, el helado en su forma moderna ni siquiera llegó a las masas hasta el 1600, cuando emergió en Italia. Para la década de 1700, sin embargo, los helados y otras novedades congeladas, como el helado y el sorbete, disfrutaron de popularidad entre los aristócratas europeos. La golosina helada llegó a los Estados Unidos a principios de la década de 1700, y la primera heladería abrió sus puertas en 1790. La Casa Blanca y muchas propiedades incluso tenían máquinas de helados internas.
En los días coloniales, el helado venía en diferentes sabores. Algunos, como los espárragos, el queso parmesano y el helado de ostras, fueron populares entre las familias de la Casa Blanca, incluidos los Madison, pero nunca obtuvieron una amplia aceptación. Otros, como el helado de vainilla, siguen siendo muy populares, al igual que las coberturas como las bayas y la crema.