La primera esposa de Jimmy Dean fue Mary Sue Wittauer y su segunda esposa fue Donna Meade. Su primer matrimonio terminó en divorcio después de 40 años y la segunda duró 19 años hasta su muerte a los 81 años, una pareja meses antes de cumplir 82 años.
Dean y Wittauer tuvieron tres hijos juntos, pero no tuvo ninguno con su segunda esposa, Donna. Menos de un año después de su divorcio de Wittauer, Dean se casó con Meade, quien también era cantante y compositora. Los dos vivían en Varina, Virginia, en una finca de 200 acres que fue reconstruida después de que se quemó en un incendio.