Los padres de James Madison fueron Nelly Conway Madison y el Coronel James Madison, el Sr. James Madison nació en 1751. James Madson, Sr. se casó con Nelly Conway en 1749 y la pareja tuvo 12 hijos. James, que fue el primer hijo nacido, fue el cuarto presidente de los Estados Unidos.
La familia Madison se encontraba entre las familias más antiguas y prestigiosas de Virginia. El padre de Madison era un importante productor de tabaco en Virginia que creció en una finca en Orange Country, Virginia, que luego heredó. La madre de Madison era la hija de un importante comerciante de tabaco. Ella nació en 1731 en Virginia.