James Madison tenía tres hermanos y tres hermanas que vivieron hasta la edad adulta: Francis, Ambrose, Nelly, William, Sarah y Frances. Sus padres tenían un total de 12 hijos. Cinco de los hermanos de Madison murieron cuando eran bebés o niños.
El hermano de Madison, Francis, era plantador en el Condado de Orange, Virginia. Su hermano Ambrose era un capitán en la milicia de Virginia. También fue plantador y supervisó los intereses de la familia en el Condado de Orange. William Madison sirvió durante la guerra revolucionaria. También fue abogado y sirvió en la legislatura de Virginia. Las tres hermanas de Madison, Nelly, Sarah y Frances, se casaron cuando eran adultos.
