Los hermanos del presidente James Madison incluyen al general William Taylor Madison; Capitán William Ambrose Madison, Sr .; Eleanor "Nellie" Conway Hite (Madison); Frances "Fanny" Rose (Madison); Mollie Davis; Francis Taylor Madison; Robert Cole Madison; Sarah Catlett Madison; Elizabeth Madison; Catlett Madison; Reuben Madison; y John Madison. Dos de sus hermanos murieron mientras eran bebés.
El presidente Madison nació James Madison, Jr., como el hijo primogénito de James Madison, Sr., y Nelly Conway Madison. James pasó su primera infancia en Montpelier, su finca familiar en Virginia. A los 12 años, fue a la escuela de Donald Robertson, donde aprendió latín y griego y estudió aritmética y geografía. Obtuvo su licenciatura en la Universidad de Nueva Jersey.
