James Spader y su primera esposa, Victoria Kheel, se divorciaron en 2004. Spader y Kheel se conocieron a principios de la década de 1980, y se casaron en 1987. Durante las entrevistas posteriores al divorcio, Spader se negó a discutir el tema y la razón detrás de El divorcio es desconocido.
Spader y Kheel tuvieron dos hijos juntos mientras estaban casados. Estos dos eran adicionales al hijo que Kheel tuvo de una relación anterior a la que Spader ayudó a criar después de que él y Kheel estaban juntos.
A partir de 2014, Spader había estado saliendo con la actriz Leslie Stefanson durante casi toda la década desde su divorcio de Kheel. Spader y Stefanson tienen un hijo juntos.