Andrew Jackson tuvo varias peleas con John Calhoun que surgieron de orígenes sociales y políticos. Jackson no estaba de acuerdo con la manera en que las esposas e hijas de los oficiales del gabinete trataban a la esposa de John Eaton, el secretario de guerra de Jackson, incluida la esposa de Calhoun; Miraron a la esposa de Eaton y le recordó a Jackson el tratamiento que su propia esposa, Rachel, había recibido del mismo grupo. Políticamente, los dos hombres discreparon sobre el tema de los derechos de los estados, con Calhoun y la parte de los derechos de sus estados que intentan atrapar a Jackson para que apoye sus puntos de vista.
La animosidad personal entre Jackson y Calhoun giraba en torno al maltrato a la esposa de su secretario de guerra. También chismorreaban sobre ella. Esto inflamó a Jackson, ya que su esposa también fue tratada como una persona de clase inferior por el mismo círculo social.
En una celebración de cumpleaños de Thomas Jefferson en 1832, Calhoun y otros en su campamento hicieron brindis en un intento por establecer una conexión entre la anulación y la opinión de los derechos de los estados sobre el gobierno. Jackson no se unió, sino que brindó un brindis por el sindicato federal y señaló que debe conservarse, y humillar esencialmente a Calhoun, que era su vicepresidente, públicamente. Calhoun finalmente renunció a su cargo de vicepresidente.
