El pasatiempo favorito de Andrew Jackson era las carreras de caballos y la cría de caballos. Poseía muchos caballos de carrera a lo largo de su vida y los competía a menudo en sus días anteriores y posteriores a la presidencia. También levantó las bolitas y entró a sus pájaros en las peleas de gallos alrededor de Nashville.
A Andrew Jackson también le gustaba un buen chiste práctico. Mientras era estudiante de derecho en Salisbury, Carolina del Norte, Jackson fue elegido para administrar el baile anual de Navidad, un evento anual de gran importancia en la pequeña ciudad de Carolina del Norte. Como broma, invitó a dos prostitutas a la pelota, aunque pocos de los asistentes encontraron el gesto tan divertido como lo hizo Jackson.
Era un ávido lector de periódicos y novelas. Su libro favorito fue "Vicar of Wakefield" de Oliver Goldsmith. Andrew Jackson mantuvo una gran colección de pipas de todo el mundo, pero rara vez fumaba algo más que su pipa de mazorca. Afirmó que le gustaba más el sabor de la tosca pipa de la frontera que todos los elegantes que adquirió a medida que se convirtió en protagonista internacional.La profesión de Jackson era política, pero también podría contarse como uno de sus pasatiempos principales. Después de dejar la presidencia en 1836, permaneció muy activo políticamente desde su casa en Nashville. Jugó un papel importante en la elección de Martin Van Buren y James K. Polk a la Casa Blanca antes de su muerte en 1845.
