Lo más negativo por lo que se recuerda a Andrew Jackson es la reubicación forzada de muchos nativos americanos, particularmente en la parte sureste de los Estados Unidos. También provocó una depresión económica al negarse a renovar el estatuto del Segundo Banco de los Estados Unidos y luego instituir políticas de control de la inflación que provocaron un pánico, pero se atribuyó principalmente a su sucesor, Martin Van Buren.
En 1830, Jackson firmó la Ley de Remoción de la India, que había trabajado para impulsar el Congreso. Este acto le permitió negociar tratados de expulsión con tribus nativas americanas, a las que la Corte Suprema había dictaminado que no se les permitía poseer legalmente sus tierras ancestrales. Jackson creía que los nativos americanos eran inferiores a los colonos blancos y quería forzarlos al oeste del Mississippi. Creía que los Estados Unidos no se expandirían más allá de ese límite, por lo que los nativos americanos podrían gobernarse a sí mismos.
El resultado fue que muchas tribus fueron engañadas o expulsadas de sus tierras si se negaban a ir voluntariamente, lo que provocó muchas muertes por escaramuzas con soldados, así como por hambre y enfermedades. Los Cherokee en particular se vieron obligados a realizar una marcha forzada que se conoció como el Sendero de las Lágrimas. Fueron obligados a abandonar sus tierras tan rápidamente que no pudieron reunir suministros adecuados y más de 4,000 cherokees murieron de desnutrición y exposición. Jackson supervisó la remoción de más de 46,000 nativos americanos de sus tierras.
