La situación de vivienda de un esclavo dependía de su trabajo y de la situación social de su dueño. Las familias de clase media con pocos esclavos a menudo dejan que los esclavos residan en sus casas. En las plantaciones y otras grandes propiedades, los esclavos que trabajaban en el campo vivían en casas especiales para esclavos. Cocineros y criadas a menudo vivían dentro de las mismas casas que sus dueños, generalmente en una habitación trasera o en un ático.
Las compañías ferroviarias también usaban esclavos para construir ferrocarriles. Como los esclavos en las plantaciones, estos esclavos tenían terribles condiciones de vida. Sus camas no eran más que tablas de pino duras e inclinadas con una sola manta. Las cabañas de esclavos tenían chimeneas mal construidas y típicamente no estaban muy limpias debido a las terribles horas de trabajo exigidas a los esclavos. A menudo, los esclavos se vieron obligados a trabajar desde el amanecer hasta la noche. Muchos esclavos colapsaron debido al agotamiento. Su comida era preparada generalmente por un compañero esclavo, pero sus raciones eran escasas. A veces, su comida durante un día entero no sería más que nabos y papas.
Los dueños de esclavos a menudo intercambiaban a sus esclavos a cambio de dinero y bienes. Debido a esto, muchos esclavos, incluyendo niños pequeños, fueron separados de sus familias. Los esclavos domésticos a menudo arreglaban matrimonios para los niños con otros esclavos domésticos para perpetuar su estatus social menos oneroso.
