Downton Abbey está filmada en varios sets y ubicaciones en el Reino Unido. El castillo de Highclere, ubicado en el norte de Hampshire, se utiliza para tomas externas de la propia Abadía, así como para muchas tomas interiores.
Se han usado muchos lugares históricos reales y castillos para filmar la serie. La segunda casa de la familia Crawley es Grey's Court en Oxfordshire. La casa de la dote es realmente Byfleet Manor, ubicada en Surrey. La estación de Downton es la estación de tren de Horsted Keynes en Sussex. Duneagle Castle es realmente el castillo de Inveraray en Argyll, Escocia. El castillo de Brancaster se filmó en el castillo de Alnwick en Northumberland y la propiedad de Haxy Park forma parte de Waddesdon Manor en Buckinghamshire