A pesar de su rico color, el pastel de terciopelo rojo posee un sabor a chocolate muy suave. Los pasteles de terciopelo tradicionalmente utilizan una pequeña cantidad de cacao en polvo, y algunos requieren leche de mantequilla y vainilla u otros extractos, que pueden variar el sabor.
Los sabores exactos de la torta pueden cambiar según la receta, dependiendo del uso de extractos, como vainilla o cítricos, el tipo y la cantidad de cacao en polvo y el uso de suero de leche en la torta.
Las recetas modernas para la torta de terciopelo rojo a menudo requieren grandes cantidades de colorante rojo, y esto puede afectar el sabor. Estas recetas a menudo usan cantidades más pequeñas de cacao procesado en Holanda, ya que puede hacer que la torta se vuelva marrón en lugar de rojo.
Algunas recetas usan una pequeña cantidad de cacao en polvo natural combinado con un ingrediente ácido, como suero de leche o vinagre, para producir un color rojo natural.