No hay una persona específica que haya sido identificada como la inventora del xilófono. Se puede rastrear a los xilófonos para que se inventen en Asia y África. Una pequeña evidencia sugiere que el instrumento se originó en Indonesia; sin embargo, la mayoría de los expertos ignoran la evidencia.
El xilófono se remonta al siglo IX en el sudeste asiático. A pesar de que el xilófono ha existido durante miles de años, su primera entrada en un diccionario ocurrió en el siglo XIX. En griego, xilófono significa "sonido de madera". Algunos xilófonos modernos tienen barras de metal que se golpean con un mazo para producir sonido. Sin embargo, las versiones antiguas estaban hechas de madera.