Los historiadores creen que los instrumentos similares a arpas surgieron en el antiguo Egipto alrededor del año 3000 a. C. y luego aparecieron en su forma moderna y angulosa en Asia alrededor del 1500 a. C. Las arpas representadas en dibujos de cuevas del antiguo Egipto se estructuraron como arcos de caza, que son los objetos que los historiadores reconocen como inspiradores de la forma del arpa. Sin embargo, los asiáticos refinaron la forma del arpa agregando una caja de sonido y un pilar sólido para soporte.
Las arpas tempranas presentaban hebras largas y delgadas hechas de materiales orgánicos como las fibras vegetales. Las arpas varían en estilo e incluso en la posición de juego dependiendo de la región de origen. En muchas partes de Grecia y Roma, las arpas existían como instrumentos verticales, y los jugadores tocaban sus cuerdas con ambas manos. En la región mesopotámica, sin embargo, las arpas existían como instrumentos horizontales. Los jugadores colocaron las arpas en sus regazos y usaron plectrums para arrancar las cuerdas.
Las arpas se encuentran entre los instrumentos más antiguos del mundo. Disfrutaron de un uso generalizado en el antiguo Egipto y Asia. Las arpas emigraron a otros lugares y disfrutaron de una breve popularidad en la India y el Medio Oriente antes de desaparecer de repente. Las arpas reaparecieron en Europa, sin embargo, durante el siglo noveno. Su forma cambió ligeramente con respecto a las versiones anteriores, fuertemente influenciadas por el aspecto gótico. Las arpas góticas presentan cuellos alargados y torsos delgados para una apariencia elegante. Las arpas cromáticas surgieron durante el siglo XVI, apareciendo como instrumentos con dos o tres filas de cuerdas.