Durante la edad media, llegó la gran expansión del olivo, establecido ya en tiempos musulmanes o posiblemente romanos, extendiendo las terrazas de cultivo hasta la cota de los 600 metros. El pueblo creció de espaldas al mar, protegiéndose del viento del norte y de los ataques de los corsarios, dedicándose a la pesca, el cultivo del olivo, los cítricos y al ganado lanar. 

 A partir de finales del S. XIX gracias a la belleza del paisaje y la vida tranquila, sencilla y barata, empezaron a establecerse románticos, bohemios y artistas, desde el Archiduque Luis Salvador hasta el compositor Manuel de Falla, los pintores Leman, Junyer o Russinyol, o los poetas Robert Graves y Laura Riding. Algunos de ellos se quedaron aquí para siempre, como atestiguará una visita al cementerio.