A antiga vila de Olivença situa-se na margem esquerda do Guadiana. O seu território, situado numa vasta planície, com uma altitude média de 200m, eleva-se gradualmente para sudeste, apenas cortado por algumas elevações, a mais importante das quais culmina a 610 metros de altitude.
O sítio de Olivença é plano, ao contrário de outras vilas de fronteira, como Elvas e Campo Maior, que estão alcandoradas no cimo de montes. Integrada num corredor de fácil invasão pelo exército castelhano, a defesa da fortificação era complementada com a existência de seis atalaias que, estrategicamente colocadas em locais mais altos, serviam de postos de observação e vigilância.
Foi pelo Tratado de Alcañises, celebrado em 1297 por D. Dinis, que o território de Olivença passou para a coroa portuguesa. Foi este rei que lhe concedeu a primeira carta de foral e a mandou fortificar. O século seguinte foi de insegurança, tendo sido ocupada pelos castelhanos durante 34 anos.
A fortaleza foi restaurada e melhorada por D. João II. Construiu-se a torre de menagem que ainda hoje domina a povoação.
No reinado de D. Manuel I foi construída a imponente igreja de Santa Maria Madalena, de estilo manuelino, mas com alguns elementos de construção posterior, como o portal renascentista e a decoração do interior, com azulejos azuis e brancos figurativos do século XVIII e exuberante talha dourada nos altares. A Igreja de Santa Maria do Castelo é mais recente e foi construída no século XVI sobre a antiga igreja medieval.
No século XVI Olivença conheceu um período de prosperidade. Além da agricultura, a população ocupava-se ainda de outros ofícios como a tecelagem, a olaria e o trabalho do ferro.
Tal como aconteceu a outras terras de fronteira, novas fortificações foram erguidas após a Restauração. A cidade foi rodeada por uma cintura de muralhas de forma poligonal, irregular, com nove lados, nove baluartes e oito revelins. Nela se abriam três portas: a do Calvário (a única que ainda existe), a de S. Francisco e a Nova. Tornou-se uma das melhores praças fortes do Alentejo, com importantes instalações para a guarnição militar.
A 2 de Março de 1801 a Espanha declarou guerra a Portugal e a 20 de Maio as tropas espanholas invadiram o Alentejo. Olivença rendeu-se. A 6 de Junho foi assinado o Tratado de Badajoz, no qual Portugal reconheceu a soberania de Espanha sobre o território de Olivença e se fixou a fronteira no rio Guadiana. Este tratado foi considerado nulo na Conferência de Paris, de 30 de Maio de 1814, à qual Portugal não enviou nenhum delegado. Durante o século XIX ainda houve algumas tentativas para conseguir o retorno de Olivença para a coroa portuguesa, mas sem qualquer êxito. Este diferendo justifica o facto de, nos mapas de Portugal, não existir uma demarcação da fronteira no troço do rio Guadiana que correspondia ao termo de Olivença.