Tra la fine del Trecento e gli inizi del Quattrocento, in un luogo famoso per le proprie sorgenti d’acqua, utili ai naviganti, fu eretta una Torre a difesa di alcuni magazzini costruiti su una delle coste più trafficate dell’epoca. Questi magazzini erano stati costruiti per volere dei Chiaramonte, Conti della vicina Modica. Il re Alfonso V d’Aragona, quando riconquistò la Sicilia, confiscò la contea di Modica ai ribelli Chiaramonte e la diede al conte Giovanni Bernardo Cabrera, esponente di una delle famiglie catalane più illustri, autorizzandolo a costruire una torre di difesa proprio nel luogo oggi conosciuto come Pozzallo, appunto la Torre di Cabrera. Questa torre ebbe una grande importanza militare, poiché permetteva di avvistare tempestivamente i pirati in arrivo che miravano al grano depositato nei magazzini sulla costa; sulla sua terrazza erano piazzati i cannoni pronti a fare fuoco ed i cavalieri sorvegliavano la costa. I prigionieri catturati venivano giustiziati in una stanza particolare sugli scogli, ancora oggi visibile.
L’edificio ha una pianta quadrata di circa 20 metri a lato ed un’altezza di 28 metri; è costituito da tre piani e appunto da una terrazza. Con i recenti restauri si è dimostrato che non fu solamente una torre di difesa, ma anche una residenza signorile. Nel 1693 una parte della torre crollò a causa di un violento terremoto, fu poi in parte ricostruita ed oggi è Monumento Nazionale, simbolo della città di Pozzallo e per questo riportata anche sullo stemma della città. Oggi la Torre appartiene al demanio regionale e si visita gratuitamente. Sono visitabili, al piano terra, due grandi magazzini con volte a botte, in pietra e mattoni; tramite una scala ottocentesca, esterna all’edificio, è possibile accedere al primo piano, dove le pareti dell’ambiente conservano le tracce degli eventi sismici; da qui una scala ricavata nello spessore del muro ci conduce al secondo piano, dove possiamo ammirare due ambienti destinati probabilmente ad uso privato; e ancora una scaletta a chiocciola ci conduce al terrazzo da cui si gode una vista panoramica straordinaria.