Il castello feudale di Tortora, noto come “Il Palazzo”, fu edificato a guardia del nucleo originario dell’abitato sviluppatosi in epoca medievale sullo sperone roccioso che domina la valle della Fiumarella, consentendone l’accesso attraverso due porte ben guarnite, una delle quali è tuttora esistente. Nel corso dei secoli, l’edificio è appartenuto alle famiglie Grisone, Lauria o Loria, Martirano, Exarquez, Ravaschieri e in ultimo ai Vitale, confluiti poi nei Vargas Machuca che lo cedettero a privati cittadini.