El castell de Jafre es va construir en un turonet rocallós on avui hi ha el nucli urbà. Ocupava el que ara és la plaça del castell i part del volum de l’església parroquial. Des de dalt de les seves torres es podia veure tot el terme municipal i els nuclis urbans dels pobles veïns com Colomers, Verges, Ultramort, Parlavà, Foixà i nuclis més llunyans com Bellcaire, Ullà, Torroella, Canet, Pals o Begur. L’origen es desconeix. La referència més antiga del castell es remunta al segle XV i és molt posterior a les primeres notícies sobre la parròquia.
Des del segle XIII fins al segle XV trobem la noble família dels Jafre residint al seu casal i exercint de veritables senyors feudals des de la seva cort civil ubicada al terme de la parròquia de Sant Martí sense que s’utilitzi en cap moment el terme castell per referir-s’hi. A partir de començament del segle XVI ja hi havia Johers al castell, i l’heretat va començar a ser una explotació agrícola més del poble. Els senyors, a conseqüència d’entroncaments matrimonials amb altres patrimonis importants, van deixar de residir-hi i l’any 1618 van desvincular-se’n definitivament amb la seva venda. En el cadastre de l’any 1716 el castell fou definit com un edifici espatllat i, per tant, deshabitat i, uns anys més tard, l’any 1739, es va decidir engrandir el temple parroquial aprofitant els murs que encara restaven molt forts i bons (segons expressió de l’època). Des d’aleshores es va donar el castell de Jafre per desaparegut, tot i que, els seus vestigis, encara avui són nombrosos i importants. Les restes van ser declarades bé d’interès cultural (B.I.C.) en el Boletin Oficial del Estado el 5 de maig de 1949.
Durant el setembre de 2020 es van executar obres de remodelació de la plaça del Castell. Durant els treballs d’excavació, els arqueòlegs van poder documentar un seguit d’estructures antigues, com ara murs, canals de desaigüe, enllosats i un pou. L’existència d’un castell a la població ja era ben coneguda gràcies a la documentació antiga i sobretot al fet que un tram de muralla de l’antic edifici en un moment donat fou reaprofitat com a façana d’un habitatge més modern. Arran de les troballes arqueològiques, que situades entorn del segle XIV, els diferents elements de l’edifici cobren sentit i permeten confirmar que constituïa una casa forta arquitectònicament ben planificada, amb un important sistema hídric, tant d’adquisició d’aigua com de sistemes de drenatge, organitzada a través d’un o dos patis oberts i amb un nombre indeterminat d’estances tant a la planta baixa com al primer pis. La notícia de la troballa valora el nucli històric de Jafre.