En la zona donde se sitúa el castillo había una villa romana que, a la vez, fue construida sobre un asentamiento íbero. La primera vez que se ha tenido constancia fue al 1063 en un pergamino que se conserva al monasterio de Sant Pere de Galligants justo en el archivo de la Corona de Aragón, a pesar de que en aquel documento se hace referencia a 2 castillos.
Venta del castillo de La Fosca
El Castrum Sancti Stephani de Mari era la sede de un dominio señorial a manos de Dalmau de Palol, señor de Vulpellac (Forallac), en 1272. En el 1277, a través del primer alcalde de Palamós (Arnau sa Bruguera), vendió por 7.500 sueldos barceloneses el castillo al rey Pere II conjuntamente con otras tierras y cortijos para satisfacer la voluntad de este a tener un puerto en el Empordà.
Durante la edad media fue cambiando de manos hasta acabar finalmente en las de Berenguer de Cruïlles, que lo compró por 20.000 sueldos barceloneses. Más tarde, en el 1484, la villa de Palamós y el Castell de San Esteve pasó a se propiedad de Galceran de Requesens, el primer conde de Palamós.
El derribo del Castillo de Palamós
En la Guerra de los remences fue prácticamente derrocado y se abandonó hasta que alrededor del siglo XVI se reconvirtió en una casa de campesinos como las de la zona, continuando siendo un punto estratégico de vigilancia y defensa de los alrededores de la villa de Palamós.
En la Edad Moderna, se llevó a cabo a la vez el control de la costa para alertar de incursiones de piratas y corsarios y la explotación agrícola de la tierra de los alrededores.
Aunque de la vigilancia se encargaban las parroquias de Palamós, Vila-Romà y Vall-Llòbrega compartiendo pólvora, bombardas y arreglos para los muros.
En el 1568 consta en algunos documentos antiguos una transacción económica en concepto de obras de reparación del que se denominó como «la fortaleza de la Fosca».
La dualidad de explotación agrícola y fortín de vigilancia se mantuvo hasta finales del siglo XVIII ya no para prevenir incursiones de piratas pero si por otros peligros como las naves inglesas, el contrabando o, incluso, para alejar embarcaciones con peste. Al cabo de poco tiempo, se quedó solo con la función de trabajos agrícolas.
El abandono del Castillo de San Esteban de Mar
Hasta el siglo XX continuó siendo una masía cuando fue abandonado degradándose año tras año por culpa de su situación. El hecho de estar al lado del mar y sufrir todas las inclemencias del tiempo fue clave por la decadencia que ha ido sufriendo.
Recientemente, en el 2009, se firmó un convenio de colaboración entre la Generalitat de Cataluña y La Caixa por el desarrollo de un programa llamado «Programa Románico Abierto» donde se establece que, conjuntamente con el Ayuntamiento de Palamós, pasó a ser propiedad municipal y, enre el 2011 y 2015, se realizaron un proyecto de obras que haría consolidar el terreno, trabajos de desbroce, planimetría, …
Su uso en la actualidad en Palamós
Los ciudadanos pueden disfrutar del espacio siguiendo unas pautas solicitando su uso mediante una solicitud genérica a la OAC del Ayuntamiento de Palamós especificando el motivo por el cual se solicita este uso.
Aun así, se tienen que tener en cuenta las siguientes indicaciones:
- Existe una dificultad real en los accesos a todo el recinto para vehículos y no existe ningún aparcamiento público próximo.
- El Castillo no tiene la accesibilidad suficiente para personas con movilidad reducida y/o con discapacidad.
- El recinto no dispone de servicios ni se pueden instalar sanitarios portátiles así como tampoco dispone de suministros de energía eléctrica ni de abastecimiento de agua.
- No existe ningún servicio para recogida de basura.
- El Castillo no dispone de ningún cierre al techo y, por lo tanto, a la actividad a realizar se tienen que tener en cuenta las condiciones meteorológicas.
- Las actividades tienen que ser respetuosas con la estructura actual y, por lo tanto, no se puede modificar ni alterar ningún elemento estructural (hacer agujeros, instalaciones, …).

Antoni Grifol [CC BY-SA 4.0 (https://creativecommons.org/licenses/by-sa/4.0)]