Les primeres notícies documentals parlen del “kastro fullit” (1096) i “kastro-follito” (1100). Al segle XII estava en possessió dels vescomtes de Bas. El 1278, Sibil.la, vescomtessa propietària de Bas i vescomtessa d’Empúries, va reconèixer tenir en feu del monarca el “castrum Follitum”, el qual no trigà a vendre al mateix sobria. El rei Jaume II, l’any 1315, donà al comte emporità Malgaulí el vescomtat de Bas, anomenant expressament el Castellfollit, del que el sobirà es reservava el domini directe. El 1339, Pere el Cerimoniós incorporà Castellfollit a la Corona. El 1351, en crear el sobirà el ducat de Girona per al seu primogènit, hi incorporà Castellfollit. Al segle XV la baronia de Castellfollit fou posseïda per la familia Santa Pau. L’any 1426 hi hagué un gran terratrèmol que enderrocà Castellfollit. El 1428, el dia de la Candelera, hi hagué un nou terratrèmol que tornà a enderrocar Castellfollit. El 1462, Castellfollit va caure en mans dels remences de Francesc de Verntallat durant la Guerra Civil Catalana. Per parentiu, passà dels Santa Pau als Cruïlles.
El 1657, durant la Guerra dels Segadors, hi va tenir lloc una batalla en la qual els francesos van ser derrotats per les tropes castellanes comandades per Francisco de Orozco, el Marquès de Mortara.
Castellfollit serví encara com a força en temps de la guerra dels Segadors i en la dels 8 anys, quan sembla que l’exèrcit francès enderrocà el castell, el 1691.
El 1874, durant la Tercera Guerra Carlina, hi va tenir lloc un combat a les runes del castell, en el qual les forces carlines de Savalls van derrotar les republicanes de Nouvilas. Les restes de la fortificació que es conserven sembla que més aviat corresponen a la muralla que envoltava la vila. Per un plànol de l’època sabem que les restes d’un portal per la part del riu Turonell, corresponen al portal de Besalú i que d’allí partia el camí de ferradura que anava cap a aquella població. Aquest mateix plànol situa el castell, en l’angle nord-oest del nucli vell, en un espai molt petit. L’any 2008 es va trobar una torre propera a Castellfollit de la Roca, però dins del municipi de Sant Joan de les Fonts. És una torre de planta circular, d’uns 7 metres de diàmetre interior, situada al cim d’un turó fortificat Aquesta torre apareix en la planimetria militar feta pel Ministeri de defensa francès el 1694 i en un altre plànol de 1851 conservat a l’Arxiu Històric Militar de Madrid; segons aquesta documentació aquest recinte formaria part del conjunt defensiu de Castellfollit de la Roca i correspon amb la Torre Hermosa o Torre Gran.