Il costruttore del carcere fù il Carpi, che lo progettò secondo i dettami di una teoria codificata negli ultimi 20 anni del secolo da Jeremy Bentham, secondo la quale nei tentativi di recupero dei detenuti ...era possibile ottenere il dominio di una mente sopra un'altra mente... tramite una adeguata struttura architettonica. Il Carpi quindi riprese le linee architettoniche già sperimentate su Ventotene, formate da tre piani di archi e loggiate, ma le ripiegò su loro stesse in modo che queste guardassero all'interno di una struttura a ferro di cavallo, con la precisa volontà di fare in modo che il carcerato fosse cosciente del costante controllo a cui era sottoposto dai carcerieri. E' inutile sottolineare i contraccolpi psicologici sui carcerati, aggravati dal fatto inquietante che da nessuna parte del carcere accessibile a loro era possibile vedere il mare!

Il locale di tre piani circolari l'uno all'altro addossati, si distribuisce in 99 celle penitenziarie... che guardano solamente nell'interno della gran chiostra... e ciascun camerotto è largo palmi 16, lungo 17, ordinato a volta e preceduto da un arco. Questi archi formano due distinte successioni nel secondo e terzo piano, e ripartiscono in classi i prigionieri, si che assegnansi per premio di esperimentata e lodevole condotta il piano superiore, e si riserba per gli irrequieti e i turbolenti il pianterreno. L'area circolare chiusa nel mezzo si scosta dalle celle a pianterreno, lasciando un interstizio circondato dfa una palizzata, che serve di passaggio ai prigionieri. Nel punto centrale,... sicchè potesse essere visibile da tutti gli ergastolani, si eleva una cappella di forma esagona, con altare nel mezzo... In questo medesimo recinto sono ancora cisterne, fanali e da ultimo una inferriata che corrisponde in un magazzino. Precede e si congiunge al circolare edificio... un avancorpo di fabbriche in dritta linea nel sinistro lato di esso, ovè un decente e ben servito ospedale, il resto di questo locale è addetto agli alloggi di un Comandante, di due Cappellani, degli Uffiziali sanitari, di un foriere della guarnigione di Marina e Veterani, e degli altri addetti alla custodia più immediata dè prigionieri.

Il penitenziario, non ancora ultimato, venne inaugurato sembra il 26 Settembre 1795, con l'invio di 200 detenuti. Due anni dopo i lavori furono ultimati e la popolazione carceraria aumentò ai 600 reclusi previsti dal Carpi, disposti in 99 celle.Nelle due estremità del piano inferire erano già ricavate le celle di segregazione, prive di finestre. Nel 1853 sono ultimati i due grandi "orecchioni" quadrangolari ai lati dell'ingresso, utilizzati poi come laboratori. Intorno alla metà del secolo XIX il cortile centrale venne ristretto con la costruzione di un muraglione anulare, concentrico alle celle, diviso da due corridoi che permettevano l'accesso all'edicola esagonale e alle cisterne. Successivamente furono costruite due piccole torri a pianta poligonale, a Nord e a Sud delle celle e a loro addossate per tutta l'altezza dei tre piani. Altra grande variazione al progetto originario fù il dimezzamento delle celle, con la trasformazione in porta della finestrella che dava sul ballatoio. Contemporaneamente venne costruito un altro anello esterno alla struttura originale, sul retro del carcere e ribassato rispetto al suo piano inferire. Queste celle erano prive della finestra sul fondo e prendevano aria e luce solo dal corridoio. con queste variazioni la popolazione carceraria fù portata a 900 detenuti, in quali condizioni è facile intuire.

L'originaria destinazione di carcere per reati comuni iniziò a cambiare già nel 1799, allorchè furono destinati al penitenziario di S.Stefano i primi perseguitati politici in seguito ai moti rivoluzionari di Napoli. Contemporaneamente iniziò a cadere l'alibi della "illuminata" spinta umanitaria che ne contraddistinse la costruzione e rimase solo la realtà di un carcere brutale, dove frequentissime erano le punizioni corporali e le angherie che la costruzione panottica non permetteva a nessuno di ignorare, e altrettanto frequenti erano le morti.
Il carcere iniziò a diventare un luogo in cui i detenuti scomodi dovevano "sparire" e tale stato delle cose non cambiò con l'avvento del Regno d'Italia. Nel 1900 vi fù rinchiuso Gaetano Bresci, l'anarchico che il 29 Luglio uccise il re Umberto I.
Un anno dopo morì impiccato nella sua cella dalle guardie e il suo corpo fù certamente gettato in mare. Con il tempo si stemperò l'utilizzo delle angherie fisiche, ma specialmente nel periodo fascista venne incrementato l'uso del carcere di S.Stefano come luogo di prostrazione di spiriti "scomodi", come Umberto Terracini, Sandro Pertini, Mauro Scoccimarro e Rocco Pugliese, "suicidatosi" in cella. Dopo la Seconda Guerra mondiale il carcere riprese la sua funzione di penitenziario per detenuti comuni.