Il Palazzo sorge sull’antica ruga Carrotiarum, costruito sui ruderi di un antico maniero gotico. Nel 1500 appartenne alla ricca famiglia degli Orsini, che iniziarono i primi restauri dello stabile. Solo nel 1633 sarà acquistato dalla famiglia De la Marra, una delle più potenti e antiche famiglie nobili di Barletta, che gli conferì il maestoso aspetto attuale.

Unico esempio di barocco leccese nel Nord Barese, la facciata è caratterizzata dal monumentale portone e dall’elegante balconata a due luci, riccamente decorata da mascheroni, putti alati, figure zoomorfe e mitologiche. In alto è possibile ammirare lo stemma della famiglia. il palazzo si presenta come un edificio a tre piani: il primo piano spesso ospita importanti mostre periodiche, al secondo piano c'e' la collezione del celebre pittore barlettano, Giuseppe De Nittis.