Creada per Reial Ordre de 21 de novembre de 1861 a instancia del sub-governador D.Augustín Sevilla, amb la base d'uns 9.600 volums provinents dels convents suprimits a Menorca per la desamortització de l'any 1835, fou oberta al públic el 30 de juny de 1867. Des de llavors ha estat dirigida per destacades figures dins del món bibliotecari:
Ubicada en un principi a la seu del convent de Sant Francesc, un dels que havia estat desamortitzat, l'any 1948 passà a ocupar la primera planta de l'edifici Ca'n Mercadal, un palau neoclàssic construït el 1761, sobre bastiments molt més antics, que havia donat D. José Codina Villalonga a l'Ajuntament de Maó el 1940 per tal d'ubicar-hi la Biblioteca Pública, l'Arxiu Històric i el Museu de Belles Arts.

L'Ajuntament maonès cedí l'edifici a l'Estat Espanyol i aquest centre quedà inaugurat l'any 1948 sota el nom Palacio de Archivos, bibliotecas y Museos. L'any 1957 passà a anomenar-se Casa de Cultura de Mahón.

L'any 1975 es tancà al públic degut a les condicions dolentes de l'edifici. Les obres de rehabilitació es perllongaren fins 1987, any en què s'inaugurà de bell nou, ara sense el Museu, que en l'interval havia tornat a l'antic convent de Sant Francesc. Així doncs, a l'actualitat alberga només l'Arxiu Històric i la Biblioteca Pública de Maó.
De titularitat estatal, la seva gestió fou transferida al Govern de les Illes Balears mitjançant resolució de 24 de setembre de 1984 (BOE 18 de gener de 1985). L'any 1993 la biblioteca tornà a estar tancada uns mesos degut a unes altres obres, dirigides a millorar la distribució d'espais, climatitzar les zones d'ús del públic i de dipòsits i a sanejar les cobertes.