La Casa de Iberoamérica está situada en un edificio del siglo XVIII, en la calle Concepción Arenal. Se trata del antiguo edificio que albergaba la Cárcel Real. El inmueble fue realizado por el arquitecto Torcuato Benjumeda y las obras comenzaron en el año 1794, aunque fue inaugurada (aún sin terminar) un año más tarde. Las obras fueron terminadas en el año 1836 bajo la dirección del arquitecto Juan Daura, pero quedó una parte por completar –la más cercana al mar– que no se terminaría hasta el año 1990, cuando se realizó una restauración.
El edificio está considerado como uno de los mejores ejemplos del estilo neoclásico en Andalucía. Es de planta rectangular y se organiza en torno a un patio central y otros dos rectangulares.
