El Museo Sitio de Memoria ESMA funciona en el ex Casino de Oficiales, un edificio de 5.390 m² incorporado a la Escuela de Mecánica de la Armada (ESMA) en 1946 como lugar de alojamiento y recreación de la alta oficialidad. Es una construcción integrada por un pabellón independiente, tres plantas en peine, sótanos y una gran buhardilla.

Por su dimensión edilicia, su ubicación en pleno tejido urbano, la convivencia de los marinos con las y los detenidos desaparecidos y por la complejidad de los crímenes de lesa humanidad allí cometidos, el Centro Clandestino de la ESMA transcendió las fronteras nacionales y se convirtió en un testimonio regional e internacional del terrorismo de Estado basado en la desaparición forzada de personas.

Desde los años de la dictadura, el Casino de Oficiales sufrió numerosas acciones y amenazas destinadas a borrar las huellas de su funcionamiento como Centro Clandestino. Gran parte de las modificaciones se realizaron en 1979 para ocultar el campo de concentración ante la visita de la Comisión Interamericana de Derechos Humanos (CIDH) a la Argentina, como consecuencia de las denuncias realizadas por sobrevivientes y familiares de las víctimas. Entre las principales transformaciones se encuentran el retiro del ascensor, el tramo de escalera desde el hall de acceso hacia el sótano y el agregado de galerías en los patios Norte y Sur.

La Armada, que administró el edificio hasta 2004, entregó el lugar al Estado argentino completamente vacío y en total deterioro. Sin embargo aún conserva las marcas y huellas que son evidencias de la existencia del ex Centro Clandestino de Detención, Tortura y Extermino.