Robert Brady –artista y diseñador plástico- había recorrido Europa. En 1959 llega a México, queda encantado de Cuernavaca y se queda aquí; compra la casa en 1961, misma que reconstruyó respetando parte de la arquitectura original. Brady, era un tipo excéntrico famoso por su manera de vestir y por las visitas que llegaban a hospedarse a su casa, era muy común verlo en las calles de Cuernavaca. El museo alberga su colección personal con obras de arte de diversos géneros y épocas, son mil trescientas que fue sumando a lo largo de su vida, traídas de Asia, África, Europa.