La sede del Comité Olímpico, "Casa Olímpica", está ubicada en lo que en una época fue el Antiguo Edificio de la YMCA (Young Men's Christian Association).

Obra arquitectónica de principios de siglo, se diseñó en estilo neoclásico, modalidad común en aquella época.  Se logró dicha obra, gracias al esfuerzo del norteamericano George T. Tibbitts, quien llegó a Puerto Rico en el 1909, con el propósito de fundar las facilidades de dicha organización.

Se inauguró el nuevo edificio el 1ro de julio de 1913.  En éste, se construyó la primera piscina pública en Puerto Rico, canchas de baloncesto bajo techo y gimnasio.

En dichas facilidades se organizó la primera tropa de Niños Escuchas y la Asociación de Tenis de Puerto Rico.  Se celebró el primer campamento Residencial Diurno, se introdujo el raquetbol, el softbol y se estableció la primera escuela de comercio.

En lo que hoy es el estacionamiento, existió una cancha de baloncesto con unas gradas de concreto.

Este edificio se reinaguró el 13 de noviembre de 1992, como parte de nuestro patrimonio histórico y cultural para futuras generaciones.

Por medio del proyecto de ley que creó el Fideicomiso Olímpico de Puerto Rico, se declaró monumento histórico y arquitectónico este edificio de la YMCA, y se denominó la Casa Olímpica, que se convierte en la sede del Comité Olímpico de Puerto Rico.