Esta plaza lleva precisamente el nombre de Piazza di Pietra en alusión a las imponentes columnas del Templo de Adriano construido en el año 144 por su sucesor, Antonino Pío. En 1696, durante el pontificado del Papa Inocencio XII, la parte sobreviviente del templo se constituyó en un gran edificio diseñado por Carlo Fontana para albergar el Centro de Oficina de Aduanas para los bienes que llegaban por tierra a Roma. A finales del siglo XIX, el edificio de Fontana fue modificado y su decoración de estilo barroco fue sustituida por otra más sencilla.
El gran monumento de esta plaza es sin duda el Templo de Adriano, construido sobre una base que hoy está oculta bajo tierra. Un grabado del siglo XVI muestra cómo el templo fue convertido prácticamente en una casa fortificada. Hoy en día el edificio pertenece a la Cámara de Comercio de Roma y el interior se usa para conferencias y pequeñas exposiciones.
El templo estaba rodeado por un pórtico. La estatua del emperador se colocó en el interior, decorado con bajorrelieves que mostraban diversas escenas de las provincias del Imperio Romano, tal vez en reconocimiento del tiempo que pasó Adriano visitando todos y cada uno de estos lugares. Algunos de estos relieves se pueden ver precisamente en los Museos Capitolinos.
Otro de los edificios de esta plaza es el Colegio dei Bergamaschi. En 1729, la comunidad de habitantes de Bérgamo que vivían en Roma construyó un enorme bloque entre la Piazza Colonna y la Piazza di Pietra. Además de una iglesia, San Bartolomeo dei Bergamaschi, el bloque contaba con un hospicio y un colegio para estudiantes de Bérgamo. También tenía algunos pisos que se alquilaban y que dejaban unos ingresos adicionales en la comunidad.
Hay que destacar en esta plaza también el Palacio Ferrini, diseñado por Onorio Longhi a principios del siglo XVII. El nombre de los propietarios, la familia Ferrini, está escrito en la fachada, en la que aparece otro nombre: Iosef Cini, que alude al Conde Giuseppe Cini, quien vivió aquí en el siglo XIX.