Памятник Петру создан по модели, выполненной М. М. Антокольским в 1872 году. Отливка в бронзе статуи была осуществлена во Франции в мастерской Э. Грюэ. Архитектурную разработку гранитного постамента выполнил Н. Е. Лансере. Средства на сооружение памятника были даны праправнуками генерал-фельдмаршала графа Б. П. Шереметева, главнокомандующего русской армией под Полтавой, графами Сергеем и Александром Дмитриевичами Шереметевыми.
Монумент, открытый 27 июня 1909 года, находился на Большом Сампсониевском проспекте (переименованном в советское время в проспект Карла Маркса) до 1929 года, когда была снята бронзовая скульптура. Позднее постамент также убрали. Скульптура с 1940 года находится в фондах Государственной Третьяковской галереи. По инициативе Государственного музея-памятника «Исаакиевский собор», в ведении которого находится Сампсониевский храм, к 300-летию Санкт-Петербурга было решено восстановить памятник на его историческом месте.
