В коллекции великого князя имелось немало раритетов. Еще в 1879 году ему посчастливилось заполучить один из экземпляров редчайшей русской монеты, так и не имевшей никогда хождения, – так называемый "Константиновский рубль" 1825 года. На аверсе ее профиль великого князя Константина Павловича (1779 – 1831), второго сына Павла I, окружает надпись «Б. М. Константин I, имп. и сам. всерос.», то есть «Божией милостью Константин I, император и самодержец всероссийский». Как известно, после внезапной смерти Александра I в Таганроге в ноябре 1825 года столица, а за ней и Москва и все государство присягнули следующему по очереди сыну Павла – Константину, не зная о том, что он еще в 1822 году отрекся от престола, а в императорском манифесте Александр своим преемником называет своего третьего брата Николая. Пока дело не прояснилось окончательно, Петербургский монетный двор подсуетился и напечатал в небольшом количестве рубли с портретом нового императора. Как только стало известно об отречении Константина и вся страна заново принесла присягу императору Николаю I, сохранившиеся константиновские рубли убрали куда подальше, спрятав в ящик в архиве Министерства финансов, где они и лежали под спудом более пятидесяти лет. Ящик с пятью экземплярами отчеканенных рублей был случайно обнаружен в архиве лишь в 1879 году, и находка произвела настоящий ажиотаж среди коллекционеров. Однако Александр II своею императорской волей распределил сокровища по-своему: одну монету передал Эрмитажу, вторую оставил себе, а три остальные презентовал своим родным, в том числе и племяннику, начинающему коллекционеру Георгию Михайловичу. Хорошо все-таки быть царским родственником!
После такого блистательного начала коллекция великого князя постоянно пополнялась. В нее входили золотые монеты всех русских императоров от Павла I до Николая II, платиновые монеты номиналом в 3, 6 и 12 рублей, выпущенные в 1828-1845 годах, пробные монеты из меди, серебра и даже мельхиора. Имелись и такие редкие экспонаты, как монеты древнерусских князей – златник князя Владимира и сребреник Ярослава, а также двойной золотой червонец Петра I (1714), известный в единственном экземпляре.