米芾一生非常喜欢把玩异石砚台，有时到了痴迷之态。据《梁溪漫志》记载：他在安徽无为做官时，听说濡须河边有一块奇形怪石，当时人们出于迷信，以为神仙之石，不敢妄加擅动，怕招来不测，而米芾立刻派人将其搬进自己的寓所，摆好供桌，上好供品，向怪石下拜，念念有词：我想见到石兄已经二十年了，相见恨晚。
此事日后被传了出去，由于有失官方体面，被人弹劾而罢了官。但米芾一向把官阶看的并不很重，因此也不怎么感到后悔，后来就作了《拜石图》。作此图的意图也许是为了向他人展示一种内心的不满。李东阳在《怀麓堂集》时说：“南州怪石不为奇，士有好奇心欲醉。平生两膝不着地，石业受之无愧色。”这里可以看出米芾对玩石的投入与对傲岸不屈的刚直个性。大有李白“安能摧眉折腰事权贵，使我不得开心颜”的情怀，并开创了玩石的先河。
