1254年，忽必烈远征大理、近平漠南，政绩令朝野侧目的同时，也招致一片怨怒之声，特别是一些黄金家族成员，将他重用汉人视作数典忘祖、离经叛道。不过因为忽必烈平日谨小慎微，没让他们抓住把柄。
　　但这些黄金家族成员并未就此罢手，因为他们太熟悉最高领导—蒙哥大汗的心思了：忌惮忽必烈的精明和远见，时时担心被他抢了风头。故此他们屡屡上奏，说：“忽必烈功高爵显，在他管理的地盘上，人们只知有王爷、不知有大汗，而且当地税银、田赋越来越少，多被挪作他用。”
　　蒙哥好不容易揪住弟弟的辫子，自然不会轻易放过，即刻成立以检查考核为名的组织—钩考局，搜罗证据，以此打压忽必烈。朝中一些善于辨貌听声的臣子迅速做出判断—大汗要整治这位能干的弟弟了。于是蒙哥收到不少弹劾忽必烈的奏章，立刻组织起以阿兰答儿为首的中书行省丞相（相当于丞相特派员之类官员）班底。
　　阿兰答儿本就仇视忽必烈重用汉人，此时得偿所愿，自然要落井下石。他很快搜罗一批心狠手辣、善于罗织罪名的酷吏，迅速赶往漠南地区，对忽必烈手下的官员逐一“钩考”。忽必烈看到那些朝夕相处的亲信全上了阿兰答儿的黑名单，以各种罪名入狱，被整得死去活来，明白胞兄这么做完全是在针对自己。他若不能顺利化解眼前危机，一旦阿兰答儿有机可乘，人为制造“蓄意谋反”的罪證，用不了多久，一出“人为刀俎，我为鱼肉”的悲剧很快就会上演，到时不要说王位，恐怕性命都难保。
　　有道是：留得青山在，不怕没柴烧。忽必烈始终认为，要想获得安全，唯有远离朝廷，弃官而去才能彻底摆脱蒙哥的猜疑。稳妥起见，行事之前，他又将汉人幕僚姚枢找来，征询他的意见。没想到，在很多大事上和他不谋而合的姚枢表示反对，“大王长期居住关中地带，兄弟不常见面，感情难免生疏，此时有人离间，大汗疑忌在所难免。何况自大汗即位以来，您的功劳和威望骤增，您虽无异心，但功高震主还是有道理的。大汗与您虽是兄弟，可他是君王，您是臣子，没情理可论，更无是非可讲。为今之计不是弃官，更不必逃离，而是您与家中老少一起前往朝廷，名为久居，实则留作大汗的人质，然后您再亲自觐见大汗，这样就能化解大汗的猜疑。”
　　事实果如姚枢所料，当忽必烈来到蒙哥面前，蒙哥念及兄弟之情，便原谅了他。忽必烈虽暂时失去了权势，却保住了性命，为日后东山再起积蓄了力量。可见，“避祸”看似简单，却充分体现一个人的智慧和胆略。