自幼失去双亲，尝遍人间辛苦。他向往成“仙”，少年时栖身村北的公山，过着“顶戴松花吃松子，松溪和月饮松风”的生活。传说，他为了磨炼意志，曾一次次将铜钱从石崖上扔进灌木丛，直到找到为止。
1148年农历正月初九日生於山东登州栖霞。1167年开始学道。1168年拜全真道祖师王重阳为师，王重阳为他取名处机，字通密，号长春子。在金庸的武侠小说《射雕英雄传》和《神雕侠侣》中，被描述为一位豪迈奔放、武艺高强的道士，这也使他更为大众所知。
邱处机在王重阳去世后入磻溪穴居六年，再赴龙门山隐居潜修七年，是全真龙门派创始人之一。他随王重阳一起创立了全真派，并在金朝和蒙古帝国统治者敬重，并因远赴西域劝说成吉思汗减少杀戮而闻名。在1222年的会见中，他对成吉思汗讲述：“要长生须清心寡欲；要一统天下须敬天爱民。”此讲深得成吉思汗赞赏，被尊称“神仙”。
1224年回到燕京，他奉旨掌管天下道教住于白云观，并通过入全真教即可免除差役的方式解救了大批汉族学者。这段时间，全真教盛极一时，而邱处机声誉亦登峰造极。1227年病逝于白云观终年80岁，在元世祖时追封为“长春演道主教真人”。著有《溪集》、《鸣道集》等，为中国历史上的重要人物之一。