据说佛教中最著名的须弥山也就是指它。据《佛学小辞典》:须弥,山名,一小世界之中心也。前佛教时代的象雄苯教时期,冈仁波齐被称为“九重(万)字山”,相传有苯教的360位神灵居住在此。苯教祖师敦巴辛绕从天而降,此山为降落之处。在公元前5-6世纪兴起的耆那教中,岗仁波齐被称作“阿什塔婆达”,即最高之山,是耆那教创始人瑞斯哈巴那刹获得解脱的地方。
印度人称这座山为Kailash,也认为这里是世界的中心。印度教里三位主神中法力最大、地位最高的湿婆,就住在这里。而印度的印度河、恒河的上游都在此发源,所以,现在在冈仁波齐见到大批的印度朝圣者就不奇怪了。几个世纪以来,冈仁波齐一直是朝圣者和探险家心目中的神往之地,但是至今还没有人能够登上这座神山,或者说至今还没有人胆敢触犯这座世界的中心。旅行者把目光投向这块圣洁之地不过是最近几年才有的事,不过人数依然不多,这或许是一件值得庆幸的事情。
冈仁波齐周围共有5座寺庙。年日寺为转山第一站,以后依次为止拉浦寺、松楚寺(也称幻变寺)、江扎寺和赛龙寺,其中后两座寺位于内线。这五座寺庙都有不少脍炙人口的传说故事,并留存有丰富的雕刻、塑像、壁画等文物,但如今都程度不同地毁坏了。