“方丈”最早是作为中国神话传说的中的东海仙山之一出现的。《列子》记载，海上有五座仙山，名曰岱舆、员峤、方壶、瀛洲、蓬莱，方壶亦称方丈。五座仙山飘于东海之上，高下三万里，顶平处达九千里，山之间各不相连，相距七万里。五座大山根部不相连，遂海波上下起伏，山上仙人居住不便，遂禀告天帝，天帝恐仙山漂流至西极，派了十五只巨鳌分为五组，固定仙山，不想有一龙伯国巨人钓走了六鳌，致使“岱舆”、“员峤”飘流到北极，沉入了汪洋大海，从此神山也只剩方壶、瀛洲与蓬莱。据传仙山乃仙人居所，金玉为楼，芝树丛生，食之可长生不老。

在长生的诱惑下，中国帝王多次派人出海，寻访仙山，渴望求得长生不老之药，雄才大略如秦皇汉武者，也未能例外。秦始皇生前五次大规模出巡，其中四次与求仙有关，关于秦始皇求仙最著名的活动就是派徐福出海。汉武帝步秦始皇后尘，信用方士李少君等人，甚至在李少君死后，还坚持认为他非死去，而是仙化而去。

山上的神仙、长生之药吸引着众人，但仙山远望隐约可见，近之却又触之不得，历代帝王最终只能望洋兴叹。后来，道教全真派以“方丈”作为道观最高精神领袖称谓，正一派一般不设方丈，而苏州玄妙观例外。道教讲人心方寸，天心方丈，人心暗和天心，而全真道将方丈看做天心之代表，《三乘集要》曰：

方丈乃人天教主，度世宗师，演龙门之正法，撑苦海之慈航，常怀传贤之心，素无吝道之意，作全真之模范，律门之纲领，非有道之师，不可立也。

可见，全真道中的方丈重在其道法高深，并非管理职权，是作为精神领袖而存在，故成玄英疏解《庄子》，将“方”解释为“道”，而“丈”是为“长”之意，亦是从道德、道法方面着眼，受满初真、中极、天仙三坛大戒也成为全真道方丈的必要条件。