洞玄观在南京道教史上，拥有很高的知名度。至唐末，洞玄观更是被列入道教洞天福地的“七十二福地”之一，名扬海内。如今可见的历代地方文献典籍（文献典籍项目可行性研究报告），大多认为洞玄观是三国东吴大帝孙权于赤乌二年或三年为著名道士葛玄所立。葛玄，字孝先，句容人，早期南方道教传承中的关键人物之一，拥有很多神奇的事迹，曾隐居方山。
洞玄观的这个由来很可能是传说。洞玄观由孙权所立的记载最早见于《舆地志》，此书由南朝陈代学者顾野王编纂，全书虽已佚失，但唐宋时期文献多有辑录。比如，唐代《建康实录》就引用了《舆地志》中：“赤乌二年，为玄于方山立观”的记载，并指出方山是葛玄“白日飞升处”。南京大学蒋赞初教授在《南京史话》中指出：“孙权又曾为著名的道教徒葛玄在方山建立了一座‘洞玄观’，这是江东最早的道教寺观。”
“孙权为葛玄在方山建洞玄观”，似乎已是定论。“洞玄观遗址”也很早就被文物部门公布为南京市级文物保护单位，年代定的也是“东吴”。这段记载在三国两晋南北朝时期的一般史籍中并没有提及，东晋葛洪《抱朴子》、南朝陶弘景所撰《吴太极左宫葛仙公之碑》只字未提。