明洪武十一年（1378）置，属太常寺，掌祭祀天地、神只及宗高、社稷时乐舞，由提点、知观等官主管。清初沿置，乾隆八年（1743），改观为所，知观为知所；十三年（1748），又改所为署，改提点为署正，知所为署丞，属乐部。

洪武十二年（1379年），明太祖敕建为“神乐观”。澧泉井碑立于永乐四年，泉水是明代洪武、建文、永乐三朝到天坛祭天时所用之净水。传说“天降甘水，地出澧泉”，井水自天来，永乐四年冬季，一日永乐皇帝登坛祭天，诚意感动天地，第二天天空出现祥云缭绕、鸾鹤飞舞景象，皇帝闻奏，立刻率百官驾幸朝天宫对天叩拜，愈发感动上苍，这天夜晚天降甘露于钟山，天明澧泉井出神乐观。

澧泉井逢久旱不雨，井水仍始终不竭。明神乐观今无处可寻，仅存六角井栏、赑屓及澧泉碑遗物，澧泉碑历经沧桑，风雨剥蚀，碑文难以辩认，但碑额篆字“瑞应澧泉之碑”仍依稀可识，此六字为明翰林学士胡广撰写。赑屓经过历史风雨，已伤痕累累，但作为明神乐观遗址的见证倖存至今，这两处遗物原保存于今天坛新村江苏冶金机械厂内现迁移于白马石刻公园内保护。

朱元璋定都南京后，即开始陆续兴建宫室庙社，其中在今光华门(明时称正阳门)外东南一带，建有规模宏大、用于祭祀天地山川的“大祀坛”、“山川坛”等，并附有一系列辅助建筑群，内中就有建于洪武十一年(1378年)的“神乐观”。从古“明都城图”中可以看出，神乐观地处大祀坛与山川坛之间，其性质是“为郊庙习乐之所”，即专门为祭祀天地山川活动时服务的音乐舞蹈机构，故名“神乐观”。可能有些读者还不知晓，在音乐方面，朱元璋可以说能算得上是个内行，他很重视音乐，因而作为音乐舞蹈机构的神乐观，组织规模也就非同一般了。

当时南京共有大观两所，中观16所，小观50所。其中的两所大观，一个指朝天宫，另一个便是神乐观。虽说是时朝天宫是全国道教的管辖中心，又是南京宫观的主要管理中心，但神乐观却不受其管辖。它直属礼部太常寺，并设有正六品提点和正八品知观负责掌管。全观有乐工62人，歌工12人，引舞2人，协律郎1人。舞蹈分文武两组，各有舞生62人，加上舞师2人，共130人。舞乐两队共达200多人(有说600人)，皆为道士。

神乐观内的这些乐舞生，有着一套严格的挑选、培养、考核、淘汰和给养制度，成员俱系少年出家，投师训练，经久有余。每逢春秋两季，皇帝亲临南郊祭祀，整个过程都有一整套隆重的礼乐相伴，以示对天地神灵的虔诚。除此以外，发生严重灾荒及朝廷有重大事件而举行祭祀活动时，也都是神乐观乐队出场演奏。

神乐观地盘比朝天宫大得多，内有山门、大殿、画廊、祠堂、食堂、仓库、住房、提点公房等，道院147房，且亭台楼阁林立。朱元璋去世后不久，北京燕王朱棣起兵“靖难”，攻破南京，建文皇帝下落不明。有一种民间流传很广的说法，当年建文就是由皇宫通往神乐观的地道中逃匿出亡的。

明亡后，神乐观曾改建为真武大帝庙，至清代中叶，神乐观开始衰微，随着岁月流逝，古神乐观早已淹没于历史长河之中。1982年文物普查中，在天堂村西的江苏冶金机械厂内发现原神乐观内的澧泉碑及石井栏，此外关门口附近尚存一口古井。关门口古称“观门口”，即神乐观大门遗址。经市文管会论证，石井栏、石碑、古井确係神乐观遗物。

许多人都知道，旧时金陵四十八景中曾有“神乐仙都”一景。