‘연주대’는 관악산 정상에서 남쪽으로 조금 떨어진 곳에 크고 작은 바위가 우뚝 솟아 절벽을 이룬 봉우리에 축대를 쌓아 평평한 집터를 만든 곳이다. 이름의 한자를 보면 ‘연(戀)’은 그리워 한다는 뜻이고 ‘주(主)’는 주군(主君) 즉 임금을 뜻하여, ‘임금을 그리워하는 곳’으로 풀이된다.
연주대는 신라의 의상대사가 677년에 지은 작은 암자로 원래 ‘의상대’라 불렀다고 전한다. 지금의 연주대라는 이름은 조선 시대에 붙인 것이다. 이름과 관련된 전설로 가장 널리 알려진 것은 조선이 세워지고 수도가 개성에서 한양(지금의 서울)로 옮겨지면서 고려를 그리워한 사람들이 여기에 올라 옛 왕조와 충신들을 그리워했다는 이야기가 있다. 또 다른 전설로는 조선이 세워지고 한양이 수도로 정해질 때, 무학 대사(無學大師)의 권유로 태조 이성계가 직접 관악산 연주대에 올라 경치를 둘러보고 조선과 한양의 복을 빌기 위해 원각(圓覺) · 연주(戀主) 두 절을 지었고 이때부터 ‘연주대’라 불렸다는 이야기도 있다.
연주대와 관련된 설화 중에는 세종의 형인 양녕 대군과 효령 대군의 이야기도 있다. 태종이 셋째 왕자 충녕 대군(훗날 세종)을 세자로 정하려 하자 두 형은 궁을 나와 여러 곳을 유람하였는데, 양녕 대군이 이곳에 올라 경치를 바라보며 시를 지었고, 효령 대군은 스님이 되어 이곳에서 오랫동안 머물렀다는 이야기다.