本书所说贾家的地点约在北京城西北部分。第四十三回，宝玉骑马出北门，茗烟却说，出了北门的大道，冷清清没有可顽的，这很像德胜门。第五十七回邢岫烟说的“恒舒典”，在鼓楼西大街，亦近德胜门。地址都相符，大概没有什么问题，不过曹家在这地段是否有过住宅，那就很难说了。
说到大观园，似乎贾宅的地点已经确定，大观园所在的问题也随着解决了。可惜并不这样的简单。这里有三种的因素：（一）回忆，（二）理想，（三）现实。以回忆而论，可在北京，亦可能在南京。曹罢官以后尽管住在北京，但作者忆想他家的盛时，在金陵曾有一个大大的花园，这可能十性十依然很大的，亦即所谓“秦淮残梦忆繁华”。袁子才所谓“大观园即余之随园也”，究竟是否谎话，亦不易确说。
以理想而论，空中楼阁，亦即无所谓南北，当然不完全是空的，我不过说包含相当的理想成分罢了，如十八回贾元春诗云，“天上人间诸景备，芳园应锡大观名”，显明表出想象的境界；否则园子纵好，何能备天上人间的诸景呢，而且京中的巨室豪门，附带的园林每每不大，事实上亦很明白的。
以现实而论，曹家回京后，还过了一段相当繁荣的时期，则他们住宅有小小的庭园自属可能。这就是真的大观园，再说明白些，即大观园的模型。地点随着住宅当然在北京西城，何况，宝钗诗“芳园筑向帝城西”，为最明确的内证。
这三种成分哪一种占优势呢？自然很难说。以我看来。现实的成分固然有，回忆想象的却亦不少。如四十九回“琉璃世界白雪红梅”，显然出于虚拟、回忆或者想象。像近人周汝昌君所说，我觉得不很对。他说“亦并未言定非盆中所植”（《红楼梦新证》五○六页），栊翠庵的红梅，宝玉隔墙看见，决非盆景；且在五十回中说，折枝有二尺来高，横枝有五六尺长，如何会是盆栽。像这样拉扯，没有什么意义。不管成林也罢、成片也罢，十数株的红梅映雪而开，久住北京的恐谁都没有见过这样境界，也等于说北京事实上不曾有过。至于偶然有一两棵梅花短期间在地面上活了，这些珍奇之例，显与本书叙述无关。若青苔翠竹，景物固似十江十南，但北京亦或有之，不足深论。
更有人以为大观园名为大观，其实并不太大，书中云云乃形容之词。这果然也有些道理。不过假定它不大或很小，事实上也有困难，让我且用粘滞的看法来看。据本书第十六回：
从东边一带，接着东府里花园起至西北，丈量了一共三里半。
故老相传，京师各城门间的距离为三里，我却没量过。书上却说，大观园从东到西有三里半。南北不知道，未必是见方三里半罢。就是这样也很可以。假如偏西北角，该从西直门直抵德胜门；假如正北，又该从德胜门直抵安定门。这在北京城里是个奇迹，仿佛把故宫给搬了个家。而且更有一点古怪的，十二钗朝夕步行往来其间，岂不都要累坏了么？所以《红楼梦》有些话真是所谓“荒唐言”，不让我们穿凿地来考证它。而且还有一说，宁府的花园在第十六回上曾再三地说并入大观园了，如云：
先令匠役拆宁府会芳园的墙垣楼阁，直接入荣府东大院中。
这例最明白。可是在第七十五回上又跑出一个会芳园来了！
贾珍……备了一桌菜蔬果品在会芳园丛绿堂中……赏月。
您想，这如何能够考证？又前回说天香楼在宁府花园中，建造大观园时想必亦已拆改归并了，但七十五回又说，“天香楼射鹄子”，则此楼还在，亦很奇怪。
反正大观园在当时事实上确有过一个影儿，我们可以这样说。作者把这一点点的影踪，扩大了多少倍，用笔墨渲染，幻出一个天上人间的蜃楼乐园来。这是文学上可有应有的手腕。它却不曾预备后人来做考证的呵。
作者明说荒唐言，我们未免太认真了。假如在北京城的某街某巷能够找出大观园的遗址来，在我个人自感很大的兴味，但恐怕事实上不许我们有这样乐观的想法，所以我最近的意见还跟《红楼梦研究》里所说差不多少。