到了目标，为了完成自己的大愿，须弥长者便与太子见面、进行商议，请他将这处园林让渡出来。太子虽心中不愿，但也无法轻易拒绝他，于是刻意刁难道：“我这园不卖，若你想得，只需用黄金将地面铺满便是。”
面对这等难题，须弥长者也不着恼，反而全心全意照办，几乎倾尽家产，用黄金铸砖铺满了园林。至此，他的诚心感动了只陀太子，主动献出了这处园林，让他得以兴建精舍。由于须弥长者生平乐善好施，常常赈济贫困孤独，国中的人为表尊敬，都称他作‘给孤独’。因此，这座林园建成后，也就因此定名为‘只树给孤独园’，表示只陀太子的园林、给孤独长者建造的精舍，好纪念这份无量功德。
当时正值婆罗门教势大，祗园精舍在建造过程中，曾遭到城内许多外道修行者的阻碍。于是，在须弥长者的请求下，舍利弗奉释迦摩尼之命，前来监督工程的进行。他接受了那些外道修行者的挑战，举办了辩论会，通过三日三夜的不眠不休说法，让那些人放弃了破坏的念头皈依。就算有妖魔顽固不宁，也得被‘如来神掌’降服。当然，这一件事，也如同导.火索一般，进一步让婆罗门教对佛门本就恶劣的观感加深，从而引发出了后续那一系列事件。这是后话，这里暂且不表。