北京图书馆始创于1909年4月,当时名为“京师图书馆”,它是在清末掌管学部的大学士张之洞奏议下,根据清朝颁布的第一个关于建立图书馆的法令兴建的。热心社会教育事业的蔡元培、鲁迅、梁启超、马叙伦等曾领导并参与了建馆工作。第一任馆长是缪荃孙。京师图书馆馆址在北京鼓楼附近的什刹海广化寺。当时的藏书主要有南宋缉熙殿、明代文渊阁的部分珍本:清朝内阁大库、翰林院、国子监南学的藏书、热河避暑山庄文津阁的《四库全书》以及敦煌石室所藏写经八千卷等,图书总数不到十万册。
“京师图书馆”于1912年8月27日正式开馆接待读者,1917年开始接受国内出版物缴送本,从而确立了国家图书馆的地位。1927年北伐战争结束以后,国民政府将“京师图书馆”改名为“国立北平图书馆”。1928年8月北平图书馆同北海图书馆合并成为新的国立图书馆。1931年在北海皇家花园西侧建成面积8000平方米的新馆,热河避暑山庄文津阁所藏的一整套《四库全书》善本连书匣及书架一同搬进新馆,图书馆门前的“文津街”由此而得名。抗日战争时期,日伪政府教育总署接管图书馆,并改名为“国立北京图书馆”。太平洋战争爆发后,图书馆被迫停业。其间,有相当一部分珍贵善本,分装为210箱,辗转上海、美国,后运至台湾“中央图书馆”。