位于外滩中山东一路23号的中国银行大楼，是外滩(中山东一路段)众多建筑中唯一一幢由中国人自己设计和建造的大楼。传闻原先大楼设计的高度为34层，沙逊洋行老板闻讯出面干预，提出所建大楼的高度不得超过邻旁的沙逊大厦。迫于沙逊洋行的特权，中国银行作出让步，硬是将大楼的高度砍掉一半，变为17层。建成后的中国银行大楼低于沙逊大厦约60cm。
当时的中国银行是国民党政府四大官办银行之一，前身是成立于1905年9月总行设在北京的“大清户部银行”。同年10月28日在上海设立分行；1908年，清廷废除户部，原户部银行改称“大清银行”；辛亥革命后，大清银行总行及在各地的分行相继关闭，而上海的分行则经改组后，于1912年组成“中国银行”。1927年，南京国民党政府建立后，设立中央银行，以加强全国的金融控制。但鉴于中国银行的经营经验及与外国银行的长期合作关系，国民政府指定中国银行为特许经营国际汇兑业务的银行。
当时，大清户部银行在上海设立分行时，外滩的地块早已各有其主。要造新楼，只能在靠近外滩的地方寻找行址，最后由江海北关出让位于汉口路四川路的一块约2.5亩地块，供其建造大楼，作为分行行址，就是今日汉口路50号。1917年，中国对德国宣战后，外滩23号德国总会大楼作为敌产被没收，归中国银行使用。1934年，中国银行拆巨资拆除德国总会大楼建新楼。
新楼占地面积5075平方米，建筑面积32548平方米。由于地块狭长，大楼分前后两部分，后楼仅4层高，钢筋混凝土结构。临外滩的主楼高17层，包括地下2层。立面以垂直线条为主调：上下排列整齐的方形窗口，两列镂空的寿字图案。顶部设计，颇具中国传统风格：四方攒尖，中心缀以帽结，覆以暗绿色琉璃瓦，坡度平缓，屋檐下饰以石斗拱。底层为营业大厅，门外设有9极台阶。原先在大门上方，建有孔子周游列国的浮雕，大厅的天花板两侧有中国神话八仙过海的图案。地下室有当时最先进的保险库，全大楼有14部电梯，各层装有子母钟。中国银行大楼是近代西洋建筑与中国传统建筑结合较成功的一幢大楼。
1937年大楼建成后，中国银行总行与上海分行都迁入此楼。抗日战争爆发后，总行迁往内地，分行则继续留在上海。抗战胜利后，中国银行回到上海。 1949年上海解放后，中国原来的商业银行通过公私合营成为“公私合营银行”。1956年后又并入中国人民银行，中国银行则成为中国人民银行指定进行外汇业务的银行，于是，该大楼成为中国人民银行上海分行以及中国银行上海分行的所在地。
