尽管1908年宁沪铁路便已通车，随后又有1912年津浦铁路全线贯通，然而这两条铁路多年来只能隔江相望，江北浦口与江南下关之间仍旧靠轮渡运输。1930年，当时的国民政府铁道部曾以10万美元重金聘请外国桥梁专家约翰·华特尔，对下关、浦口间建桥进行考察，最后却得出“水深流急，不宜建桥”的结论。中华人民共和国成立后，南京市的经济建设得到迅速发展，在长江上建桥、打破南北交通阻隔，“已属势在必行”。
　　 1960年1月18日，南京长江大桥终于正式开工兴建。虽然此前建武汉长江大桥积累了一些经验，但是，南京江面比武汉江面宽得多，江底岩层结构十分复杂，在这种水文条件下建桥，中国历史上没有过，国外历史上也没有过。更糟糕的是，此时国家遭遇三年困难，经济遭受严重打击，中苏关系又破裂了，苏联专家不仅带走了图纸、计划和资料，设备和大桥建设所需的钢材也都停止了供货。
　　 中国政府决心背水一战。为此，当时的鞍山钢铁公司成立了科研小组，日夜不停地试验，终于研制出16锰低合金桥梁钢，并于1963年11月批量投产，其强度比武汉长江大桥用的钢材提高了30%，解了南京大橋的燃眉之急。为了确保南京长江大桥尽快通车，大桥工人和支援建设的解放军战士日夜奋战，平均每天有3万多人在工地上劳动，最多时达5万余人。
　　 时为南京气象学院（现南京信息工程大学）五年级学生姜正云回忆：1968年12月，我们班级接到一项任务，全部上桥面用砂布和水磨擦大桥栏杆，保证栏杆抚摸起来润滑舒适。那一年冬天很冷，12月的桥面上无遮无挡，冷风呼啸，寒气入骨，用手拿着砂布蘸冷水擦拭铁栏杆，其感觉可想而知，手掌很快便麻木得没有知觉了，大家只能加倍用力擦拭，让手掌发热，或放嘴边呵气暖一下再干，我们的手指很快就裂开渗出了血。待任务完成时，每个人都笑自己练就了一双“铁砂掌”。
　　 1968年9月30日，南京长江大桥铁路桥通车，1969年12月29日，南京长江大桥公路桥通车。作为长江上第一座由中国人自行设计、自主建造的双层式铁路、公路两用桥梁，南京长江大桥更是成为中国人心目中的“争气桥”。