投资银行起源于商业银行，但两者又有很大的不同。商业银行主要业务是吸收储蓄、发放贷款，利用存款和贷款间的回报利差作为利润来源。投资银行不吸收储蓄，也没有贷款业务，其主要业务是证券发行、交易以及担任企业的财务顾问。
　　投资银行的历史就是工业化发展的历史，这在美国和欧洲的一些西方主要工业化国家尤其如此。在美国，1933年前，商业银行也参与证券承销业务，但投资银行从不开展储蓄业务。1865年美国南北战争结束前，商业银行业务范围主要是地方性的商业往来，通过发放短期贷款，支持地方商业发展。但随着工业化的发展，全国性的铁路、公路和能源等大项目开始出现，小的商业银行无法满足需要，投资银行随之产生。投资银行通过发行证券筹集项目资金的方式创造资本市场，成为影响经济长期增长的主要因素。
　　投资银行最初的主要业务是债券发行，债券是公司而不是投资银行的债务，公司保证在未来一定期限内给投资者固定回报，而股票则是公司权益的一部分。在公司破产时，债券持有人有比股票持有人优先的偿还权。股票持有人可以通过投票权参与公司管理。美国很多大型项目是通过债券融资，而不是股票。实际上，在南北战争时，北方军就通过投资银行出售美国国债融资以支持军费支出。
　　投资银行的历史同时也是金融界一些著名人士的历史。J.P.摩根就是其中的佼佼者，他通过对铁路和公用设施的融资建立其金融帝国──J.P.摩根银行。摩根银行当时是一个商业银行，但同时也参与证券发行。1885年，Goldman Sachs先生成为第一个为小公司发行商业票据的投资银行家，他是著名的投资银行高盛公司的创始人。上世纪末，许多欧洲银行通过高盛向美国公司投资。1850年莱曼兄弟公司建立，后来也逐渐发展成为著名的投资银行。高盛通过给美国著名的烟草公司──美国雪茄公司和当时最大的零售商店西尔斯百货发行股票，确立了其声望。
　　1929年10月，华尔街股市暴跌，人们第一次意识到商业银行投机活动对股票市场的影响。商业银行当时将自有资金投入证券市场，同时利用各种方法促使其客户认购其承销的证券。为防止商业银行活动影响资本市场，美国在1933年和1934年通过一系列立法，从根本上改变了美国金融业的面貌。1933年通过格拉斯─斯蒂格尔法，要求银行在商业银行和投资银行业务之间作出选择，商业银行只能进行存款、信贷业务，投资银行只能进行证券承销。这就在商业银行和投资银行间设立了一条不可逾越的长城。1933年通过的证券法和1934年通过的证券交易法，确实为美国政府对市场经纪和投资银行进行管理和监督奠定了法律基础。投资银行业发展进入了完全不同的阶段。
　　J.P.摩根银行一些从事证券承销业务的专业人员因此离开摩根，并创立了专门的投资银行即摩根士丹利。波士顿当时最大的银行──第一波士顿国民银行也作出了同样的选择，投资银行第一波士顿随之产生。
　　战后经济扩张时期的50年代以及其后的60年代，投资银行得到长足的发展和繁荣。60年代前，资本市场投资主体主要是个人投资者，60年代后，市场兴起并发展了机构投资者，诸如互惠基金、保险公司和大的退休基金等。在这一时期由于需要更多的自有资本支持其运作，投资银行纷纷上市发行自己的股票融资。
　　为了使发行者和投资者得到最大回报，投资银行设计了很多新的投资工具，新的金融工具和新科技的结合使得投资银行的业务进入了一个新的繁荣时期。60年代，欧洲出现并迅速发展了欧洲美元市场。70年代，全球通胀率上升，大大改变了投资银行的业务范围。原本应用于农业领域的期货、期权开始作为新工具用于金融领域。科技的发展、信息的迅速传播以及金融工程的发展，使得新的金融产品不断出现，金融创新成为70年代华尔街的主旋律。
　　70年代后，商业银行和保险机构发现其储蓄存款纷纷流向新的货币工具，如互惠基金。商业银行和投资银行间的竞争愈来愈激烈，商业银行努力突破格拉斯─斯蒂格尔法，以图进入利润率很高的投资银行领域。80年代，市场的证券公司规模愈加扩大。90年代，全球投资银行领域之间的合并日益增加，因为市场和投资者已经全球化。很多大的投资银行相信格拉斯─斯蒂格尔法将最终取消。美国和欧洲很多类似的行业壁垒目前都开始被打破，以便大公司能够涉足曾被限制进入的领域。
　　投资银行的发展日新月异，科技的发展也正在改变投资银行和投资者之间的关系。投资银行家曾经是投资者惟一的信息和投资建议来源，而目前投资者可以通过很多其他途径来获得相关资料。但投资银行不会因此消失，因为投资银行的核心作用是为投资者创造价值，同时为经济长期增长融资。科技的发展使得资本的使用者和提供者之间的联系更快，但投资过程中人的判断、建议以及金融创新仍需要投资银行发挥作用。这对中国而言很有意义。