牛津是泰晤士河谷地的主要城市，传说是古代牛群涉水而过的地方，因而取名牛津（Oxford）。牛津向来是伦敦西行路线上的重点，早在1096年，就已有人在牛津讲学。

在12世纪之前，英国是没有大学的，人们都是去法国和其它欧陆国家求学。

1167年，当时的英格兰国王同法兰西国王发生争吵，英王一气之下，把寄读于巴黎大学的英国学者召回，禁止他们再去巴黎大学。另一说法是，法王一气之下，把英国学者从巴黎大学赶回英国。不管如何，这些学者从巴黎回国，聚集于牛津，在天主教本笃会的协助下，从事经院哲学的教学与研究。于是人们开始把牛津作为一个“总学”，这实际上就是牛津大学的前身。学者们之所以会聚集在牛津，是由于当时亨利二世把他的一个宫殿建在牛津，学者们为取得国王的保护，就来到了这里。

12世纪末，牛津被称为“师生大学”。

1201年，牛津有了第一位校长。

1209年，在牛津学生与镇民的冲突事件过后，一些牛津的学者迁离至东北方的由方济会，本笃会和圣衣会修士建立的剑桥镇，并成立剑桥大学。自此之后，两间大学彼此之间展开相当悠久的竞争岁月。

1214年6月20日，经过一名教皇使节的磋商，大学重新回到了牛津，并得到了特许。牛津大学的身份直到1571年通过的一项法案而得到正式的确定。

正是在中世纪，那些思想活跃、生活不羁、常赊欠债务的青年学生，不可避免地与当地居民发生冲突。其中最大的一次冲突，几百名学生被乱箭射死。这件事的结果是国王出面镇压，并判市民赔偿牛津大学500年费用。

构成牛津大学的学院有许多在13至16世纪之间创立，基督教会学院是1525年渥西枢机主教创建，作为培训主教的教会学院。汤姆方园里的塔楼上半部是列恩在1682年建造，为本市最大型塔楼。

1648年汤姆大钟挂上时，学院共有101名学生，因此在晚上9：05分（牛津的时间比格林威治慢5分钟）大钟敲101下，提醒学生注意宵禁（1963年起不再实施）。

大学学院(University College)是牛津最古老的学院(1249年)，也有说法是默顿学院(Merton College )（1264年）。其它有新学院（1379年）、皇后学院（1695年）等。

17世纪内战期间许多战役在牛津附近开打，此地曾为受学生支持的查理一世的总司令部。当保皇党员被迫逃离牛津时，克伦威尔自封为大学的校长。

2001至2002学年，在牛津大学就读的学生总数超过1.65万人，其中来自130多个国家的外国留学生占了1/3，在校研究生的数目约为5000人。

2020年5月15日，英国牛津大学首次与中国西部高校在医学领域共建的科研合作平台--四川大学—牛津大学华西消化道肿瘤联合研究中心签约并揭牌。签约仪式采用视频连线的方式进行。 

2021年11月4日，英国《卫报》等媒体报道称，获赠1.55亿英镑后，牛津大学“李纳克尔学院”（Linacre College）决定以越南女首富命名，改为“草学院”（Thao College）。