青岛的教育历史悠久。东汉末年，经学家郑玄即在不其山下创办了青岛最早的学府——康成书院，从学者上千。隋代各州县都设有官学，并设学官管理。1270年，即墨县学设立并一直延续至清朝。民间有私塾和书院。1885年，即墨有了美国教会创办的新型小学，标志着青岛近现代教育的开始。建置后，现代教育即取代传统教育占据了主导地位。1897年，德国建立租借地后，政府与教会组织、社会团体、文人学界纷纷在各处设立小学、中学、大学和职校、女校等各级各类教育场所，在传播科学文化知识的同时，也宣扬宗教和外来文明。1900年代初，胶州、平度、即墨等地相继建起了官立高等小学堂。1905年废除科举制度后，又兴办了中学堂和师范学堂。1909年，清政府与德国政府联合创办了青岛的首座大学——德华大学。五四运动之后，青岛的教育事业迅速发展，公立、私立、教会学校的数量均大量增加，并兴起了学前、成人、职业、特殊人群等各种非常规教育学校。1924年，私立青岛大学成立，1930年改办国立青岛大学（后改国立山东大学），成为全国闻名的高校。

共和国成立后，各教会学校相继停办，有的改制为公办学校；市区大量私立小学校进行了撤并，开办了非全日制识字班、速成中学和夜大，鼓励开办农村民办小学。1951年，华东大学并入山东大学；1952至1956年，山东大学的十几个院系分批迁往外地；1958年，山东大学本部迁至济南，余部组建了山东海洋学院（今中国海洋大学）。青岛的高等教育（尤其人文学科）遂因外迁造成的资源匮乏随即陷入低迷，接踵而至的政治运动又使得基础和职业教育同样受到了严重打击。改革开放至今，青岛的教育开始恢复发展，各级各类学校数量、规模和办学水平均得到了一定程度的改善和提高；但市区学前教育场所数量略显不足，小学数量又因合并有所减少，使得部分新建城区开始出现了入园入学难的情况。

青岛的基础教育始于19世纪末。1885年，基督教北美长老会在即墨创办了第一所教会小学；1895年，南美浸信会在平度西关设立了小学；随后，周边各县下均设了官办高等小学堂和若干公立、私立小学堂。德国设立租借地后，首批建立了26所小学堂和若干教会小学和中学，并为其侨民设立了幼稚園 (Kindergarten)；这一做法在日占时期也被延续下来，但幼稚園数量有限。1905年，胶州首设官立中学堂。1914年日本占领统治后，官立和教会中学均停办。1922年青岛回归后，将公学堂改为公立小学校，设立了公立中学校和公立女子中学校。1924年，公立女子两级小学校附设幼稚園。1929年，青岛市成立了义务教育委员会，发展初等义务教育，创办简易小学和短期小学。1931至1933年，胶州、即墨、平度相继建立了公立（男子）初级中学。1931年，市立盲童学校成立。1932年，市立实验小学等学校各设了一个幼稚園班。1937年，公立小学、中学因战争纷纷解散；1938年有些得以恢复。1946年，私立英华聋哑学校成立。至1949年，全市共有小学2475所、中学28所。

共和国成立后，教会学校均停办，或改设公办学校。1950年代，机关、街道、部队及企事业单位开始设立幼儿园，开办寄宿班。1952年，市区普及了小学教育，农村入学率过半。1954年，盲童学校和英华聋哑学校合并为青岛盲哑学校。1960年代，创办了耕读小学、农业中学和半工半读中学，确定了一批重点学校。1971年，青岛盲哑学校分建了盲校和聋校。1979年，学前教育开始自上而下地有序看发展起来，基本解决了幼儿学前教育的难题。1980年，全市开始普及初等教育，并与1984年完成。1984年开始普及九年义务教育，并与1994年完成。1987年，首次将特殊教育纳入义务教育序列。1992年，开始实行初中毕业生毕业、升学考试合一制度。1993年，青岛市建立了全国首个盲人高中班。1997年，普及了市区三年、农村一年的学前教育制度，入园普及率约九成。1998年，市区小学毕业生开始实行电脑派位或整体调拨的的方法升入初中就读。2001年，青岛市承担了联合国儿童基金会和国家教育部的早期儿童养育发展合作项目，全市全面实施托幼一体化工程形成了正规与非正规相结合、全日制与非全日制相补充的幼教发展格局。2004年，全市全面实施了义务教育一费制，取消了非本地户籍学生的借读费。2007年春季开学，市内四区及五市三区镇（街道）以上义务教育阶段公办学校学生开始免除学杂费。2012年秋季开学，全市义务教育阶段的学生开始实施书本费全免的政策。截至2011年末，全市共有中等学校380所，其中，普通中学290所，在校学生37.3万人；共有小学889所，在校学生48万人；学龄儿童入学率100%，初中入学率99%以上。

青岛的高等教育始于20世纪初。1909年，清政府与德国政府联合创办了青岛的首座大学——德华大学，校址位于台西镇东侧前海大黑栏（现址为青岛铁路办事处）。1924年5月，私立青岛大学在原俾斯麦兵营（万年兵营）成立，成为青岛第一所由中国人独立开办的高校；8月在南京、北平、青岛、济南四地招生，10月正式开学。1930年9月，由私立青岛大学改办的国立青岛大学开学，杨振声担任校长。1932年7月，因抗日学潮导致教学活动无法维系，南京国民政府行政院下令解散国立青岛大学；9月，在山东省政府的提议下，南京国民政府行政院决议将国立青岛大学更名为国立山东大学，并在济南设农工学院，任命原为国立青岛大学教务长赵太侔为校长。1937年11月，国立山东大学因战争爆发由青岛迁往安徽安庆，教学物资分批运出，损失严重；1938年又迁至四川万县，不久教育部下令“暂行停办”，师生分别转入国立中央大学，教学物资暂交国立中央图书馆、国立中央大学、国立中央工业职业学校保管使用。1946年春，经国民政府教育部批准，国立山东大学在青岛复校，赵太侔再任校长，10月25日正式开学。

1950年冬，华东大学迁至青岛，1951年3月并入山东大学。1952至1956年，山东大学的政治、艺术、工程、土木、机械、电机、农艺、园艺、植物病虫害学、地矿等院系分批分别迁往济南、上海、无锡、武汉、长春、郑州等地，组建或援建了山东政治学校、上海戏剧学院、南京艺术学院、武汉测绘学院、山东工业大学、山东农业大学、长春地质学院、郑州大学等高校；1958年7月，山东大学划归山东省领导，同年10月奉命迁校济南，余部组建了山东海洋学院和山东地质学院；1960年，山东地质学院并入山东海洋学院。至此，青岛的高等教育与科研由“文理兼修、文史见长”转向重点发展理工（尤其是海洋）学科。1970年，青岛医学院迁至山东省惠民地区，直至1976年文革结束。1981年，被裁撤的青岛师范专科学校重建。1985年，由原山东冶金学校改建的青岛建筑工程学院成立；同年，青岛大学成立。1988年，山东海洋学院改建为青岛海洋大学。1993年，青岛医学院、山东纺织工业学院和青岛师范专科学校并入青岛大学。2001年，山东科技大学和莱阳农学院分别建立了青岛校区。2002年，山东化工学院更名为青岛科技大学，青岛海洋大学更名为中国海洋大学。2004年，青岛建筑工程学院改建为青岛理工大学；同年，山东科技大学办学主体搬迁至青岛校区，中国石油大学（华东）在青岛设立校区。2007年，莱阳农学院改建为青岛农业大学。2011年，中国海洋大学青岛学院改建为青岛工学院。2016年，山东大学青岛校区投入使用。截至2011年末，全市共有各类大专院校（含民办高校）24所，其中普通高校22所，在校学生29.1万人。