西汉时期治东武(（今山东诸诚)，领51县。包括今山东半岛东南部的临沂市区以东、海阳、即墨、崂山、胶县、胶南、沂水、莒南、日照、五莲、赣榆及黄岛等地。属徐州刺史部。
东汉建武十七年（41)，光武帝封子刘京为琅琊王，琅琊郡改为琅琊国，建都于莒（今山东莒县城阳镇）。建初五年（80）琅琊国移都开阳（今临沂市区），领13县。建安二十一年（216)，曹操杀琅琊王刘熙，国除为郡。
三国魏仍治开阳，领开阳、临沂、阳都、缯、郎丘 、华、费、安丘、剧9县。辖地开始缩小。
晋朝因之。
北魏，治即丘(今临沂市河东区汤河镇故县)，领即丘、武阳、费、新泰四县，属北徐州。
北齐、北周因之。
隋开皇三年（583）废，属县直属沂州。大业三年（607），沂州复为琅琊郡，治所在临沂(今临沂城)。共辖7县：临沂、费、颛臾、沂水、东安、莒、新泰。
唐朝武德四年（621年）改沂州，治在临沂（今临沂城北）。天宝元年（742年）复为琅琊郡。乾元元年（758年），复改称沂州。辖5县：临沂、费县、沂水、承县(今兰陵县部分在其境内)、新泰(今蒙阴县部分在其境内)。
五代因之。
宋朝，置沂州，治所在临沂。在州名之外，还附加郡号。《宋史·地理志》就有“沂州、上、琅琊郡“的记载。这里“琅琊郡“只是沂州的一个字号，不代表宋朝仍存在郡级政区。至宋徽宗宣和年间，辖5县，即：临沂、沂水、费县、新泰(今蒙阴县域在其境内)、承(今兰陵县部分在其境内)。
