中平二年（公元185年），执掌朝廷权柄的外戚大将军何进为了笼络人心，首先征辟郑玄入朝为官。州郡官吏胁迫起行，郑玄不得已，只好入朝去见何进。何进为表示礼贤下士，对郑玄礼敬有加，设几、杖之礼以待之。郑玄为保其名士节操，拒不穿朝服，只穿普通儒者的便服与何进相见。仅隔了一夜，未等授予官职就逃走了。

灵帝中平四年（公元187年），三府（太尉、司空、司徒）曾先后两次征辟郑玄，但他都借故婉言谢绝了。第二年，郑玄与荀爽、申屠蟠、襄楷、韩融、陈纪等十四人并被征为博士，他因父丧而未去。后将军袁隗表举郑玄为侍中，他仍以居丧为理由而拒绝出仕。 

中平六年（公元189年），灵帝死，少帝刘辩继位，不久董卓废少帝而立献帝，迁都长安。这时，公卿们又举郑玄任赵王刘乾的国相，但因战乱道路不通，仍没有受召。郑玄屡拒征辟，其间除避乱于徐州外，大多在家乡隐居，聚徒讲学，专心经术，著书立说。他的弟子遍于天下，多有人自远方而投至门下，如赵商、崔琰、公孙方、王基、国渊、郗虑等即为著名者。他的学生常常超过千人，为一时之盛。

汉献帝初平二年（公元191年），黄巾军攻占青州，郑玄只得逃到徐州避乱。徐州牧陶谦曾大破黄巾军，境内比较安定，他听得郑玄到来，极为欢迎，以师友之礼相接待。郑玄把自己安顿在南城之山栖迟岩下的一所石屋里，很少出头露面，仍然夜以继日、孜孜不倦地研究儒家经典，注释《孝经》。

建安元年（公元196年），郑玄从徐州返回高密。据《后汉书》本传记载，郑玄在回高密的路上曾遇到大批黄巾军，但他们却对郑玄十分尊重：“见玄皆拜，相约不敢入县境”。 [8]  历史记载黄巾军尊重士人，正是因为如此，郑玄才能在颠沛流离中非礼不动。据《后汉纪·献纪》，高密一县，竟未受黄巾抄掠。

建安二年（公元197年），袁绍为大将军，兼督冀、青、幽、并四州。一次他大宴宾客，郑玄应邀出席，在席上对一些所谓“豪俊”的提问进行了答对，语惊四座，使宾客无不折服。袁绍乃举郑玄为茂才，并表请郑玄为左中郎将，但郑玄却毫不为之所动，都予以婉拒。

建安三年（公元198年），献帝征郑玄为大司农，位列九卿，给安车一乘，所过郡县长吏送迎。郑玄在家拜受后，便乘安车至许昌，但马上又借口有病，请求告老还乡。他虽然并未到任就职，但已经拜受此命，故世人称他为郑司农（但经学注疏中的郑司农多指东汉初年学者郑众）。

建安五年（公元200年），郑玄已经七十四岁了，饱经沧桑，身体常觉不适。这年春天，他梦见孔子对他说：“起、起，今年岁在辰，来年岁在巳”（《后汉书》本传）。这一年是农历庚辰年，即龙年，而来年是辛巳年，也就是蛇年，旧说龙、蛇之年对圣贤不利。所以他醒来后很不高兴，认为自己当不久于人世了。这一年，袁绍与曹操的大军在官渡（今河南中牟县东北）会战。袁绍为壮声势，争取民心和士望，叫袁谭逼迫郑玄随军，郑玄无奈，只好抱病而行。走到元城（今河北大名县境），病势加重，不能再走了，同年六月病逝于该县。病重和临危之时，他还在注释《周易》。