曹操雖然出身高貴，但家族來源不正，被上層看不起。

據《三國志》，曹操是漢代名相曹參之後，但整個漢代四百餘年，曹參後代封爵時斷時續，到了東漢末年已經曹節時，家族已經淪落了。曹節顯名也是得益於其子曹騰。曹騰爲宦官三十多年，盡心服務皇帝，受到桓帝的信任。因宦官無子，才把曹操的父親曹嵩過繼給曹騰爲子。也就是說到曹騰時，這一脈實際上已經絕嗣了。

曹操的父親曹嵩實際上是夏侯氏的後代，是劉邦名將夏侯嬰的後代。夏侯嬰後代的封爵在漢代也是時斷時續，東漢末年也淪落了，曹嵩實際上是夏侯惇、夏侯淵的叔父。曹嵩因爲過繼給大宦官曹騰爲子，才繼承了曹騰的爵位，最後做到太尉的官職。但東漢的太尉，雖爲三公，但是有職無權。曹嵩也沒有突出才能，只是繼承了曹騰的財產，所以曹操從小家境很好。

東漢末年，因宦官專權，宦官的名聲不好。朝野正直的士人反宦官的聲勢一浪高過一浪，曹操的祖父是大宦官，因此出身自然就被看不起。加上曹操父親本姓夏侯，過繼給宦官爲子，更被人所詬病。

劉備爲中山靖王之後，後來家道中落，淪爲販賣席子爲生，但在當時人們心目中還是比曹操出身要好。袁紹出身四世三公，門生故吏遍天下，在朝野享有很高的聲望，遠非曹操出身所能比。