那时候，段克俭的夫人已经离世，所以家中主事的暂时是大女儿段友筠，也就是还没进宫的瑾妃。
虽然段克俭的坚决不承认，让少女时期的瑾妃心里也没什么底，觉得亲爹可能真是被冤枉的。
但毕竟是一条小生命，扔在门房算什么呢？于是她会趁着父亲不注意，偷偷溜到门房，给这个可怜的婴儿一些吃的，再给他换几件干净的衣裳。
门房老潘的老婆那时刚好生下第三个孩子，奶水充足，也能顺便喂一喂潘五，所以饿倒是暂时饿不死，只是，毕竟是各方都不承认的一个私孩子，老潘也不可能给他多好的照顾，要不是有段家这位大小姐的仁慈，潘五的幼年恐怕活得会更加艰难一些。
一开始，瑾妃相信了父亲的鬼话，觉得是潘五的生母讹诈了父亲，尤其她丢下孩子就跑了，人都找不到，连当面对簿公堂都不敢，这岂不证明这女人心中确实有鬼？
但几年过去，潘五渐渐长大，五官轮廓显出基本的线条，瑾妃就震惊地发现，这个门房养大的孩子，长得和她父亲如出一辙！
两张脸相似得仿佛是拓印下来的，说他们不是父子都没人信。瑾妃终于忍不住了，质问父亲，明明是他做下的孽，为什么死不承认，为什么要把自己的亲生孩子扔在门房，好几年不闻不问？！
然而令她没想到的是，段克俭竟然还不改口，依然坚称孩子不是他的。
瑾妃对父亲失望透顶，她没想到，父亲这个堂堂的右相，竟然无底线到这个程度。好在不久她就进宫为妃，不用每天看父亲那张无耻的嘴脸了。
即便是进了宫，瑾妃对潘五依然很好，虽然没法像之前那样经常去看他，照顾他，但她总是惦记着自己这个流落在外的弟弟，也想尽办法帮他。
段克俭有个儿子，比瑾妃小三岁，与她是一母同胞，都是嫡出。段克俭非常重视这个儿子，从小请最好的先生教他念书习字，十几岁的时候，听说当年名震京师的大儒周存信正在青州办书院，而且扬言“非天下英才不教”，于是段克俭不远千里带着厚礼，把儿子送过去，接受最好的教育。
段友贞也是不负众望，从小聪颖过人，更是文武双全，有一次，还杀了深夜闯入书院意图行凶的贼寇，救了恩师和书院的学生，此事让段友贞获得了青州都督的亲口嘉奖。
就连周存信都对这个学生赞不绝口，亲自写了书信请京师的同窗关照他——周存信的同窗几乎都是当世著名的大学士。
本来出身就优渥，又有了老师的背书，段友贞没有任何意外地成功登榜，进入官场之后，自然更是平步青云。如今他才三十多岁，就已经官至兵部侍郎，成了朝中要员，甚至隐隐有了自己的势力。
相比之下，同样是右相段克俭的儿子，潘五的人生简直惨得没法看：从小被老门房养大，吃的蹭人家的，穿也蹭人家的，老潘老婆给仨孩子做衣裳，剩下些边角废料缝缝补补，胡乱就套在潘五的身上……长大了，更不可能有单独的先生来教念书，只能在段氏的宗族家塾蹭课听，老潘夫妇大字不识一个，不可能给他备好文房四宝，段家有些子侄见他可怜，于是就悄悄让潘五蹭点自己的墨和纸。
可以说，潘五这二十几年，主打一个“蹭”字，从出生开始，他的一切都是蹭来的。
一个是天之骄子，不等开口，人生所需的一切都向他涌来；另一个是街头弃子，人人鄙弃，活下来的每一步都艰难无比……偏偏这样的两个人，有着同一个爹。
老天爷，何其不公！
段家，唯一对潘五好的人就是瑾妃。入宫前，她抽出时间来照料他，看护他，入宫后，她也总是拿出钱来救济潘五，包括他后来在段氏家塾念书的各种费用，也是瑾妃悄悄帮他垫上的。
潘五后来做了人牙子，这一行最重人脉背景，不然一买一卖之中出了事，或者逃跑或者自杀，买卖双方就会揪着人牙子不放，尤其如果哪一方有权有势，就更难解决了。但是潘五这个人牙子却做得顺风顺水，这背后的原因也很简单，他有个顶级的大靠山：瑾妃。哪怕不用瑾妃亲自出面，有这么个坚实的背景，再怎么有权势的人家，也会给潘五三分薄面。
但瑾妃对潘五的照顾，却引起了家人的不满。
段克俭固然对潘五不闻不问，就连段友贞，对姐姐的所作所为也颇不以为然。
他说潘五姓潘不姓段，就连老爷子都不认他，由他自生自灭。姐姐为什么对他这么怜悯？自己是姐姐一母同胞的亲弟弟，都没见姐姐这么疼自己。
瑾妃就淡淡地说：“这世上就没有不喜欢你的，人人都疼你，不缺我这一个。你再看看潘五，谁又曾把他当个人呢？友贞，你已经得到太多东西了，哪怕从指缝里漏一点点，也足够让潘五吃饱的。又何必和他争这个？”
段友贞却还是不高兴，他说潘五的存在就是给段家蒙羞的，姐姐如果真是为了段家好，就应该离潘五远远的，为什么要自取其辱，主动去接济他呢？
这话就把瑾妃给说火了，她怒道：“到底是谁给段家蒙羞？难道不是咱们那个不负责任的爹吗！潘五又做错了什么？！友贞，你从小金奴银婢，三茶六饭，被人伺候着长大，