不久后，林家的家境渐渐变好了，身上的衣服开始光鲜，每日的饭菜也不再是糙米加素菜。又过了不久，父亲升官了，成了大县的县令，而这还不够，他不过做了年的大县令就又迁升了，成了郡守。
时间林家门庭若市，每日里都有各种各样的人慕名来访。
林默言此时还是懵懂，不知其中缘故，只知在父母的庇护下读书习武，玩耍捣蛋。
好景不长，有天群衙役冲进了林府将父亲带走了。很长段时间里，林默言都看着母亲愁眉苦脸，终日奔波，林默言隐隐知道了什么，但每每询问母亲总是不说，直到有天母亲突然带着他上京，他才知道原来父亲依靠的朝中要人倒台了，父亲受到牵连，弄不好，父亲要死，全家也要流放。
林默言随着母亲上京，找到户部尚书府上，原来户部尚书、太子的外公是父亲的远房舅公，现在只能求他为自己的父亲说说话，网开面，哪怕流放，也好过斩首！
林默言看到了个蓄着小白胡子的老人，说是老人，其实并不显老，矍铄的目光，红润的面色，林默言觉得他甚至比自己的父亲还要年轻。上京前林默言去狱中探望父亲，没有了光鲜的外衣，没有了高傲的气度，黑暗的牢狱中父亲面色蜡黄，衣饰凌乱，从未见过如此狼狈的父亲，母亲在旁哭得厉害，林默言的心也阵阵的抽痛。
“哦，默言是吗？好名字，好俊秀。”老人抚摸着林默言的头和蔼地说，这让林默言有种错觉，这个老人会帮助父亲。然而接下去老人对母亲说的话却打破了他的希望：“林夫人，不是老夫不帮你，只是子胤（父亲的名字）这次卷入太深，难以脱身啊。”
母亲拉着林默言跪下，哭诉道：“林大人，求您看在都是宗的份上帮帮子胤吧！哪怕、哪怕只是流放也好过斩首啊！”
老人叹气，说：“我也知道你们不容易，当初姑母分家出去，传下的也就你们这么家了，老妇若是不帮死后也无颜见家中姑母，只是这朝中的事哪里是说能帮就能帮的，你们快起来吧，这忙，老夫实在是帮不了啊！”
母亲叩头，然而老人终究没有答应。
后来林默言随着母亲出去了，母亲告诉林默言：“默言，你记住了，从今天起，你只是林子胤的儿子，和林家没有任何关系！”
有时人就是在夜之间长大的，十岁的林默言突然明白了很。
林功并非帮不了，他只是不想为了个毫无利用价值的人卷入场斗争而已。如果他能预见日后林默言之于太子的亲要，他或许就会出手相助，只是他若出手，林默言又如何能入宫与太子相遇？
祸兮福所倚，福兮祸所伏。林默言有时也很疑惑，自己究竟是幸还是不幸。
后来父亲下市斩首，母亲流放西北，这时他已经入宫成为名武奴，若不是抓捕中受了伤，只怕当场就要净身去势。若不是有个黑衣的孩子……
“不曾。”
林默言淡淡地说。
“默言自那日起便对自己说，默言，你只叫默言。那些人将我送入宫中，如果不是默言刚刚受过刑，身体虚弱，只怕等不到太子出现便要和这些宫人样了。那时大人又可曾想过还有这么个林氏子孙在秋宫之中？”
林默言说着这番话，目光中只有死般的平静，那些往事都与默言无关了。他只是在复述个曾经以死抗辱的男孩的心境罢了。
追随太子身边不到年，林默言已经在宫内外获得了定的地位。永泰二年时，元贵妃过世，听风楼初具雏形，林默言第次动手手中势力做了件私事：寻找母亲的下落。然而数月后噩耗传来，林母已经早在流放途中不堪受辱自刎而死。
林默言度情绪失控，终日神情恍惚，依然是那个小小的孩子垫起脚尖轻轻抱住他的头，说：“好了，都过去了，你还有我们。”
林默言望着林功，缓缓说：“呵，林大人