征南军的这些人知道不染剑客、李由基、那个女人的秘密，当地人不知道。
最早的时候，征南军这些人是担心秘密被泄露出去，自己成为天下人的公敌，才没有告诉当地人。
到了后来，征南军的后代为了让自己对这些本地人的后代，在心理上保持优势，才没把这个秘密说出去。
征南军的后代，认为自己是比这些当地人更优秀的人，这些秘密是他们能够有此确信的唯一原因。
许多年来，这些秘密一直只在征南军的核心圈子里流传。一代又一代过去，守卫机密的围栏松了个口子，这些秘密传闻有一些内容流到了当地人那里。
一些当地人也开始说“我们飞刀门祖上是飞刀李家的正式传人”的时候，征南军的后裔听了只是觉得有些刺耳，在心里有些别扭，但也只是在心里更看不起这些当地人，并未说些什么。但当这些当地人为了提到飞刀门的形象，利用这些传闻编造一些所谓的飞刀门历史，并惹了一些麻烦和笑话之后，征南军后裔开始担心再这样下去，即使秘密不被彻底的泄露出去，自己的形象也要彻底毁掉了。
征南军后裔们担心的是自己的形象，而不是飞刀门的形象。当飞刀门被嘲笑为愚蠢、贪婪的土财主时，这些征南军后裔认为这些嘲笑与自己无关，又蠢、又贪、又土的是这些当地人，自己因为这些秘密，虽然同时也被嘲笑了，但在自我认知的形象上却是一个背负秘密而被误解的人。
当这些泄露出来的一丝秘密被夸张，被歪曲，成为笑料，征南军的后裔们觉得自己的形象被玷污了。他们在这种嘲笑中，没有办法再把自己看做一个背负秘密而被误解的人，他们再看自己的时候，会觉得自己和那些当地人一样的蠢笨。
这里说到的形象，不是别人看到的形象，而是自己看自己的形象。
很多人都会对自己有一个明确的认知，用一些抽象的词定义自己，说自己是一个什么样的人。
这些人为自己描绘出这么一个自我认知的形象，并不是因为对自己非常了解，自然就在心中描绘出了自己的面貌。他们在心中描绘自己的面貌，是有目的的，这其中一个目的就是帮助自己抵御外界负面的评价。
一个人如果给自己设立了合适的自我形象，外界的负面评价，非但不会让此人感到难过，反而会让此人更加坚信自己设立的自我形象，为自己感到骄傲。
征南军后裔就是如此。他们依靠这些秘密为自己设立了一个合适的自我形象，即”守秘人”。现在，因为当地人的鲁莽，这形象要崩塌，征南军后裔们自然是怀恨在心。