也正是因为这个原因，驭兽宗的内门弟子和外门弟子嚣张跋扈，在乾坤大陆的评价很是不好，虽然核心弟子没有这个缺点，但是毕竟核心弟子很少，而且最主要的是很多核心弟子是从内门弟子中升上去的，骨子里已经有了目空一切、自大高傲、惹事生非的本性，所以这些内门弟子成了核心弟子以后作风只是稍微有些改善，还是不如其他门派的弟子心性高。
而祸端也就是这样累积起来的，本来驭兽宗的战力都快要达到一级门派的下限了，因为他们门派弟子的心性比较低，所以得罪了很多门派，一级门派也不愿意再多一个门派来摊分资源，所以就发生了战斗，驭兽宗被几个一级门派和好多二级门派围攻，最终寡不敌众，伤亡重大。
迫不得已的情况下，驭兽宗掌门和几位长老合力将驭兽宗剩余的战力送入门派秘境中以后，利用阵法将秘境传送走，而他们则与敌人战斗至最后，直至死亡。
驭兽宗留下来的弟子和灵兽在秘境中被传送到了五行大陆，可是他们却发现自己根本出不了阵法的范围，也不知道他们所处在什么位置，而且因为传送过程中，阵法吸收了大量的空间之力，从而发生了变异，原来五里方圆的秘境竟然开始慢慢变大，好像在增长。
秘境里的弟子们出不去只能修炼，经过了五百多年，很多弟子又开始坐化，没有新的弟子补充，驭兽宗的人越来越少。
大殿中留守的人也越来越少，很多弟子都在大殿之外到处游荡着。
最终有一位驭兽宗的弟子在实在受不了的时候崩溃了，他解除了自己与灵兽的契约，放任灵兽在秘境中到处肆虐，自己却走火入魔而亡。
而后面也有很多弟子做了同样的举动，本来他们的心性就比较差，长时间不能与外界联系，也不知道所处何方，一个个都崩溃了。
时间越来越久，直到一千年前，最后一位弟子已经快到大限了，而当时一起被传送过来的十八只护派灵兽也死了十七只，只剩下了名为灵一的灵兽还存活着。
不过灵一看着灵十八一直到灵二慢慢的死去，它的心性也发生了很大的变化，它离开了这座大殿，到了大殿的外围，大殿里也只剩下了这最后一位弟子。