然而，贵族同学们很快便放弃了约瑟夫这个目标，因为每当他们在约瑟夫面前故意挑衅，模仿他的口音什么的时候，却总是得不到他们所希望的回馈。他们希望看到约瑟夫面对这些举动惊慌或者是愤怒，无论是这当中的哪一种回馈，都会给他们以鉴赏的机会，并带给他们无尽的快乐。
然而，约瑟夫的反应却完全在他们的预料之外。当他们在约瑟夫面前玩他们那一套的时候，约瑟夫并没有表现出惊惶或者是愤怒，而是面带微笑地欣赏起了他们的表演，他看他们的眼光，就像在看马戏团中的猴子一样。
这样的反应自然不可能带给他们快乐，所以他们便将目标更多的转向了拿破仑。相比约瑟夫，拿破仑的弱点显然更多。拿破仑身材更矮小，口音更重，黑点更多。更重要的是，拿破仑的反应更好玩一些。因为每当他们这样向拿破仑挑衅的时候，他们都能轻而易举的欣赏到他的愤怒。
但是他们很快就发现，去刺激拿破仑并不是一件好玩的事情了。和刺激约瑟夫不一样，刺激约瑟夫，虽然得不到快乐，但至少没有危险。但是拿破仑一旦觉得自己被冒犯了，就会毫不迟疑的发起反击，而且是用最下等人的方式来加以反击，那就是使用暴力，拳打脚踢，甚至用牙齿咬。
学校里面的那些少爷们虽然个子都比拿破仑高大，但是他们都缺乏进行这类的格斗的训练。格斗技能也是贵族的必修课，但是那指的是用剑来格斗。（当时还很流行用决斗的方式来解决问题，而迅捷剑的格斗技术，就成为了贵族们必修的技能。当然，就奥顿中学的那些中学生们的年龄，他们还不足以控制迅捷剑这样的武器，所以他们平时学得更多的都是小剑技术。）至于徒手的，用拳头，指甲以及牙齿来战斗的野蛮人战斗方式，他们一无所知。所以一旦打起来，吃亏的总是他们。而且拿破仑下手很阴，打人很疼，但是却不会留下什么太明显的痕迹。而一旦老师来了，拿破仑总能表现得比被打的那个更惨也更委屈。
结果，大家发现，约瑟夫兄弟都不是那么好玩的，甚至于不但不好玩，还让他们各种不舒服。于是主动来招惹他们兄弟的人少了，但是另一方面，兄弟两个也被他的那些同学们孤立起来了。不过无论是约瑟夫还是拿破仑，对这种孤立都不屑一顾。
“这是一群注定要被历史抛弃的家伙。不值得在他们身上投注哪怕一丁点的精力。想道这样的家伙日后就会成为法国的上层，我在参观土伦。看到那些军舰所产生的焦虑便随之烟消云散了。更何况，您知道，我并不会在这所学校中呆太长的时间。教数学的吕弗雷先生告诉我，学校今年可以推荐一个学生去布里埃纳军校，这是一所公费的军事学院，我在那里能够学到各种军事技术。如果约瑟夫不和我竞争的话，（约瑟夫这个好高骛远的家伙一门心思的向往着巴黎的那些学校以及巴黎大学，他也不想想自己才几岁。而且，我们家怎么支付得起巴黎大学这样的学校的学费）我觉得我肯定能获得这个名额，因为其他的那些娇滴滴的，浑身女人气的贵族子弟根本就不打算去那里学习。但我却觉得这才是最适合我的学校。”这是许多年后攻击开的拿破仑大帝的信件中，拿破仑在写给他父亲的信件中对自己在奥顿中学的那些同学的评价。
就像信件中说的那样，拿破仑在奥顿中学继续读书的时间不会太长了。也许在春天的尾巴里，他就要转到布里埃纳军校去了。至于他的哥哥约瑟夫，他此时的确如拿破仑说的，正一心想着巴黎的路易大帝学校。这所学校是整个法国最好的中学，更重要的是，针对学习出众的学生，它有着整个法国最高的奖学金。这些奖学金完全可以支持一个学生在巴黎的一切正常的学习和生活的开支。例如未来将叱咤风云的罗伯斯庇尔，在从路易大帝学校毕业的时候，就拿到了整整六百法郎的奖学金。