玉爷觉得自己找到了该有的落处，便在大栅栏安安心心地待了下去。并且相当长的一段时间内，他也确实过得还不错。
靠着镖局的月俸和分红，足够他养活着妻儿老小，供给侄子玉闳去洋学堂读书。而闲来无事，他便和镖局内交好的几位镖师喝喝酒，切磋交流跤术武技，时刻也没忘了继续完善自家的跤术。只不过他这种惬意的日子，随着镖局整体行业走向没落，又开始变得摇摇欲坠起来。
其实镖局业的衰落是必然的，而且早就开始了。若是细究起来，其迅速走向衰落主要有两个决定性因素。
第一是现代科技的发展。无论是票号，或是铁路的兴起。都使得镖局从陆路押运货物的生意数量急转直下。
第二是社会局势变得混乱。在袁世凯死亡之后，各地军阀割据，土皇帝多如牛毛，镖车在途中越来越频繁地遭遇兵祸被“征用”，而在这种无奈下，最终也只有停运一途。
因此自辛亥革命以来，镖局的业务从繁盛期迅速转变成衰落期，渐渐地镖师所剩唯一工作就是给富商大贾们护院，所以京城八大镖局陆续关张。到最后也只剩下会友镖局一家。
而会友之所以能够独存的原因，一是分号较多，还能承揽一些外埠业务，二就是得益于与京城商业界的良好关系，还能靠玉爷等镖师在大栅栏“坐夜”获得较为不菲的收入。
不过，1916年张勋复辟引发的兵变，也就是会友镖局类似于回光返照一样的最后辉煌了。
因为虽然会友再次闭栏据守，把辫子兵们依然挡在了外面，再次保住了两街商民的平安，获得了商界的一致赞誉。但之后，会友镖局与商界联合递交的组建商团武装自卫的呈文，却被当时京城警察总监吴炳湘以侵犯了警察权利的理由给驳了回来。这也就使得会友镖局在失去了洋买办，封建官僚这两座往日靠山之后，丧失了最后借助京城商界来完成经营转型的企图。
于是此后，会友镖局的业务便如同日落西山每况愈下，部分业务逐渐被巡警取代，而慢慢地，他们就连与商界的关系也难以维持了。
最终苦熬到了1922年秋天，这家京城最大的一家镖局，也是京城历史最长的一家镖局，在所有的师兄、师弟、师伯、师叔、师祖在吃完了散伙面，干完了最后一碗老白干之后，便永远地关闭了。
自此，传统镖局彻底瓦解，镖师这一群体也不复存在。而玉爷和他的同仁们也都就此，不得不各奔前程了。