曹操任命杨俊为曲梁县长，入京出任丞相椽属，被举荐为茂才，出任安陵县令，升任南阳太守。他在南阳宣扬教化，开办学校，官吏百姓都称颂他。改任征南军师。魏国建立以后，升任中尉。曹操征伐汉中，魏讽在邺县谋反，杨俊自己弹劾自己，到曹操营中请罪。杨俊因为自己刚刚有罪被赦免，写信向太子曹丕辞职。曹丕不高兴，说：“杨中尉说走就走，未免太过高深了吧？”于是下令将杨俊贬为平原太守。
杨俊从小到大，以品评人物为己任，同郡人审固、陈留人卫询本来都是兵卒，杨俊提拔帮助他们，二人都成了优秀的人才，后来审固历任郡守，卫询历任御史、县令，他善于鉴别人物并予以提拔，大都像审、卫二人的事一样。当初，临菑侯曹植和杨俊关系很好。曹操还未确立太子，私下询问百官的意见，杨俊虽然分别谈出曹丕、曹植才能资质上各自的优点，没有明确说出应该立谁，但赞美曹植的话更多些，曹丕常常为此怨恨他。曹丕驾临宛县，因市场上没有繁荣安乐的景象，大怒，将杨俊逮捕入狱，尚书仆射司马懿、常侍王象、荀纬都为杨俊求情，叩头出血，曹丕仍不肯赦免，杨俊说：“我知罪了。”于是自杀，众人都因为他死得冤枉而痛惜。