后来他被心怀愧疚的郭靖找到，硬是让他跟着他们去了桃花岛，在桃花岛上的生活他实在是过的很不开心，除了郭靖的女儿，还有一对武氏兄弟，武修文与武敦儒，他们总是捉弄欺负杨过。
杨过总是后悔地想着如果当初不听殷少湖的话，跟着他走了就好了，那他跟那人在一起定是十分逍遥快活的，也不用受这么多窝囊气！
可惜的是没有什么如果，他只能继续与那讨厌的三人生活，终于有一次，杨过被他们惹怒了，一言不合便开始动手，打着打着使出了欧阳锋交给他的蛤丨蟆功，竟是把那个武家大郎武修文给打伤了。
本就不喜欢他的黄蓉便借了个由头让郭靖将他送出了桃花岛，带他到全真教学武。
终于能够离开桃花岛这个地方，杨过是很愿意的，虽然去到的地方不是他心心念念的殷少湖在的地方，好歹也是没有再看见那讨厌的三人的机会了！
可是在全真教的日子也不好过，他的师傅是个斤斤计较的草包，全真教的所有人都是死板教条的一群笨蛋，杨过总觉得他若是与这些人再生活一段时间，他不被他的草包师傅计较死，他也要被这些牛鼻子给闷死。
谁知道的是，又有一件事让他不得不逃离这里。
在一次全真教的大比之中，他一时失手，竟是用蛤丨蟆功将一人给杀了，这下他可是慌了，那人的死相惨烈，白眼外翻，肢体抽搐，见到的人都知道是邪功所致。
杨过害怕这些牛鼻子们会杀了他除魔卫道，便在混乱之时仓皇逃跑。
后面的道士们也都反应过来了，不由纷纷四处去寻找杨过的踪迹！
杨过东跑西窜，四处躲藏，害怕被那些牛鼻子找到。
躲在重阳宫后山附近的一个山沟里，杨过见到后面再也没有人追过来，心下一阵轻松。
突然闻得天空中一阵熟悉的叫声，抬眼望去，是一只巨大的雕儿。
这叫声他在桃花岛也经常听到，因为郭靖的坐骑便是一对双雕。
可是这个叫声根本不是那双雕的叫声，杨过却又觉得十分熟悉。
稍一回想，他便想起了殷少湖，他记得那时殷少湖要带他走的时候也听到过一声雕唳，就像是这个声音一样。
想到殷少湖，杨过不由一阵惆怅：“也不知道我的救命恩人你怎么样了，说起来，我都还不知道你的名字呢……”
放松下来的杨过踢踢脚边的石子，仰天长叹道：“若是你带我走了该多好啊。”
天空中的雕儿像是听到了杨过的声音一样，在天空中一阵盘旋，刺耳的雕唳阵阵传来，杨过不由得捂上耳朵，脑袋一阵混乱，恍惚了好久，才缓过神来。
揉着耳朵站起身来，杨过疑惑道：“我刚刚是怎么了？”
揉揉脑袋，感觉像是有什么重要的东西不见了一样，但是怎么也想不起来。
突然这时身后有人声传来：“是往这里跑了吗？你可是看清楚了？”
这声音正是他那便宜师傅赵志敬的。
又有一人道：“不会错的，我亲眼看见那小子跑到这里的！”
赵志敬道：“再往前可是禁地，我们不能进去的！”
杨过听到他们找来了，心中害怕得很，又听到这些人不敢进到前面去，灵机一动，便使劲往里面跑去。
一心只想着逃命的杨过根本没有注意脚下的路，突然踩到路上凸起的石子，身体失了控制，一打跌滚下了山坡。