府县嫌吾旧党人，乡邻畏我昔黄门。终年闭户己三岁，九日无人共一樽。
他家傍颍水，故自称“颍滨遗老”，上引四句诗就是“遗老”二字最好的注脚。
苏辙自幼学习诗文，以父兄为师。他十一岁与兄苏轼同在眉山塾中读书。一日大雨，与同学程建用、杨尧咨四人共同联句。程说：“庭松偃仰如醉”；杨接上：“夏雨凄凉似秋”；苏轼说：“有客高吟拥鼻”；苏辙最小，说：“无人共吃馒头”。他们弟兄相处，玩笑中也作诗文训练。
嘉祐四年(1059年)随父兄入京，舟过凌云山，他有《初发嘉州》诗云：
飞舟过山足，佛脚见江浒。俄顷已不见，乌牛在中渚。
这乌牛，就是今天乐山的乌尤山。本是与凌云山相联的，李冰治水时，为杀三江合流的水势，以利行舟，因于两山之间(今麻浩口处)凿一航道，山遂独立江中，成为“离堆”。又以形如犀牛，故称“乌牛”。苏辙的诗真实记录了飞舟南下时，对江山景物的感受。途经戎州(今宜宾)，苏辙有《戎州》一诗，生动地写出了此时宜宾地区各族共处的面貌：
江水通三峡，州城控百蛮。沙昏行旅倦，边静禁军闲。汉虏更成市，罗纨靳不还。投毡捡精密，换马瘦孱颜。兀兀头垂髻，团团耳带环。夷声不可会，争利苦间关。