杨恽在大众中的知名度不高，要谈他，就要先拉出他的家世来矜夸一下。他是汉昭帝时丞相杨敞的儿子，更是司马迁的外孙。
作为丞相的儿子，司马迁的外孙(虽说通常外孙这样的旁支很少沾得上光了，但宣帝时曾迁杨恽来阐述传播其外祖父的书，王莽时又封司马迁的后人，说明司马迁地位已经很超然了;又因被宫再无子嗣，故其女儿的旁支也可继爵)，杨恽以才能著称，好结交，早就名显朝廷了。可以说，司马迁《史记》得以传播流传，杨恽是有很大功劳的。
揭发霍氏谋反让杨恽得以封侯;还有两件事，都增加了杨恽的好名声：一是废止了郎官出补外官要出钱的“山郎”贿赂制度，二是轻财好义，父亲的财产都分给宗族，后母给他继承的财产他也全部分给后母的昆弟。他廉洁无私、处事公平，都是人人赞誉的。
然而，杨恽性格中有致命的短板。按木桶定理来说，就是他最糟糕的一面决定了他人生的命运。《汉书》中云，“恽伐其行治，又性刻害，好发人阴伏，同位有忤己者，必欲害之，以其能高人。”再有才能再慷慨，天性记仇又阴毒刻薄，无论如何也是不讨人喜欢的。这就种下了恶果。
与杨恽有过节的太仆戴长乐的下狱是一个导火索。戴长乐曾奉诏摄天子事，在宗庙演习礼仪，回来他就大剌剌地对掾史说：“我亲自面见受诏，而且还是秺侯金日磾坐在副帝的位置上御车。”结果这番话被人告上去了，称其“非所宜言”。戴长乐怀疑这是杨恽让人上告的，也上书告杨恽。
杨恽犯了大多的罪呢?其实也就是和戴长乐一样，老是说一些不得体的话。一桩是当初高昌侯董忠的车奔入北掖门，杨恽就对人说：“听说以前有奔驰的车撞到殿门，门关折断马也撞死了，没多久昭帝就崩了。现在又是这种情况;看来这都是天命啊。”一桩是单于使者的信在朝中被遍示群臣、大家在讨论匈奴会不会来朝的的时候，杨恽又乌鸦嘴了：“冒顿单于得到汉朝的好吃好用的，称其‘殠恶’，显然对汉朝没兴趣，看来是不会来了。”一桩是杨恽看着西阁上画的帝王图，指着桀、纣对旁人说：“天子如果经过这里，问一问这两个人的过错，就可以从中学习到教训了。”一桩是听闻匈奴降者道单于被杀了，杨恽说：“碰上一个坏皇帝，大臣的好建议都不用，自己也会被搞死。秦的时候任由宦员乱政，诛杀忠良，走向灭亡;如果好好能任用大臣的话，政权就能延续至今了。古代是这样，现在也还是这样。”还有一桩，是曾说过：“正月以来，天阴不雨。我猜，天子今年肯定熬不到去河东祀后土祠的时候了。”
这样的句子我勉强翻译出来，多数仍然很难理解有什么问题。戴长乐上书在列举这些“罪证”的时候，是有几句评论的。比如，西阁上画的人明明有尧、舜、禹、汤，你为什么不称这几个好帝王，偏偏以桀、纣为例呢?你安的什么心?比如，你引用秦朝灭亡的故事来映射今天，诽谤今上，想不想活了?比如，你猜皇帝活不长了，把皇帝编进段子里，更是悖逆绝理!
对于这样的逻辑，我无法反驳。杨恽那张嘴是比较不经大脑，说话难听，然而，都是私人场合，造成什么坏影响了吗?都是评论而非谣言，煽动出什么恶果了吗?即便有罪，又能罪到哪里呢?
其后，杨恽并不认罪，希望找人作证并没有说过这样的话，结果还没成功就被宣帝侦知了，又成了一重罪。结果，杨恽的罪名被编派得非常严重：“不竭忠爱，尽臣子义，而妄怨望，称引为訞恶言，大逆不道。”宣帝不忍杀他，就把杨恽和戴长乐都免为庶人。
有昭宣的中兴，一般史书对宣帝的评价颇高。然而，当其太子刘奭委婉地劝他刑罚请不要太过份的时候，宣帝就生气了，认为刘奭“柔仁好儒”，发出那声著名的叹息：“乱我家者，太子也!”从根本上来说，宣帝就是另一个武帝，王霸杂糅，好大喜功，猜忍刻薄。
事实证明，宣帝并没有放过杨恽。杨恽没有了爵位，就开始在家里治产业，起室宅，大手笔地挣钱花钱，自娱自乐。他的朋友安定太守孙会宗劝他，大臣废退之后，就应当闭门反思，夹着尾巴做人，不应当那么高调，更不能四周结交宾客。杨恽哪里听，写了一封《报孙会宗书》，洋洋洒洒，反驳了他。信中云：
我犯这种错啊，夷灭都不足以塞责了，没想到还不杀我，都是圣主的功劳啊。我反思自己，应该作农夫过日子，才率领妻子儿女戮力耕桑，以供给朝廷的赋敛。没想到就这样还有人不满!我现在已经是农民了，辛苦耕种;咱俩道不同不相为谋，你也别再用卿大夫那一套来要求我了!
于是，有人上书说，现在的日食，就是有杨恽这种坏人的存在——结果，杨恽下狱。这就是欲加之罪，连理由都懒得编了。加上前面那封《报孙会宗书》，杨恽被判大逆无道，腰斩。
《汉书》说杨恽阴毒害人，并无实事，惟见他脑子拎不清，老是乌鸦嘴。可是，谁说了乌鸦嘴是要处死的?
就这么一个开明的地方，一位开明的君王，那里的臣民，会说了风凉话就被腰斩族灭。我们却称之为中兴，不吝赞美。那么，我们当然会欢迎更多的言论入罪;即使律例里已没有没有腰斩族灭之刑了，我们还有其他言论罪侍候呢。
司马迁的外孙封了侯 却还是因乌鸦嘴被腰斩