1949年时，于右任本想留在内地，但被蒋介石派人挟持到了台湾，继续担任“监察院院长”等高职。他的最后15年是在台湾度过的。
“我是儒家系统中人”即使在于右任病痛的时候，他仍然尽可能地多做事，而他所最看重的事往往与文化教育有关。
 
　　1962年，于右任84岁。不久，于右任身体不适，自感去世之日临近，心情变得很郁闷，但他并没有因此沉沦，依然坚持努力为社会服务。
 
　　1964年1月22日，于右任在日记中表明自己的心迹:“我是儒家系统中人，守之不变者，万勿中途迷离，为世所笑。”这是他的人生信念。
 
　　看书、写字则是于右任的生活习惯，一旦离开便非常难受。1964年1月14日的日记写道:“数日因事未看经书，心中不安。”而他之于“写字”(书法)，则更是不可分离，以此作为日常之事。有些熟人到于右任家，免不了从纸篓中拣回不少珍贵墨宝。

　　“我很穷，没有钱”
 
　　一生高官的于右任始终注重名节，两袖清风。当他晚年病重时，他常想到的竟是“没钱住院”。

　　1963年4月18日，于右任喉咙发炎，住进台北荣民医院。刚过三天，于右任便在日记中写道:“今日早起，疾已轻，有归去之意。开支甚大，如何能继。”5月初，于右任在疾病没有完全治愈之时便出院，病情因此再次发作。他本应该马上住院，但因为住院费用的缘故，他将此事一拖再拖。

　　在此期间，于右任仍参加社会活动。6月26日，由于喉部感染，于右任不得不再次住院治疗，但因经费紧张，很快出院。等病情好转一些，他又积极参加社会活动，并写下了气势恢弘的长篇行草书《文信国正气歌》七屏，成为其最后之大作。

　　1964年7月底，于右任再次病重，咽喉发炎，说话进食都很困难。蒋经国来看望，劝于右任:“老伯，听说您身体不好，还是进荣民医院治疗吧。”于右任不愿向蒋经国哭穷，只是点头应承。
 
　　再次住院没几天，于右任又因经费问题而担心，对副官方伯熏说:“我很穷，没有钱，我住的这间病房多少钱一天？太贵了我是付不起的，我还是出院回家吧。”方伯熏看着病情严重的于右任，有意隐瞒实情，将每日高达千元的住院医疗费说成“只有一百元”。如此一来，于右任安心地住院了，因为以他月薪5000元新台币的收入，是可以付得起这些费用的。然而，他的病已经治不好了。

　　在生命到达终点前，于右任数次想写遗嘱，但写了撕，撕了又写，后来病情恶化，终致无法再写。他的长子于望德为寻找父亲的遗嘱，特请来监察院副院长、监察委员等数人作证，打开于右任最为珍贵的保险箱。开箱以后，大家被眼前的物件所感动。箱子里没有一点金银积蓄，所能见到的是一枝钢笔、数方印章与几本日记。还有结发妻子高仲林早年亲手为他缝制的布鞋布袜。再有，便是他的三儿子于中令5月赴美留学时向银行借贷的4万元账本以及平日借副官宋子才的数万元的账单。

　　“葬我于高山之上兮”

　　于右任是陕西省三原县人，他苦等时局的变化，希望有生之年可以返回故乡，希望能见到自己的结发妻子高仲林以及长女于芝秀等亲人。这样的愿望始终不能实现，他便更加伤感，常叹息道:“我好想念她们呀！”而在不久之后，他就得知，在周恩来总理的亲自安排下，于右任的女婿屈武等亲人以及陕西省有关领导为于夫人办了隆重的补寿活动。他为此十分感动，思乡之情更甚。
 
　　1962年1月，当于右任感觉将不久于人世时，他在日记中对身后事做出两次安排。1月12日做的安排是:“我百年后，愿葬于玉山或阿里山树木多的高处，可以时时望大陆。山要最高者，树要最大者。我之故乡，是中国大陆……”1月24日做的安排是:“葬我于台北近处高山之上亦可。但是山要最高者。”
 
　　做出这样的安排后，于右任仍感觉非常抑郁。15年的乡愁，感情之累积终于酿成一首千古绝唱——《望大陆》:

　　葬我于高山之上兮，望我大陆；大陆不可见兮，只有痛哭！葬我于高山之上兮，望我故乡；故乡不可见兮，永不能忘！天苍苍，野茫茫，山之上，国有殇！

　　思乡的心情让于右任病倒了。病重时，他的老部下、原台湾“监察院”秘书长杨亮功到医院看望，问他:“您老有什么事吩咐我？”

　　于右任由于喉咙发炎而无法讲话，只好用手势表达自己的意思。他首先伸出一个指头，接着又伸出三个指头。但杨亮功却怎么也猜不中是什么意思。

　　于右任的病情一天比一天严重。1964年11月10日晚8点零8分，于右任在台北荣民医院病故，终年86岁。于右任去世后，杨亮功向资深报人陆铿提起此事，陆铿反复考虑后，提出一种解法，认为于右任的“一个指头”是指祖国统一，“三个指头”代表三原县。合在一起就表示:将来中国统一了，请将他的灵柩归葬于陕西三原县故里。这一解释得到大多数人的认同。

　　　　　　　　　　　（《文化名人的最后时光》张建安著中央编译出版社2007年7月出版）