1950年冬，正陷入审查出家中“藏有枪支”问题的林散之忽然接到了江浦县人民政府的通知：他“当选为江浦县第一届人民代表会议的代表”。自此，“藏枪”问题不再被追究，其实林散之家中在抗战时期的确有过枪支。作为江浦县闻名地方的乡贤，林散之在当地人缘很好。这恐怕也是他在新中国初期能当选县人大代表的原因。第二年，林散之“被选为江浦县人代会常务委员，开始享受国家干部供给制待遇”，五十四岁的林散之第一次升为国家公职人员。
　　1952年林散之被任命为江浦县农田水利委员会副主任。四年后，他又被任命为江浦县副县长。事实证明，林散之不适合当父母官：最初，让他分管福利，县里的干部家庭经济困难申请补助的报告，需要经过他的批准才能领钱。结果，林县长来者不拒，都在报告上签了字。过了一段时间，财务科长急了，跑来找他说，林副县长，你哪能这样批条子，我们哪里来这么多钱补助？林散之说，人家困难，不补助怎么办？
　　1957年“整风”运动时期，林散之的“副县长办公室”门两侧被贴了一份大字报，右侧：“阿弥陀佛”，左侧：“有求必应”。即便如此，作为民主人士的副县长，林散之的社会地位在逐步提升，1958年，江浦县划归南京市，林散之成为南京市政协常委。1959年12月又成为江苏省政协委员。1963年林散之调往南京，成为江苏省国画院的专职书画家。对于林散之来说，终于找到了自己的位置，时年，林散之六十六岁。
　　1964年，江苏省国画院接到上级指示，要求每位画师画一幅反映毛主席诗词内容的国画。林散之按照毛主席《咏梅》诗意画出了山水画《冬山》，后来上边说“上级领导”批评《冬山》画面太黑太阴暗，是给社会主义抹黑。为避免惹祸，林散之从此放弃国画，专攻书法。谁料还没到十年，林散之就被誉为“当代草圣”。这一年，在林散之的生活和艺术上是转折的一年，这样的放弃与转折，不是一个简单的举动，更是为了顺应时代的生存。
　　“文革”爆发后林散之的处境可想而知，然而更大的打击是他的夫人在此时病逝了，再加上生活上的一些刺激，林散之两耳全聋，此时他六十九岁。后来他随着女儿去了扬州，开始了长达七年的流浪生活。
　　林散之人生的再次转机是在1972年。这年8月，为庆祝“中日恢复邦交”，《人民中国》拟出特辑《中国现代书法作品选》。当时任南京《新华日报》编辑的田原被借调到《人民中国》编辑部协助这期特辑的出版，田原借此机会将林散之的草书条幅毛主席的《东方欲晓》拿到了北京。《中国现代书法作品选》特辑出版后，林散之的作品排在第一篇的显要位置。这期杂志在日本书界和国内都引起了反响，随之，林散之的声誉在艺林与日俱增，成了当代书坛的大家。
　　1973年春，七十六岁的林散之重返南京，此时，老人已经“出名”，索字者络绎不绝，这让林散之不胜其烦。
　　“文革”结束后，林散之的艺术达到一生的最高潮，他的社会影响也日见其隆，1978年，八十一岁的林散之成为全国政协委员。在艺术上，他更以“当代草圣”“诗书画三绝”等闻名于世。
　　人生最后阶段的林散之应该说是功成名就了。虽然有“何处能寻避债台”之感，但这还不是令人心痛的，真正让老人伤心的是1987年，九十岁的林散之因为所居住的两层小楼拆迁，老人不愿意再迁居，希望在此终老，为此曾给省市领导写信，但最终也未果，还是被拆迁，搬入了离南京市中心较远的林学院—他儿子的家里。
　　1989年10月，林散之写下了绝笔：“生天成佛。”
　　1989年12月，林散之去世。