弘治五年(1492)，俞琳通过了监察御史的选拔和考核，升任江西道监察御史。他为官正直，纲纪肃清，"多建白"，提出了许多建设性的意见。俞琳的能力获得了都御史屠滽的赏识和肯定。不久，俞琳就被调至畿辅(即京城附近地区)担任监察御史。在畿辅他同样不畏权贵，大力参奏贪腐和各种不法之事，所到之处"发奸擿伏""贪横敛迹"。

正德十一年(1516)，蒙古小王子部进犯，同时“畿辅诸郡告饥，盗且起"。面对内忧外患，明武宗要求大臣推荐有能力之人到保定等地整饬武备，稳定局势。大臣们都推荐了俞琳。七月，俞琳来到保定。他先是想办法筹粮赈灾，很快"储粮百万斛"。百姓有了基本生活保证，不再作乱，同时充裕的储备也为应对外敌进犯提供了坚强的保障。

他又惩处当地豪强恶霸。”保定有张义官者(义官:有荣誉性质的编外官员)，潜结群盗，为奸有司，不能禁。"俞琳在查明事实后，将其逮捕，处以极刑，“盗遂息”，顺利地解决了当地多年未除之患。俞琳仅用了三个月就处理好保定等地的事物，回京后，他“既戡定边患，戢兵归朝，口不言功”，低调对待功劳，事了拂衣去。

俞琳"性慷慨，每以忠孝大节自许。"在行人司任职期间，有一次出使周王府，在回程的路上，俞琳得了重病，他仰天长叹，说，“丈夫志在四方，即不幸客死，命耳，奈老母何?"重病之中首先想到是自己的母亲，可见其人至孝之心。

俞琳不但奉母至孝，对待兄弟、侄子等亲属也是"爱甚笃"。他为人"与人不欺，亦未尝有忤";只要是大义所在，就会毅然挺身而出，"无少假借。"退休"居乡"，也从不怠慢那些地位低下的人。