渡瀬恒彦さんは、警視庁捜査一課九係シリーズや十津川警部シリーズなどで親しまれてきましたが、その裏には「喧嘩最強」としての伝説があります。元キックボクサーの安岡力也さんが唯一恐れたのが渡瀬さんで、駐車場で半殺しにされた経験があるといいます。また、俳優の長井直樹さんも渡瀬さんの恐ろしさを語っています。渡瀬さんは多くの俳優や芸能人に恐れられていましたが、兄の渡哲也さんには勝てなかった理由が驚きです。二人は兵庫県淡路島から上京し、学生時代は新宿で一緒に下宿生活を送りました。渡哲也さんは日活に入社しましたが、実は渡瀬さんが書類を出したのです。兄弟は互いに尊敬し合い、特に渡瀬さんは「俺も兄貴みたいに真っ直ぐな生き方ができれば」と思っていたそうです。