伊東氏・伊藤氏はともに藤原姓であるので基本的に同族。平安時代前期、鎌足第１１代・南家武智麻呂子孫の藤原為憲に至り朝廷より官職「木工介」を得て、その「工」に藤原の「藤」を組み合わせ「工藤氏」。次いで伊豆国院領・狩野荘の在庁官人となってはじめて「狩野氏」をも名乗り、また、工藤・狩野氏は本籍地（本貫地）が伊豆国であったため伊豆国の藤原氏として「伊藤氏」をも称した。

　その後、平安時代後期、工藤・狩野氏は「伊東郷」の開発を進めて発展。伊東郷は、当主・工藤祐経の後見人で従兄弟の河津祐親が領主になった時期に、京の平家・朝廷と連携して寄進地系「伊東荘」となって繁栄。祐親は河津氏を嫡男祐泰に譲り自らは伊東氏を称した。源平合戦での祐親の死後、鎌倉時代のはじめには将軍頼朝が伊東荘を祐親から本来の所有者・工藤祐経に返還させる措置をとり、祐経死後には、総領の嫡男工藤祐時に伊東を与えて伊東氏に改正し、伊豆・伊東ほか全国二十八箇所の領主を受継いだ。

　この伊東氏は、鎌倉時代から南北朝期まで「伊豆・伊東」を本拠地にして活躍し、その後日向、安積など全国的に広がっていった。
　また工藤・伊東流は歴史的な藤原南家の大族であり、時代の激流の中で、「伊東」姓が不都合のとき、藤原氏を強調するため伊東を「伊藤」と改めたものも少なくないという。
　伊豆国・為憲流の伊東・伊藤氏の家紋は、主に「庵木瓜」の系統あるいは「月星九曜」など月星の系統である。また、名前に伊豆・伊東元祖祐隆（家次・家継）由来の「祐」の通字も多い。

　一方、藤原秀郷流の伊藤氏は、藤原北家の中の一流（佐藤公清流）であるため「藤（上り・下り」紋を用いた。　両氏の異同の判断において家紋は大きな判断材料である。
　　　　　　　　　　　　　　　　　

南家・藤原為憲流
＜伊豆国＞

北家・藤原秀郷流
＜伊勢国＞

　　　　＜伊勢国 工藤・伊東流の伊藤氏＞

　鎌倉のはじめ将軍頼朝は工藤祐経に日向国地頭ほか全国２８ヶ所の所領を与えたが、「伊勢国萩原１００町」とある。また日向記と姓氏家系大辞典（太田亮）には、伊勢国後白河院領「富田荘」を将軍頼朝が祐経に与えこれを相続した祐時五男祐明は日向国に下向し、田島荘や冨田荘を領し田島氏、富田氏等を名乗ったとある。
このように、伊勢国は北家・佐藤流伊藤氏の本籍地ではあるが、領地・人脈のつながり深い南家・工藤・伊東流の伊藤氏が少なくないという。

　　　　＜伊東郷の「伊東荘」化と伊東氏発生＞

　平安時代末期（1085）、工藤氏であった狩野祐隆が狩野荘に居住し徐々に開発を進め、やがて狩野荘を三男狩野茂光に譲り、祐隆は「伊東郷」へ移住し、宇佐美,楠美、河津の地頭になる。この時代伊東郷を伊藤郷と呼んだ記録も多く、伊藤・伊東双方を名乗っていた。　　　
しかし、工藤・狩野氏が本格的に「伊東氏」を名乗るようになったのは、祐隆の子祐継から、宗家・嫡男祐経の後身人として後事を頼まれた甥子「河津祐親」が、「伊東郷」を押領し、これを京の平家重盛に寄進して、寄進地系荘園「伊東荘」とし、名前も「伊東祐親」を名乗って以降本格的に「伊東氏」が発生。いわゆる伊豆国田方郡伊東郷を本籍とする「伊東荘」の伊東氏である。従って、祐親以前の工藤・狩野氏時代は、「伊藤氏」優勢で称せられ、伊東荘の発展と共に「伊東氏」が勢いを増し、やがて公的に京の中央政府に登記された「伊東荘」とその荘園領主「伊東祐親」に至って専ら「伊東氏」に収斂していった。なお、「伊東」の地名は、伊豆半島の東側の荘園（東浦荘）に由来するという。