脊椎動物の場合、無脊椎動物で眼球の外の視葉にあった双極細胞、アマクリン細胞、水平細胞、神経節細胞が眼球内の網膜にあります。錐体は錐体双極細胞経由で神経節細胞に、また桿体は桿体双極細胞経由でアマクリン細胞に接続し、その後神経節細胞につながっています。但し、1個の錐体細胞はたいてい1個の双極細胞と結合していますが、桿体細胞の場合、複数の桿体細胞が1個の双極細胞に集中結合しています。錐体に比べ桿体による視覚が劣るのはこのような結合の差異もあるようです。
以下、人間を例に主に説明してゆきます。
まず、色に関してですが、神経節細胞は反対色反応をする事がわかっています。これは、長波長光と短波長光で反対の反応をする事を意味します。従って、赤い色にon反応（興奮）し、補色である緑色の光にはoff反応（抑制）を示すのです。これは“Ｒ（赤）－Ｇ（緑）”の色差信号を出している事と同じで、“色情報を符号化”しているとも見て良いでしょう。
実際には網膜では、輝度と反対色の２つの信号系を作っています。輝度系では、赤＋緑、つまり黄色のＹ信号を、反対色系では前述の（赤―緑）信号と（黄－青）信号の２つを作っています。後述の色の計測の章で色覚を説明する色覚モデルを紹介しますが、このような網膜での処理が基礎となっています。なおこの反対色反応はサル、キンギョ、カメでも確認されています。
また神経節細胞は網膜の、ある広がりをもつ領域（受容野）に入射した光刺激に反応します。この時、この領域にはこの刺激で興奮する領域と興奮を抑制する領域がペアで存在します。中心部が興奮し、周辺部が抑制性のものをon型と呼びますが、on型とこの逆のoff型の２つのタイプがあります。暗い背景の中で明るい刺激と明るい背景中の暗い刺激に各々感じている事になります。このような機構を側抑制とよびますが。この機構でコントラストを高め効率よく対象の識別ができるような仕組みが実現されているのです。なお双極細胞にもonとoffの２つのタイプがある事がわかっています。但し桿体に接続している双極細胞はon型のみです。
またアクマリン細胞の中には網膜の広い範囲に軸索をのばしているものがいます。この細胞は網膜全体で同じ方向へ移動する光刺激があった時に神経節細胞の興奮を抑える働きをしています。つまり景色“全体の一様な動き”を個々の神経節細胞が“無視”できる機構として働いています。またアマクリン細胞は光刺激の開始と終了時にパルスを出し、“コントラスト変化に感じる”機能を果たします。この他、アクマリン細胞は色々な処理に関係しているようですが、未知の部分も多く残されています。
最終的に光情報は網膜の出力細胞である神経節細胞に送られ、これが視覚情報処理の起点になります。また視細胞は光刺激に対して電位変化を起こしますが、神経節細胞や視神経繊維は電位変化ではなく、スパイク（パルス）を出して情報を伝達します。視細胞の電位変化を振幅の変位とすれば視神経節等のパルスは周波数変位ともいえます。このように信号を変換する事で伝送距離によらず、またノイズの影響も受けずに信号が確実に脳に伝達されるのです。
網膜各部から集まった神経節細胞の軸索突起は乳頭部から眼球外に出て、視神経となります。視神経は発生過程から間脳に由来する中枢神経です。視神経は間脳の視床下部で視神経が交叉し、視索となった後、２つの経路に分かれます。①１つの経路は、間脳の視床の一部である外側膝状体に向かいます。外側膝状体から出た神経繊維は、大脳皮質の視覚野につながります。この膝状体は視覚情報を大脳皮質に送り込むためのゲート機能を果たしており、ここで必要に応じて大脳皮質への出力レベルが調整されています。外側膝状体は“対象”が何か、という事を知覚する機能に関係します。②他の経路では、視索は中脳にある上丘系と視蓋前域上丘系にもつながり、ここは視覚対象に対し目を向け、“視野のどこにあるか”、という機能や運動視に関係しています。なお上丘は視床の下、松果体の周辺に位置します。また上丘は下等動物（魚類、両棲類、爬虫類など）では中脳の背側部にある視蓋（視葉）に相当し、視覚系の主な中枢になっています。なおこの①膝状体系と②非膝状体系の２つの視覚系は鳥類、爬虫類、両性類、魚類に存在する事が確認されています。またこの２つの視覚系は完全に分離しておらず、相互に機能を補完しあっているのです。
視神経交叉では一部の神経繊維が分かれ、視交叉上核という部位に入ります。この視交叉上核は生体時計を司る場所です。ちなみにこの生体時計は哺乳類では視交叉上核にありますが、鳥類では松果体、昆虫では視葉に軟体動物のアメフラシでは眼と体壁～腹部神経球にあると考えられています。
また両眼の網膜で鼻側に分布する神経節細胞からの視神経は視交叉で交叉し、右目の視神経は左脳側に、左脳側の視神経は右脳側へとつながります。但し、耳側に分布する視神経節細胞からの視神経は視神経交叉で交叉せずそのまま同じ側の脳に繋がります。眼が前方につき、両眼視野が広い動物ほど交叉しない神経が多くなります。この視神経の非交叉は両眼視差による立体視と関係付けられています。
人間では視神経の45%が交叉しません。人間より両眼視野の狭い（約1/4）ネズミでは10%の視神経が交叉しません。このように哺乳類では、非交叉の割合は、ウサギ・ラット、ネコ・イヌ、サル、ヒトとなるに従い、13%から50%へと変化する事が知られています。他方、基本的には鳥類以下の動物では視神経は100%交叉（全交叉）します。但し、例外として爬虫類ではトカゲやヘビ、ワニ、両性類ではカエルやサンショウウオ、魚類ではチョウザメやピラニア成魚の視神経が非交叉している事が確認されています。この中で両性類のカエルは特殊です。オタマジャクシの眼は頭部側面にありますが成体のカエルでは頭の正面に眼が移動します。これに伴い、オタマジャクシの視神経は魚類のように100%交叉していますが、変態後の成体カエルでは一部が非交叉（半交叉）するようになります。なお両眼視野の範囲とこの非交叉視神経との関係は特にみつかってはいません。
以上のように外側膝状体では左右の眼からの信号が独立して処理されます。外側膝状体から大脳視覚野の経路では、基本的に対象の色や形態、立体視に関係した奥行き感などの高度な視覚情報処理が行われます。このような視覚情報処理は、脳の後頭葉に集中しています。大脳新皮質の後頭葉の外側にあるV1（第1次視覚野）、月状溝と下後頭溝にかかっているV2（第2次視覚野）、月状溝の前部にあるV4（第4次視覚野）、上側頭溝の内部にあるV5（第5次視覚野）やMT野などで初期視覚の機能が担われていることが分かっています。
V1やV2で物体の輪郭や両眼立体視の情報処理が、また色彩や形態の知覚はV4、運動の知覚はV5で行われています。ちなみに人間では、直線（線分）の検出はＶ１で行われていますが、鳥類では視覚皮質が未発達で、網膜で検出されています。
人間だけではなく、ネコやサルでも大脳皮質で主に形態視に関する情報処理が行われています。他方、ウサギ、リスや鳥類、またカエルや魚類では網膜の神経節細胞が人間よりも特殊化しており、形状認識の基礎となる、境界、色、コントラスト、向き、運動方向などの変化は網膜の内部で処理されています。
視覚情報処理について説明してきましたが、眼の構造や脳の違いにもかかわらず、動物の視覚系では物体を把握するために、光の強度やその変化量ではなく明暗のコントラスト（輪郭情報）が基本になっている事がわかります。コントラスト情報で形やエッジを認識し、これに色情報をつけ加える事で環境光が常に変化したり波長域が偏った環境でも対象を同定する事ができるのです。また、コントラストの時間変化で動きの検出が可能になっています。