Acharei Mos, Vayikra 16:2. Fear is an Ingredient of the Avodah on Yom Kippur.

Parshas Achrei Mos begins with a description of the Sacrificial Service of Yom Kippur.  The first thing Moshe was told to tell Aharon is a negative: that if Aharon were to come into the Kodesh Kadashim outside of a specific time and without specific korbanos it might cause his death.

דבר אל אהרן אחיך ואל יבא בכל עת אל הקדש מבית לפרכת אל פני הכפרת אשר על הארן ולא ימות כי בענן אראה על הכפרת

Only then does the Torah go on to say that the only way to avoid the fatal consequences of entering the Kodesh Kadashim is to enter it on Yom Kippur while doing the sacrificial service of Yom Kippur which is then described. 

Reb Moshe, in his second English Darash, says that it seems that the first thing in the instructions for Avodas Yom HaKippurim should be a positive- "Do X Y and Z."  It is unusual that the first statement in the instructions is "If you don't do it correctly, walking into the Kodesh Kadashim can be deadly."

Reb Moshe explains that this is a misunderstanding.  If you read the passuk correctly, you would realize that this fact is indeed the first ingredient in the Yom Kippur service.  Awareness of the danger of entry under any other circumstances is a prerequisite for the acceptability of the Yom Kippur service.  Only if the Kohen Gadol consciously focuses on the supreme holiness and danger of the Kodesh Kadashim, only if he is fully aware that its holiness is such that that no one may enter other than to perform the Yom Kippur service, will he do the day's avodah in a befittingly elevated state and thereby bring forgiveness.

Reb Moshe then adds that even if the Kohen Gadol knows how serious it is to enter the Kodesh Kadashim, and even if he brings all the sacrifices, he cannot come in on any day other than Yom Kippur.  Reb Moshe says 

"Perhaps, despite his elevated spiritual level, the concept of "hokar raglecha" applied to him."

The term "hokar raglecha" is from Mishlei 25:17.   הוקר רגלך מבית ריעך פן ישבעך ושנאך.  Visit your neighbor sparingly (literally, "Cool your feet" from your friend's house)  lest he become sated with you and hate you.  When I translated Reb Moshe's book for Artscroll, I tried to find the source for using the term hokar raglecha as a limit on excessive appearance before Hashem, and for years I could not find it.  The best I could do was the Gemara (Chagiga 7a) that uses this passuk to discourage people from bringing korbanos that are not necessary, but not in regard to Tefilla:

כדרבי לוי דרבי לוי רמי כתיב הוקר רגלך מבית רעך וכתיב אבא ביתך בעולות לא קשיא כאן בחטאות ואשמות כאן בעולות ושלמים תניא נמי הכי (משלי כה) הוקר רגלך מבית רעך בחטאות ואשמות הכתוב מדבר אתה אומר בחטאות ואשמות או אינו אלא בעולות ושלמים כשהוא אומר (תהילים סו) אבוא ביתך בעולות אשלם לך נדרי הרי עולות ושלמים אמור הא מה אני מקיים הוקר רגלך מבית רעך בחטאות ואשמות הכתוב מדבר.

I finally found it in the Gaon on Mishlei there, where he says that it is assur to daven more than three hours at a time. 

ועוד הקר רגלך מבית רעך אלו בתי הכנסת והיינו שאל ירבה אדם בתפילה יותר מג' שעות

The Gaon in his Chidushim in Brachos 32b also says 

כי אסור לשהות יותר מג' שעות בתפילה,כמו שכתב בבהיר, והטעם ידוע.

The Sefer HaBahir 138 says 

אסור לו לאדם לשהות שלש שעות כפיו פרוסות לשמים

If you know someone that davens shmoneh esrei on Rosh Hashanna or Yom Kippur for more than three hours, you should let them know there is a problem.  (I think that this issur only applies to Shmoneh Esrei proper, the part that is called עומד לפני המלך, standing before the king.  I'm not sure if עומד לפני המלך applies to the vidui section on Yom Kippur,.  But when it says הטעם ידוע and the taam is not yadua to me, I really should not be offering my opinions.)

Another source is Kapach's Moreh, 3:47.  The Rambam says that the purpose of having a Beis Hamikdash was so that people seeing it would be awed and inspired, and would be filled with fear of God.  If a person would find himself there on a regular basis it would diminish the awe and inspiration, and he brings the passuk in Mishlei..

כבר ביארנו כי כל המטרה הייתה במקדש  להביא את הפונה אליו להתפעלות, ושייראוהו וירהוהו, כמו שאמר ומקדשי תיראו . וכל דבר מרומם, כשיתמיד האדם להמצא בו, ימעט מה שיש בנפש ממנו, ותמעט ההתפעלות שהייתה באה על ידו. וכבר העירו חכמים ז"ל על עניין זה ואמרו, שאין רצוי להכנס למקדש בכל עת, והסמיכו את זה לאמרו 'הוקר רגלך מבית רעך פן ישבעך ושנאך' .

Then the Rambam says that this is the reason that a person that is tamei is prohibited from entering the Har Habayis- there are so many tumah restrictions that most of the time, a person would not be allowed to enter, and only after a period of vigilant watchfulness would a person be able to enter the area.

וכיון שזו הייתה המטרה, הזהיר יתעלה את הטמאים מלהכנס למקדש, עם ריבוי מיני הטומאות, עד שכמעט לא תמצא אדם טהור כי אם מעטים:

כי אם ניצול ממגע נבלה, לא ניצול ממגע אחד משמונה שרצים שנופלים הרבה בבתים ובמאכלים ובמשקים ורבות נתקל בהם האדם,

ואם ניצול מאלה, לא ינצל ממגע נדה או זבה או זב או מצורע או משכבן ,

ואם ניצול מאלה, לא ינצל משכיבת אשתו או מקרי,

ואף כאשר טהר מכל הטומאות הללו, אינו מותר לו להכנס למקדש עד שיעריב שימשו,

ואסור להכנס למקדש בלילה  כמו שנתבאר במידות ותמיד ,

ובאותו הלילה אפשר שישמש מיטתו על הרוב, או יארע לו אחד מגורמי הטומאה, וישכים למחרתו כמצבו אתמול, ויהיה כל זה סיבה להתרחק מן המקדש ושלא ירגיל שם בכל עת.

Rav Bergman also touches on this idea in his Shaarei Orah II on Achrei Mos.  He shtells tzu the Rambam in 7 Beis Habechira 1-2 that there is a mitzva to fear the Mikdash, and because of that a person may not enter even the Har Habayis unless he has a mitzva he needs to do there.

מצות עשה ליראה מן המקדש שנאמר ומקדשי תיראו. ולא מן המקדש אתה ירא אלא ממי שצוה על יראתו

ואי זו היא יראתו לא יכנס אדם להר הבית במקלו או במנעל שברגליו או באפונדתו או באבק שעל רגליו או במעות הצרורין לו בסדינו ואין צ"ל שאסור לרוק בכל הר הבית אלא אם נזדמן לו רוק מבליעו בכסותו. ולא יעשה הר הבית דרך שיכנס מפתח זו ויצא מפתח שכנגדה כדי לקצר הדרך אלא יקיפו מבחוץ. ולא יכנס לו אלא לדבר מצוה:

He also brings the Gemara in Sanhedrin 52a-b that familiarity breeds contempt.

אמר רבי (אליעזר) למה תלמיד חכם דומה לפני עם הארץ בתחלה דומה לקיתון של זהב סיפר הימנו דומה לקיתון של כסף נהנה ממנו דומה לקיתון של חרש כיון שנשבר שוב אין לו תקנה

Rebbi Eliezer says, a talmid chacham appears, to the common man, like a golden flask.  Once they engage in conversation, he appears like a silver flask.  If the talmid chacham needs help from the other person, he becomes an earthenware vessel, which once broken is utterly useless.

Rav Bergman ties this idea to the death of Nadav and Avihu.  He says that what ultimately destroyed them was the fact that after repeated contact with Moshe and Aharon, and even with Gilui Shechina, they lost a degree of awe, of hispaalus, and this diminished hispaalus led to their fatal errors (Shemos 24:11, ויחזו את האלקים ויאכלו וישתו, and the Gemara in Sanhedrin that immediately precedes the one we just quoted about familiarity: אמר לו נדב לאביהוא אימתי ימותו שני זקנים הללו ואני ואתה ננהיג את הדור).