У этого фразеологизма две версии происхождения. Первая, и более простая, отсылает нас к публицистике. Не секрет, что и писатели, и репортеры, наблюдая за окружающей их жизнью, постоянно делали краткие записи для будущих статей или литературных произведений. От абстрактного «взять на заметку» и родилось конкретное и более образное выражение «взять на карандаш». По другой версии, этот фразеологизм пришел к нам с госслужбы. Конкретно – из жандармерии XIX века, где неблагонадежных граждан принято было помечать в списках графитовым карандашом, а не классическими чернилами. При необходимости такую пометку легко было исправить. Но оказаться взятым на карандаш все равно никому не хотелось. Ведь если подозрения подтверждались, эту метку уже делали чернилами, и последствия для провинившегося были не только на бумаге.