Veeam Backup: existing backup meta file on repository is not synchronized with the DB

Привет! Недавно столкнулся с очередной проблемой на Veeam Backup and Replication 9.5. Сервер Veeam подвис и я не смог к нему подключиться ни через RDP или RPC, ни через managment интерфейс (HP iLO). Пришлось сервер перезагружать по питанию. После этого я попытался запустить задания бекапа, которые не выполнились за прошедшую ночь и тут посыпались одинаковые ошибки:
Cannot proceed with the job: existing backup meta file 'D:\Backup\test.vbm' on repository 'Scale-Out_Repository' is not synchronized with the DB. To resolve this, run repository rescan.
Я попытался сделать сканирование репозитория но ничего не вышло: ошибка появлялась вновь.  При этом задания бекапа логов автоматически запустились через повторный перезапуск сервисов Veeam и начали успешно бекапить SQL.  Попытался создать клон задания — оно начало выполняться. Далее начал смотреть сами vbm  файлы, точнее их содержание и тут обнаружилось: все файлы, на которые ругался Veeam полностью либо частично повреждены, точнее в них содержится набор нечитаемых символов. Так это выглядело в Notepad++:

В логах бекапа SQL логов нашлось более интересная вещь:По крайней мере стало понятно, что произошел какой-то сбой на сервере, в результате которого вместо информации о бекапах текущего задания в файл сам Veeam начал заносить текст со слетевшей кодировкой.
После этого обратился в поддержку Veeam, где они посоветовали удалить файл vbm и запустить задание вновь. О чудо все заработало. Оказывается в случае если в директории нет файла  vbm, то тогда Veeam  берет информацию о бекапе из базы своей базы данных. Вот такая вот интересная история.

Ошибка восстановления базы данных SQL

Veeam Backup & Replication 9.5 Update 4. Столкнулся с ошибкой при восстановлении базы MSSQL на не оригинальный сервер. После нескольких десятков минут копирования данных (база более 2 ТБ) задание завершалось с ошибкой:
Database restore failed: Failed to read block from file: C:\Windows\TEMP\o1p4abst.bwj\MSSQL.1\MSSQL\Data\work_data.mdf The system cannot find the file specified.
Database restore failed: Failed to read block from file: C:\Windows\TEMP\o1p4abst.bwj\MSSQL.1\MSSQL\Data\work_data.mdf The system cannot find the file specified.

Если глянуть логи на сервере, куда данные восстанавливаются, то там будет следующий текст:
dpl| ERR |Failed to execute DoRpcWithBinary. Command name: 'DoSerialRpc'.
dpl| >> |[NO_SESSION_ERROR] Cannot find session
dpl| >> |--tr:Failed to get session with id {e59b788f-ccea-4656-b68d-3392c8176097}
dpl| >> |--tr:Failed to call DoRpc. CmdName: [DoSerialRpc] inParam: [<InputArguments/>].
dpl| >> |An exception was thrown from thread [3876].

В системном логе была найдена такая ошибка:
Log Name: System
Source: Microsoft-Windows-NDIS
Date: 28.09.2020 17:17:15
Event ID: 10400
Task Category: None
Level: Warning
Keywords:
User: N/A
Description:
The network interface "vmxnet3 Ethernet Adapter" has begun resetting. There will be a momentary disruption in network connectivity while the hardware resets.
Reason: The network driver detected that its hardware has stopped responding to commands.
This network interface has reset 3 time(s) since it was last initialized.

Последний лог и подтолкнул сделать обновление драйверов на виртуальную сетевую карту vmware, т.к. vmware tools были очень древние. И, о чудо, обновление помогло. Следующий раз восстановление прошло успешно!

Ошибка c event id 8194 в VSS

Если у вас после создания теневой копии в Windows Server 2016 возникла ошибка в логе Application «hr = 0x80070005 Access is denied» от источника VSS с Event ID 8194, то знайте, что это стандартная ошибка на свежеустановленной системе и чтобы ее решить надо зайти в настройки DCOM, набрав dcomcnfg и учетной записи Network Service предоставить право локального доступа. Как это сделать смотрите на скриншоте ниже.

После этого нужно перезапустить службу «Система событий COM+» или в английской редакции «COM+ Event System» и затем службу «Теневое копирование тома» или «Volume Shadow Copy» в английской редакции и после этого ошибка из логов пропадет при создании снапшота диска.

Ошибка в задании резервного копирования Symantec Backup Exec

Initialization failure on: «Microsoft Information Store». Snapshot technology used: Microsoft Volume Shadow Copy Service (VSS).
Snapshot technology error (0xE0008516): The database specified for the snapshot was not backed up because the database was not mounted.

Такая ошибка начала появляться при бекапе серверов Exchange в DAG-e.
Причина ошибки: сменили пароль на учетную запись, под которой запускаются сервисы Symantec Backup Exec.
Помог рестарт служб:
Backup Exec Agent Browser
Backup Exec Device & Media Service
Backup Exec Management Service
Backup Exec Server

и ввод пароля от сервисной учетной записи.

Veeam backup error Code: 1326

Привет! Если вы поменяете пароль для учетной записи, с помощью которой Veeam подключается к серверам для бекапа, то можете столкнуться с ошибкой  «Failed to connect to Oracle Details: Failed to logon user Win32 error:Logon failure: unknown user name or bad password. Code: 1326«, даже если он реально правильный. Ошибка возникает после смены пароля в бекапных заданиях, где включена функция «Application-aware processing» и где используется Veeam Agent. Конкретно у меня ошибка была только при ночных системных бекапах  серверов SQL, бекапы логов успешно проводились. Для решения проблемы необходимо обновить Veeam Backup and Recovery и Veeam Agent. Их версии должны быть 9.5.4.2866 и 3.0.2 соответственно. В моем случае понадобилось только обновить агенты и даже не пришлось перезагружать сервера.

Зависание процесса «Creating VSS snapshot» в Veeam BR

Недавно возникла проблема с сервером, когда на нем процесс резервного копирования зависала при выполнении задачи «Creating VSS snapshot«. Начал выяснять что с сервером. Оказывается: при выполнении команды vssadmin list writers она зависала и не выводила результаты. Для решение проблемы мне помогло:
1) перезапуск сервиса «COM+ Event System» (в английской версии сервера). За перезапуском тянутся также другие службы (BITS, COM+ System Application, System Event Notification Service)
2) после этого команда vssadmin list writers стала выдавать чистый вывод и помог следующий шаг:
3) перезапуск службы Microsoft Software Shadow Copy Provider

P.S.  Такое же решение проблемы будет в случае ошибки в Veeam: Creating VSS snapshot Error: Failed to create snapshot: Backup job failed. Cannot collect writers metadata. VSS asynchronous operation is not completed. Operation: [Gather metadata]. Code: [0x80042318]. В таком случае команда vssadmin list writers будет выдавать чистый вывод. Помогает рестарт службы «COM+ Event System» и «Volume Shadow Copy»

Error Veeam Backup and Replication: «Unable get OIB by id»

Неожиданно на агентском задании бекапа SQL-кластера в Veeam BR 9.5 Update 4 возникла ошибка «Error: Unable get OIB by id ‘f3d18c39-7ff7-4524-b1db-e862719c6230’ «. Ошибка не хотела пропадать даже после создания нового задания. Пришлось обратиться в техническую поддержку Veeam за помощью и вот что они предложили сделать:
1) Выполняем SQL запрос для конфигурационной базы Veeam:
select * FROM [dbo].[Backup.Model.OibsWithAlwaysOnGroups] where oib_id=’f3d18c39-7ff7-4524-b1db-e862719c6230’
должен вывести проблемную точку восстановления
2) Выполняем SQL запрос delete [dbo].[Backup.Model.OibsWithAlwaysOnGroups] where oib_id=’f3d18c39-7ff7-4524-b1db-e862719c6230′ -для удаления проблемной точки восстановления из цепочки.
3) Делаем рескан репозитория, где хранятся резервные копии проблемного задания бекапа и после снова запускаем задание.
После проделанных действий ошибка пропала и бекап снова стал выполняться.

Ошибка «FC initiators list is empty» в Veeam Backup & Replication 9.5 Update 4

После обновления Veeam BR до обновления Update 4 стала появляться периодически ошибка «При бекапе виртуальной машины возникает ошибка «FC initiators list is empty«.

Причина: данная проблема возникает после установки Update 4, если в инфраструктуре используется хранилище Dell EMC Unity и когда в задании резервного копирования используется настройка «Автоматический выбор прокси-сервера».

Решение: на сервере Veeam BR необходимо создать ключ в реестре. В следующем обновлении Veeam данная проблема должна быть решена и ключ в реестре нужно будет удалить.

  1. Запускаем regedit
  2. Открываем ветку реестра HKEY_LOCAL_MACHINE\SOFTWARE\Veeam\Veeam Backup and Replication\
  3. Создаем ключ типа REG_DWORD с названием EMCUseUnityApi и со значением 0.


Ошибка «We couldn’t create a new partition or locate an existing one» при установке Windows Server 2012R2 на ProLiant BL460c G7

Привет! Первый раз столкнулся с проблемой установки серверной системы Microsoft на сервер HP. Вот возможные варианты решения данной проблемы:

  1. внедрить драйвера дискового контроллера в образ Windows
  2. драйвера дискового контроллера подсунуть на флешке, подключив ее  перед запуском установки системы
  3. самый оптимальный для ленивых админов:
    • нажать Shift+F10 в момент, когда появилось сообщение об ошибке.
    • В cmd набрать команды:
      diskpart
      list disk
      select disk 0 (номер диска куда устанавливается система)
      clean
      create partition primary
      format fs=ntfs quick
      assign
      active
      list volume (смотрим какая буква назначилась разделу и какая буква принадлежит iso с дистрибутивом)
      exit
      cd D: (переходим в каталог, где лежит дистрибутив системы)
      xcopy d: c:/e/h/k (копируем дистрибутив на раздел куда будем устанавливать систему)
  • после завершения копирования отключаем ISO-образ от сервера и перезагружаемся
  • запустится инсталлятор системы непосредственно с дисковой подсистемы сервера. В процессе установки указываем тот же раздел, в который копировали установщик
  • После завершения установки и входа в систему надо очистить корень системного диска С: от файлов и папок установщика.
  • правим загрузчик системы., иначе по-умолчанию в его настройках будет 2 записи, одна из которых будет ссылаться на установочные файлы. Для этого в загруженной системе открываем cmd и пишем:
    bcdedit 
    Находим запись об установщике Windows Setup и копируем его идентификатор
    bcdedit /delete <ID> 
    Удаляем запись с нужным идентификатором
    После этого установленная система не будет отличаться от той, что была бы установлена по 1 или 2 способу.

Ошибка принтера Xerox: 07-500 Bypass Tray is empty.

Подключаю несколько принтеров Xerox к принт-серверу, у которых в статусе горят ошибки: «07-500 Bypass Tray is empty», пытался их устранить — обновлял прошивки, менял настройки, но ничего не помогало — состояние очереди к этому принтеру на сервере было «Отключен». Помогла информация из сети интернет — нужно зайти в свойства принтера во вкладку «Порты», выбрать настроенный порт и нажать «Настроить порт» и снять галочку с пункта «Состояние SNMP разрешено»

После этого состояние очереди принтера перешла в статус «Готов» и принтер запечатал.