影音數位典藏所需的自動化腳本--基礎資訊

影音數位典藏所需的自動化腳本(Bash Script)--基礎資訊


    「為什麼要學習寫程式腳本？」這是一個典藏人員會有的疑問。在傳統的典藏領域中，藏品判讀，盤點與維護等，通常佔據典藏人員大部份的工作時間。但當藏品慢慢轉到數位領域後，對於藏品的處理，通常會需要透過電腦來進行操作。在這樣的狀況下，如何讓這類的操作變得可靠與快速的技巧，便成了新一代典藏人員必需加強的目標。當然，對於只需要處理特定或少數數位藏品，或專精於實體藏品處理的典藏人員，這部份並沒有立即的需求。有空或有需要的時候再回頭來看這篇即可。

    在處理數位藏品時，自動化腳本為什麼重要？基本上可歸因於下列幾點：
  • 快速的自動化管理
    在進行數位藏品管理時，會與實體藏品一樣，經常會需要進行一些重復操作，如盤點，搬移，維護(在數位領域可能是轉碼或驗證)等。有時還會有臨時性的額外要求，例如需要輸出特殊格式的檔案。這些工作可以透過 (1)手動方式，一件一件透過拖拉，匯入轉檔軟體，逐一清點的方式處理。或 (2)寫個簡單程式，當任務來臨時便直接處理。如果要選擇方式 (2)，那就需要良好的寫腳本的功力囉。

  • 強化藏品操作的可靠性
    當在操作電腦的時候，多多少少會遇到誤刪或覆蓋檔案的狀況。當使用拖拉方式將檔案從一個資料夾複製或移動到另一個資料夾時，電腦突然當機或自動更新，那檔案是否有完整複製過去？或是否有缺漏？在日常生活中，可能只是花了一整晚的報告必需重打，但在典藏領域中，這可能意味著狀況很差的藏品必需重新數位化，甚至有時已經沒有實體藏品可用。透過自動化腳本，讓電腦取代人工，以減少人為失誤的發生。對於數位典藏而言是相當重要的理由。

    在後續文章中，還會提到關於數位藏品驗證，這是用來確保每個檔案的完整性的例行任務。在這種任務中，可以精確到每格畫面的單一像素。這可能會是在幾TB，數十萬以上的檔案中找到一個檔案中存在漏碼或複製失誤。很多時候已經不是人工可以處理狀態，因此，在這樣的工作流程中加入自動化腳本，會變得相當必要。
    在寫自動化腳本時，認識工作中所使用的作業系統會是很重要的第一步。在早期的電腦中，通常可分為 類 Unix (Unix-like，泛指 FreeBSD/Linux/Mac OS X 等) 和 Windows 系統。在類 Unix 系統中，可以透過編寫 Shell script 來做為腳本。而在 Windows 中，則是透過指令列 (Dos 介面) 中的批次檔 (.bat) 來執行。 Windows 7 之後，Windows 多了 Powershell 介面，以及 Windows 10之後，Windows 可以安裝 Ubantu Linux 的子系統 (WSL) 這兩種可以執行自動化腳本的介面。

    這系列主要會是先透過Mac OS X 下的環境來進行介紹。因此想要進行練習者，需要使用 Mac OS X 的作業系統才能使用。使用 Linux 系統的電腦在編寫這些腳本時通常也能運作，但在極端狀況下還是會需要進行語法修正。在編寫腳本時最好使用純文字編輯器，以免額外的符號造成腳本判斷的錯誤。在 Mac OS X 下，除了內建的文字編輯器 ( 需設定 [格式]→[製作純文字格式] 來確保儲存檔案為純文字格式)和 終端機內輸入 nano 開啟純文字編輯器外，可能有些人愛用 BBedit 或 vim。在Linux 系統下，常見的 vi/vim 和 gedit 都是適當的工具。

    要執行腳本時，因為需要提供輸入或輸出的資訊，因此通常會需要在指令列的工作環境下執行。在 Mac OS X 中，可透過 [Finder] → [應用程式] → [工具程式] → [終端機] 的方式，或直接使用放大鏡尋找名為 [終端機]/[Terminal.app] 的方式開啟。開啟後會出現如下面畫面：
這裡是使用者的家目錄，通常是在 /User/[使用者名稱]   這個資料夾中，也就是 [Finder] 的家目錄所在的位置。

基本指令

    自動化腳本與一般程式語言不同，它其實只是一種可被編輯的純文字檔，可以透過這個檔案讓使用者一次執行多個指令。有時候也會在腳本中加入一些運算或邏輯判斷來達到部份功能。因此在撰寫腳本前，必需先知道在指令列中如何下達指令。

    基本的指令下達方式會是如下：
bash-4.4$ command [-option] parameter1 parameter2c    
                        指令(程式/腳本)       選項              參數1            參數2

    其中指令的開頭一定是程式或可執行的檔案(腳本)，有的程式可以在所有資料夾位置都能執行，如切換工作目錄的指令 cd 等，但大部份使用者自己寫入的腳本只能在檔案所屬的資料夾中工作。要解決這樣的方式，可以透過輸入完整路徑，如:
bash-4.4$ /Users/mpcb/Downloads/ffmpeg/ffmpeg -version   
或在圖型介面下，使用拖拉方式將腳本拉進指令列視窗中。

    中括號 [] 中的部份是可選擇的設定選項，通常會在前面加上 - 號，例如 -v 或有時會使用全名 -version。parameter1 和 parameter2  是指令所要作用的參數，例如切換目錄時的目標位置。

    指令，選項，參數等這些部份中間以空格來區分，不論幾格都視為一格。由於空格是很重要的特殊字元，因此當檔名出現空格時會被誤認，雖然可以透過在空格前加上反斜線(\)來解決，但在進行檔案命名時應盡可能避免使用空格。反斜線(\)的另一個功能是換行，讓長指令可拆分為數行，讓指令更具可讀性。當指令輸入完畢後，按下[Enter]鍵後，便會開始執行。

    常用的基本指令有下列幾個：
  • cd Folder_name
    表示資料夾的移動，如 cd .. 表示向上一層，cd ~ 表示回到家目錄，cd Desktop 是下移到 Desktop 這個資料夾 (如果這個資料夾存在，不存在時會出現 cd: no such file or directory 的錯誤訊息)。
  • ls 與 ls -al
    用於顯示資料夾內容。 -al 這個參數表示顯示所有資訊，在主指令後面空一格加上參數也是指令使用的方式。

    此圖中： . 表示當前資料夾。.. 表示當前資料夾。最左側是這些檔案或檔案的讀/寫/執行( rwx )的權利，如 test_dir 的最左側以 d 開始，表示這是一個資料夾。test.sh 的最左側以 -rw 開始，表示這是一個可讀寫的檔案。bash.sh 左側有 rwx ，表示這是一個可讀寫和執行的檔案。要執行的腳本必需有 rwx 的權限。
  • chmod 與 chmod +x file_name
    用於修改檔案或檔案夾的權限，+x 表示將該檔案權限修改為可執行的狀態。如下圖：

  • sh script_name 或 ./script_name
    執行腳本檔案的方式。如下圖

  • mkdir Folder_name
    用於新增資料夾，建議開啟一個資料夾供工作或練習使用。如下圖中，新增了一個名為 new_dir。

  • cat File_name
    顯示檔案內容。如下圖中，顯示檔案 test.sh 是由這兩行文所組成。

    在學會這些基礎指令後，下篇文章便可以開始進行基礎腳本編寫，與練習如何讓腳本可以輸入與輸出資訊，與使用 if 函式進行判斷。


留言

張貼留言

這個網誌中的熱門文章

低成本的數位影像修復 (OpenCV Inpainting)

圖片
低成本的數位影像修復 (OpenCV Inpainting)           影像的數位修復一向是個昂貴的工作。造成其價格居高不下的，除了高效能的硬體外，還有不便宜的軟體成本。目前市面上常見的數位修復軟體包括： Phoenix (DigitalVision) ， Diamant (HS-ART) ， PFClean (The Pixel Farm) ，以及較小眾的 DRS Nova (MTI) ，與部份使用特效軟體如 AE (Adobe) 來進行影像修復。這些產品通常都所費不貲，對於修復需求較小的個人或小型典藏單位而言並不是好的投資目標。如果透過外包給服務商的方式來處理，也是筆不小的花費。          面對這樣的問題，開源程式會是很好的解決方案。在 " Japan as destination in 20th century visual and material culture (2013-2016)" 這個計畫中，便使用 Python 程式語言的 OpenCV 函式庫，用其來進行影像中刮痕，髒點的修復與區域性降噪處理。 Inpainting         在使用這種方式進行數位修復前，需先安裝 Python 與 OpenCV 函式庫。 OpenCV 函式庫中，使用 cv2.inpaint() 這個函式來進行影像修復。修復影像的方式使用了兩種演算法： cv2.INPAINT_TELEA 與 cv2.INPAINT_NS 。           第一種演算法 TELEA 是 由Alexandru Telea在2004年提出的演算法， 使用 快速行進算法 來回溯需修復的區域。這種演算法會從修復區域的邊界開始，並向內填補。演算法的權重對於演算結果會相當大的影響，越往區域內部也可能有越大的誤差。          第二種演算法 NS 於 2001 年由 Bertalmio 等人提出的，使用用來描述流體的 Navier-Stokes 方程式，透過偏微分程式，由修復區...
閱讀完整內容

影音類載體 -- 聲音類 -- 8軌匣式錄音帶（8 track tape）

圖片
特徵 格式名稱：8 track tape / Stereo 8 內容記錄類型：類比 上市時期：1964 使用期間：1964 - 1980初 外觀：匣式 (cartridge) 尺寸：帶寬：1/4"；片長：45 分，有加長版至 90 分鐘版。 外盒： 4" × 5¼" × ⅘" 長方型塑膠盒；有可能置於紙盒外包裝。 識別：卡匣上通常帶有含節目名稱的標籤，由於可由使用者自行錄音，內容可能與標示不符。 製造商：Ampex，RCA，Scotch 3M… 錄放音機：非常少見， 網路二手平台 或跳蚤市場可見二手器材。 用途：主要用於汽車音響或家用領域。 風險： 訊號損失風險大，設備過時。 狀態評估：目視判斷是否有斷帶，摺帶（卡帶），異物汙染，沾黏症，磁層脫落，發霉和其他問題的跡象，需要進行播放以進行全面檢查。 保存行為：建議立即透過轉錄為數位格式。轉檔前可能需要清潔。可能需要更換包裝。 圖片 8 track 音樂卡帶內部構造。By User  Isis  on  en.wikipedia  - Originally from  en.wikipedia ; description page is (was)  here  * 20:50, 21 October 2002,  CC BY-SA 3.0 8 track 卡匣軌道分布圖。Source:  8trackheaven.com 備註     現在磁帶的起源可回溯自1930年代，早期格式為盤式錄音帶，但為了讓使用方便，在1950年代開始製作盒式錄音帶。而  8軌匣式錄音帶在 1960 年代發明。美國人 William Powell Lear 將之前的四軌盒式錄音帶改造後，簡化部份元件，並將聲軌從四軌變成八軌後，成為最早的 8軌匣式錄音帶。這樣的格式由於被福特汽車選做為配件，加上使用方便（直接插入即開始播放，停止時直接取出即可），且可循環播放，因此在 60 年代一度相當流行。但除了美國、英語系國家、歐洲的德國，義大利和日本外，在其餘地區則並不一定容易找到。      8軌匣式錄音帶使用 1/4" 塑膠片基，使用與早期盤式錄音帶相同的鏽褐色的鐵氧化合物的磁性塗層，與每秒3....
閱讀完整內容

影音數位典藏所需的自動化腳本(Bash Script)--函式

影音數位典藏所需的自動化腳本(Bash Script)--函式     在撰寫腳本和程式時，有時候會過到相同的工作會同時出現在不同階段的狀況，例如顯示提示或錯誤訊息。此時，「函式 ( 或稱函數，子程式，function/subroutine)」就是一個好用的工具。如果同樣的功能會在不同腳本中都會用到，例如判斷輸入檔案，也可以寫成函式。在撰寫新的腳本中，可以直接將整個函式整個搬過去，就不用再寫一次了。如果常用的函式累積得夠多，還可以直接整理到一個檔案中，做成函式庫。直接透過引用 (source) 來呼叫函，連複製的動作都可以省略。 函式的完整表示方式為： function   fname () {     command } 其中 fname 就是未來要做成執行指令的名稱，而 command 就是這段指令預期執行的內容。與一般程式寫法不同，腳本有嚴格的前後順序。因此在腳本中的所有函式必需放在主程式段之前，否則會有無法找到函式的問題。 利用函式撰寫產生 MD5 的腳本     前面寫過產生影音檔 metadata 的腳本，相同的架構可以很外的修改成產生以畫格為基礎的 md5 集的功能，只要將最後產生 json 的指令更改如下即可： ffmpeg -i "${input_file}" -f framemd5 "${filename}" 但這樣的腳本中有許多部份可以拆成下列幾個部份： 顯示錯誤訊息 顯示操作說明 讀取目標 判斷目標是否為影音檔 執行主要指令 顯示錯誤訊息 # display an error message and exit function prompt_error() {     echo "Error: ${1:-Unknown Error.}"     exit 1 } 建立一個名為 prompt_error 的函式，這個函式的工作是顯示 "Error: 錯誤訊息"。 因此在後續的指令中，需要顯示錯誤訊息的地方，只要寫成 「prompt_error "錯誤訊息"」 即可。「${1:-Unknown Error.} 」這個寫法代表，應出現在指令後方...
閱讀完整內容