Topaz Video Enhance AI, 2번째 이야기 - 이미지나 사진을 업스케일링 한 결과와 타프로그램과의 비교! (모델: 장나라 Test)

기존 연구칼럼에서 이어나가는 이야기!

 

https://charlieman.tistory.com/967

현존 최고의 업스케일 프로그램, Topaz Video Enhance AI.. 그러나 왠만해서 버거운 인코딩 시간! 필자

 

일단 버전 테스트 결과, 필자의 윈도우 7에서는 1.6.1 버전까지 설치가 가능한듯!!

 

사실 업스케일링으로 써먹기는 좀 어려운 수준이다!

필자의 데스크탑은 12년전 견식 CPU 사양에, 그래픽카드 9600GT,  요새 최신컴이 람보르기니라면.. 티코 수준이라고 볼수 있다. 

블로그 포스팅하고 유튜브하고, 영상보는거에는 4K만 아니라면 아무 문제 없지만, 일단 뭐 그렇단 이야기!

 

오늘 이 실험에선 이러저러한 장나라의 저화질 이미지들을 복원해보도록 하자!

 

나와라! 충실하고 만만한 실험조수, 나라스티나~여!!

닌자거북이로 테스트 할까하다가,

 

아무래도 그래도 닝겐! 인간으로 테스트가 낳을까 싶어 장나라로 테스트!

 

 

 

장나라 인스타에 있던 기본적인 이 이미지를 업스케일링 해보자!

원본 상태가 그렇게 좋지는 않다!

 

 

처음엔 이미지는 안되나 보나 했는데.. 되긴 한다... 근데 왠만큰 작은 이미지도 한 5분 로딩이 돌아간다. 큰 이미지일 경우, 한 20분 놔둬도 다음 단계가 안떠서 안되나 보다 했는데, 되긴 한다.

별도로 토파즈 기가픽셀을 다운받아야 하나 싶었지만, 일단 이 비디오 강화 프로그램으로도 충분히 되는 것이다. 

1번과 같이 렌더링 메뉴가 따로 있고, 2번과 같이 상하에 바로 Process 시작 메뉴가 있지만, 그냥 바로 2번을 선택하는게 좋다. 

렌더링 시간이나 실제 처리해서 저장하는 시간이나 비등비등할만큼 렌더링도 오래걸린다. 

렌더링하면 개선된 이미지를 프로그램상에서 볼수 있는데.. 별도 편집이 더 가능한 것 같지도 않고, 결국은 개선된 이미지를 저장하려면 다시 프라세스 버튼을 눌러야 하는데, 시간이 또 많이 걸린다. 

 

요즘 프린터 복합기 스캔할때 스캔을 하기전 스캔결과 미리보기와 바로 스캔 등의 메뉴가 있지만, 

결국 미리본들, 미리본 파일이 저장되는게 아니라, 다시 스캔메뉴를 눌러, 또 스캔작업을 한후 저장이 되는 것처럼 비효율적이다. 

 

영상에서는 그래도 렌더링이 한 5분 걸리고, 실제 처리는 수시간 걸린다면 대략을 일단 볼수 있으니 렌더링의 의미가 있겠지만,, 한장의 이미지에선 렌더링을 해봤자 거의 곱절이 시간이 들어가기 때문에, 그냥 바로 원본이미지 추가후 처리를 시작하는게 좋다. 

 

 

200% 토파즈 업스케일 이미지! 클릭을 하면 선명하게 볼수 있다. 

 

아래는 300% 토파즈 업스케일 이미지!

아무튼 선명도를 살린채 업스케일 된다는 것이 장점이다!

실제로 업스케일이 부자연스럽지 않고, 저게 원본이고, 원본이 축소된 화질이 아닐까 싶을 정도로 효과가 좋다.

 

 

 

원본 이미지의 얼굴 부분을 오려보자!

 

아래는 이 명함판 사이즈의 이미지를, 토파즈에서 300% 확대해본 결과물!

 

뽑은 결과물 이미지!

코와 입부분등에 약간의 형상붕괴가 있지만, 상당히 뛰어나다.. 머리칼 한올한올을 재현해내는 위력!!

 

(모바일 페이지로 보면 좀 축소된 이미지라 확대만 하지 않으면 걍 괜찮게 보임!)

아무튼 화질관련 연구인 이 포스팅은, 정확히 참조하려면 브라우저에서 클릭해 원본크기로 살펴볼 것!

 

 

작업한 파일을 지울때는 아래 둘중에 어느 하나를 선택해도 같다.

대체 뭔 차이일까??

 

 

좀더 작은 화소가 떨어지는 이미지도 제대로 업스케일이 되는지 TEST!!

 

얼굴 부분을 오려 실험!

증명사진 사이즈인데.. 화소가 사이즈대비로도 좀 떨어져보이는 느낌.. 흔히 말하는 화면크기 대비로도 저비트레이트 느낌,  이런 경우는 어떻게 나올까?

 

 

최대 600% 토파즈 확대 모습!

뭔가 좀 실패한 겜성!!

 

 

배율이 문제인가? 400% 확대경우!

 

200% 업스케일의 경우!

기본을 제대로 잡는 것에 실패한 듯!

 

위 200% 이미지를 뽑은걸, 다시 200% 업스케일 하면..?

위의 400%와 거의 동일한 것을 볼수 있다... 

 

배경이라면 모를까? 인물같이 특징이 있는 경우, 사람을 사람다운 형체로 AI가 복원하는 능력까지는 없는듯!!

이게 정말 AI인지도 모르겠지만, 알파고처럼 딥러닝 개선학습이라도 되지 않는다면야!!

 

아무튼 업스케일 프로그램치고는 상당히 신박한 능력을 보여준다.

 

 

토파즈 정도는 아니지만, 원본보다는 좀더 낳은 개선을 이끌어내는 필터값을 조절한 버츄얼덥의 이미지 업스케일링!

필자의 컴에서도 렌더링이 매우 빠르고, 실질적 허용 시간 범위내에서 영상 업스케일이 가능해 필자가 즐겨쓰는 프로그램!

 

이 정도의 결과물을 보여준다.. 별거 아니네 싶을수도있지만, 같은 크기로 원본을 확대해 비교해보면 좀 낳아진 것을 볼수 있다.

 

왼쪽은 원본 확대.. 오른쪽은 버츄얼덥 300% 업스케일..
영상이라면 여기에 Vreaveal등으로 Clean효과를 적용해주면 다시 잡티가 좀 사라지고 원본보다는 좋은 화질이 된다. 

 

너무 저화질이라 그렇지만, 작은 화면이라도 비트레이트 풍부한 영상은 지것보단 좀더 시원하게 업스케일 되는 것이다. 

 

토파즈에서 이를 200% 업스케일로 뽑아보면?

잡티는 많지만, 아까 토파즈처럼 일련의 형상붕괴는 없었다!

 

 

 

다음은 고화질 이미지 뽑아주는 프로그램 웨이푸에서 뽑아보자!

 

노이즈 처리 없이 사진에서 200% 도출

뭔가 잡티가 심해서 노이즈 처리 중간!

좀더 낳아진 듯하지만 잡티가 여전! 그래서 다시 노이즈 처리 최고로!!

 

이게 제일 난듯하다.. 

 

고화질 이미지에선 노이즈 처리 최고하면 지나치게 회화적으로 변하거나, 원본의 라인이 변형되어 좀 어색해서 노이즈 처리를 낮게 하거나 아예 없이 하는 경우도 좋지만, 저화질의 경우에는 그나마 하는게 낫다는 결론!

 

이걸 다시 토파즈로 3배 업스케일 하면?

 

신기한점은 토파즈는 보통 이미지 한장을 뽑아내어 주고 완료되지만,

처리가 완료표시가 뜨지 않고,

폴더가 생기고 이미지 한장이 저장된 경우, 계속 기다리면 저렇게 좀 더 낳아진 화질의 이미지를 새로 뽑아내면서 3단 변신 결과물을 제공하기도 한다는 것이다. 그냥 기다리면 3개의 이미지가 생기는 경우도 있다!

 

계속 원이 돌아가는 표시가 나타나면 저런 체크 완료표시가 뜰때까지 기다려야 한다.

이미지가 다단계 개선을 연속하면서 저렇게 여러장 출력될때도 있는 것이다!

 

 

 

아무튼 노이즈 처리 최고 2배 뽑은걸, 3배 토파즈 업스케일 돌릴때~ 가장 처음 생성된 결과물 이미지!

 

형상 붕괴는 없지만 좀 심각..

 

 

 

기다리면 또 생기는 보완 이미지!

좀 더 알아서 깔끔해진 것..

 

 

 

다시 또 기다리면...?

 

이 정도로까지 알아서 복원...! 

 

 

증명사진 사이즈를 거의 1080P에 가까운 사이즈로까지 살린 것이지만, 

토파즈 만으로는 아까 형상붕괴 결과때문에 어려웠고, 저렇게 외부 업스케일과 병행하면 저정도 결과물이 나오기도 하는 것이다!

 

 

원본 크기를 이 이미지와 동일크기로 비교해보면 차이가 확연!

웨이푸 사이트와 토파즈 프로그램을 공조, 작업 병행한 결과물이지만,

영상도 어차피 프레임 단위 이미지로 작업되기 때문에.. 저 정도까지 갱생될 가능성을 보여주는 것!

장나라 저화질 갱생샷의 실험적 성공예!

 

토파즈만으로는 아까 형상붕괴를 잡지는 못했다.
때에 따라서는 병행이 좋을수도 있다는 것! 

이런 걸 찾는게 진짜 노하우고 실력이지.. 쩝!!

 

 

 

 

다시 또 한장의 이미지를 예시해보자!

 

장나라 상단 부분을 추출!

이 이미지를 업스케일 해보즈아~!!!

 

 

한 2분 삘삘거리다 완료 표시!

 

 

300% 토파즈 결과!

근데 이건 사진이라기보단, 무슨 화가가 그린 그림같다...!  미술 작품??

 

추정컨데.. 원본 이미지 자체에 이미 보정이 들어가있었을 것이다!

 

200% 토파즈 추출!

 

 

다른 업스케일의 결과물들은 어떠할까? 

 

먼저 버추얼덥 3배.. (버추얼덥에선 2배면 좀 선명도는 사는데.. 부자연스러운 선이 생겨, 3배 이상부터 좀 자연스러워져 구태여 300% 이상을 지향!)

 

영상 실험으로 예시한바 있었고,

장나라 웨딩 1화 장면중+뮤비들- 원본보다 더 좋은 영상화질을 만드는게 가능할까? 원본을 뛰어넘는 영상 업스케일링의 놀라운 반전! [CRAMV II-41 (영상화질 개선연구)]

조회수 435회2020. 7. 30.

https://youtu.be/RpgoHa73JvI

 

 

 

구태여 다시 화질을 줄여도, 버츄얼덥상에서 정수배가 업스케일 효과가 좋아, 먼저 3배로 뽑고, 다시 정규 인코더등에서 축소하는게 결과가 좋았던 것이다.

이게 벌써 9개월 전인가? 정확히 그런 실험결과를 예시한바가 있던 것!

https://charlieman.tistory.com/323

[업스케일링의 최적화 연구]- 각 배수별 테스트및 정수배와 소수사이의 화질 차이

 

 

버츄얼덥에서 2배 업스케일 추출!

3배 업스케일 추출!

 

토파즈보단 좀 못한 느낌...

 

 

웨이푸 업스케일 사이트의 경우! 

 

노이즈 제거 없음으로 2배 추출!

노이즈를 좀 처리해야겠군!

 

 

노이즈 중간으로 다시 뽑은 모습!

 

 

다시 노이즈제거 최고치로 뽑은 모습!

 

아까의 토파즈와 버츄얼덥과 2배 업스케일 기준으로 비교를 해보면?

 

 

이미 보정이 된 경우의 문제일수 있지만, 버츄얼덥에선 좀더 뚜렷한 감은 있고, 원래 2배 업스케일이 그리 좋지 않은 특성이 있어, 오히려 원본을 단순확대하는것만 못한 느낌이 들기도!

 

토파즈의 경우 가장 또렷하지만, 눈동자등이 일부 좀 회화적이다. 

 

이 정도까지는 아니겠지만, (저건 그냥 그림이지!)

약간 좀 그림화 된 듯!!

 

 

결과적으로 토파즈까지의 선명함은 아니지만, 위의 보정된 원본의 특수한 예시에 한해서는,

웨이푸가 무난하게 잘 업스케일 된 결과물을 보여준다. 

 

 

위 샷에서,, 장나라 등신샷을 추려! (어감이 좀 우째...?)

간단히 토파즈 3배 업스케일 적용 샷!

이야.. 무슨 화가가 그린 그림같다... 양지바른 벽에 액자등으로 걸어놓을만!!

(업스케일이 회화적으로 나온걸 보니, 결국 이것도 원본이 보정이었단 것인가? 이제서야 확인..!)

 

 

원본을 단순히 300% 확대한 샷과의 비교!

 

 

개별 이미지마다 특성에 따라서 다른 결과가 나오기도 하지만..

과연 보편적으로 어떤 프로그램이 가장 좋은가?

 

처음의 이미지로 다시 돌아가서! 원본을 그냥 단순비례로 3배 확대한 샷! 원본과 사실 동일한 선명도이며 업스케일은 아닌 것이다.

 

 

필자가 즐겨쓰는 컴퓨터 프로그램인 버츄얼덥 3배로 뽑은 샷!

 

큰 개선은 아니지만, 그래도 확실히 원본보다는 낳은 느낌,

2장의 이미지를 2초단위 움짤로 비교!

확실하게 선명함이나 색상등이 개선되는 효과가 있고, 업스케일효과는 크지 않지만, 자연스럽고, 필자의 낮은 사양컴으로도 빠르게 인코딩을 할수 있어, 이 방법을 매우 즐겨사용했던 것이다! 

영상으로도 내내 이 정도의 차이를 보여주는 것이다!

저비트레이트엔 잘 통하지 않지만, 화면이 작아도 충분히 이미지 정보가 알차면, 자연스럽게 업스케일이 되는 것이다.)

 

 

웨이푸에서 노이즈 감소 없음과 중간정도로 2배 각각 뽑은 사진들을 보태보자!
(웨이푸는 3배가 없고 2배까지 최고..)

 

 

그리고 아까의 토파즈 3배 출력!

 

여기의 이미지들은 그냥 스크롤로 보면 큰 차이를 못느끼고, 원본 확대 지원되는 PC 페이지에서 클릭해 확대해보면 큰 차이를 느낄수 있다.

 

웨이푸 2배 업스케일한 것을 3배 이미지 사이즈에 맞게 단순확대하고, 움짤의 특성상 화질이 감소하므로 정확하진 않지만, 그래도 위 5장의 이미지들의 차이를, 2초단위 움짤로 한눈에 보면서 느낄수 있으므로 참고를 해보자!

 

 

 

모두 원본보다는 좋은 결과물을 보여주지만, 노이즈 없는 웨이푸 출력이 좀 흐리고, 토파즈가 가장 압승인 것을 볼수 있다. 

노이즈 감소 중간 처리한 웨이푸는 작은 화면상에서 볼때는 버추얼덥 출력보다 색감등이 떨어져 보이지만, 확대해보면 선의 경계등에선 더 깔끔한 것을 볼수 있다.  아무튼 이 둘의 차이는 미묘!

 

영상과업에선? 일단 웨이푸는 영상은 작업이 지원안되고, 버추얼덥보단 토파즈가 확실히 더 낳은데... 

 

CPU도 거의 99% 쓰는 것 같고, 인코딩 시간이 최소 10배 차이...? 아직 안해봤지만, 버츄얼덥에선 즉각적 이미지 업스케일 출력이,, 토파즈에선 2~5분을 기다려야 할 지경이니... 

 

실질적으로 작업 가능시간과 가성비를 고려해서, 필자의 컴 영상 업스케일링에선, 아직까지는 버츄얼덥이다 싶다. 

 

이 연구등이 도움이 되는 사람도 있을 것이다.

 

 

연구노트를 마친다! [2021.7m.18d, 밤 21시 58분, Charlie]