비월주사 방식(interlaced scanning), PC에서 계단처럼 보이는 영상을 순차주사방식(progressive scanning) 영상으로 바꾸는 샤나 인코더 업스케일링 설정!
업스케일링 영상작업 2020. 8. 23. 19:40
비트레이트가 떨어지면 깍두기 현상이 나타나지만,
흔히 PC모니터 등에서 계단같은 줄무늬 현상이 심하다면? 이것은 비트레이트 정보량의 문제가 아니라,
영상을 투영하는 방식의 문제라 할수 있다.
바로 인터레이스를 프로그레시브 방식으로 바꾸는 것을 안티-앨리어싱으로 말하기도 하지만,
엄밀히 말하면, 디인터레이스가 보다 근본적 방법이다.
인터레이싱은 화면을 반반 나누어, 시간차를 이용해 사람눈의 착시를 이용해 전달하는 방식인데, 본래 TV등에서 사용되고, TV에는 자체 변환기가 있어 이런 현상이 사라져 감상하나, 그런 영상을 인터레이스 방식으로 릴을 뜰때 계단현상이 발생한다고 한다.
주로 호환성 탓인지, 옛날 영상에 많은 것이다.
구태여 저렇게 하는 것은, 같은 프레임당 정보량이 반으로 줄어서 적은 용량을 구현할수 있기 때문일 것이다.
프로그레시브 방식은, 우리가 흔히 이해하는 방식, 한 프레임당 온전히 한 화면을 담는 것이다.
하지만 고용량의 시대, 프로그레시브가 좀더 영상 자체의 정확한 구현이기도 하지만, 용량 아까운 것보다 영상의 질을 생각하는 시대인 것이다.
예시를 든다면 이런 장면이 가장 흔하다!
근데 이런 영상들을 원본으로 치고, 개선을 할수가 있을까?
생각해보지도 않았지만, 막상 해보니 실제로 인터레이스를 디인터레이스 과정을 거쳐서 개선이 가능하단 것이다.
정적인 장면에서는 이런 문제가 별로 없지만, 특히 움직임이 많을때 계단현상이 심해지는데...
그렇게 시간차로 분할된 프레임을 합치는 디 인터레이스의 방식에 의해서 개선이 되며, 흔히 인코더 프로그램에서 지원이 되는 것이다.
자세한 설명은 디인터레이성-나무위키를 참조하자!
https://namu.wiki/w/%EB%94%94%EC%9D%B8%ED%84%B0%EB%A0%88%EC%9D%B4%EC%8B%B1
다양한 옵션이 있으나, 애초 프로그레시브로 영상을 코딩하는 것만큰 뚜렷하지 않으나, 계단현상은 사라지는 것이다. 물론 전체 이미지가 흐려진다기 보다는, 계단현상이 일어나는 경계의 부분들.. 그런 부분들이 뭉퉁그려지며, 어쨌든 체감적으로 눈으로 볼때는 훨씬 좋아진다.
관련 글을 찾아보면 디인터레이스등에 관련된 옵션에 대한 질문과 답변이 많은데, 문제는 한결같이 글이고, 차이나 예시가 없어서 봐도 정확히 뭘 모르겠다는 것이다.
샤나 인코더에서 디인터레이스 관련 건드릴 설정은 A,B,C이다.
A. 디인터레이스의 옵션에 체크를 한다.
B. A를 체크하면 그때서야 나타나는 더블 프레임 레이트 옵션
C. 그리고 인코딩탭에서 프레임 레이트 변경해서 2배를 적용하는 사례...
각각 영상으로 뽑아본 결과물에 대한 간략한 비트레이트, 프레임수, 용량등에 대한 변화추이는 이러하다.
0. 인터레이스 현상이 의심되는 계단현상이 심한 원본 영상... (18 어쩌고 저쩌고 일본말,, 제목은 일단 지웠다.) 29.7프레임이며, 용량은 1.13GB
1. 이것을 인터레이싱 옵션, A~C를 모두 적용함 없이, 그대로 인코딩한 모습이다. 비디어 퀄러티를 원본 비트레이트보다 좀 높인탓에 용량이 1.83GB로 늘어난 것을 볼수 있다.
실제 화질은 원본과 대동소이하며, 컴퓨터의 방식은 기본적으로 프로그레시브일테지만, 기존 인터레이싱 영상을 그대로 프로그레시브한 것이나 마찬가지일 것..
실제로 계단현상은 여전히 나타난다.
2. 그래서 필요한 것이 A의 디인터레이스 체크만 해본 것!
프레임은 그대로 가며, 29.7프레임에 용량은 1.65GB정도로 1보다 오히려 약간 줄어든다.
실제로 계단현상이 사라지고 볼만해졌다.
3. A를 체크하면 자동적으로 나타나는 B=더블 프레임 레이트까지 체크를 해보고 인코딩 진행..
사실 이 부분의 차이가 명확히 뭔가 예시가 없어 실험을 해본 것!
결과는 2와 아무 차이가 없이, 완전히 똑같은 비트레이트와 프레임, 용량의 영상이 도출된다.
눈으로 봐도 실질적으로 차이가 없다. 결국 B를 체크한다고 A에서 뭔가가 달라지지는 않고, 동일한 영상이란 것!
4. 디인터레이스 과정에서 A에 추가로 B를 체크할때는 반드시 C, 인코딩 옵션에서 프레임수를 2배로 할당해줘야 수동적 적용이 된다.
즉 29.7프레임일시 *2배수인 59.4프레임을 적용해줘야 하는 것이다.
그렇게 해서 영상을 뽑으면, 프레임 정보량이 2배로 늘었으니 용량이 2배쯤 될까 싶었지만, 비트레이트는 살짝 올라간 수치로 보이는 반면, 용량은 2배가 아니라, 10%가 약간 넘는 수치의 증가만을 보였다...
#총론--- 근데 4의 프레임을 2배로 뻥튀기한 영상이 3보다 확실히 움직임이 스무스하고 좋은가?
육안으로 볼때는 그 둘의 차이를 못느낄 정도였다. 샤나 인코딩 과정에서는 용량차이가 별로 없지만, 다시 인코딩을 한다면, 프레임양이 많아져 시간이 확 늘어날 것도 같은데...
어쨌든 눈으로 볼때 스무해지는 것은 없다.
만약 30프레임의 인터레이스 영상을 계단현상 제거를 위해 디인터레이싱 한다면,
논리적으로 모션을 합치기 때문에, 15프레임 정도가 되고, 프레임마다 같은 프레임이 하나씩 더 생성되는 식으로 30프레임이 맞춰질 것이다.
1-2, 3-4, 5-6, 7-8, 9-10 프레임 10개의 5쌍을 이루는 장면이..
각각 (1+2가 합쳐 한프레임)*2배,
(3+4), (5+6), (7+8)+(9+10) 이런식으로 각각 5개의 장면으로 맞춰지고, 각 장면마다 동일한 장면이 하나씩 더 생성될 것이다.
아마도 이 과정이 A일 것이고, C의 과정은 여기서 다시 2배를 하는 과정인데..?
더 스무스하고 매끄러워지는 것은 딱히 없다.
왜 일까? 생각을 해봤는데.. 필자가 추론하는 바는 이렇다.
각각의 테두리가 영상의 프레임 장면이라 하고, 첫프레임에서 ㄱ.과 같이 왼편에 있던 벽돌이 2번째 프레임으로 ㄹ과 같이 오른편끝으로 이동한다고 가정하자!
이런 영상이 프레임을 두배로 주어서 스무스해질려면은?
2번째와 3번째 사이에 위와같은 식으로 벽돌이 점진적으로 움직이는 프레임생성이 필요하다.
이런 경우 순간이동하는 것 같은 벽돌은 스무스하게 움직일 것이다.
그러나 ㄷ과 같이 원래 프레임에 없던 객체의 중간 데이터를 창조하여 끼워넣어야 하는데..
알파고도 아니고, 전문적인 연구기관의 인공지능이라면 모르겠지만, 개인용 컴퓨터 인코더에서는 어려운 일일 것이다.
실제의 영상은 배경이 존재하고 사물이 넘치며 사람들의 움직임이 제각각 방향으로 변화하고, 이보다 훨씬 복잡하다. 이런 중간값을 산출하려면, 모든 객체들을 벡터단위로 자동인식하고 분석해서 중간값을 부여할수 밖에 없을 것이다. 동으로 가는 물체는 약간 더 동으로 가야하고, 같은 장면속 서로 가던 물체는 약간 더 서로 가는 식으로...
흠... 슈퍼 컴퓨터라도 굴리지 않는다면야...!
실제로는 프레임을 두배로 늘려도,,?
프레임당 단위 재생시간이 2분의 1로 준 대신에, 똑같은 장면이 한 프레임씩 더 늘어나, 실질적으로 변화가 없는 것이다.
아마 그것이 새로운 정보라기 보다는 똑같은 프레임의 반복이기 때문에, 29.7프레임을 59.4프레임으로 구태여 늘려도 프레임이 동일한 장면은 효율성있게 처리, 영상의 용량증가가 2배가 아닌 10%정도만이 증가한 연유일 것이다.
실제로 필자가 눈으로 보면서 살펴보기론 4번의 프레임 2배주기까지 수행을 해보나,
2번(3번과 동일결과) 의 결과나 어떤 차이는? 일단 육안으로 볼때는 없었던 것이다.
그냥 속편하게 하고 싶다면, A를 체크, A만 체크한 것에 뭐가 달라질지는 모르겠지만 심리적으로 마음에 드니 B까지 체크, 밑줄 쫘악!! 이 연구 실험 포스팅의 결론... 3의 옵션으로 디인터레이스를 하는 것이 좋다.
화질이 더 유연해짐이 없는데 프레임 2배해봤자, 용량이 약간 더 커지고, 아무래도 CPU 소모량도 커질 것이다. 구태여 확실한 차이가 안느껴진다면, 원본 프레임 그대로 가는게 가성비있지 않나 싶다!
그러나 계단 현상만큼은 확실히 좋아진다!
그럼 원본영상보다 디인터레이스를 한 영상은 프레임이 다소 떨어져 보이는가?
글쎄..눈으로 볼때는 영상 자체가 옛날 영상이고 저화질인듯 하여, 애초 상태가... 잘 모르겠다.
엄청난 초능력같은 동체시력을 가지지 않는 이상은, 사람의 눈으로 실시간으로 살피면서 보기엔 그렇다고 생각하면 그렇게 보이는 듯하고, 아니라고 생각하면 아닌것처럼 보이는 정도..!???
한마디를 보탠다면, 해보니 안하는것보다 훨씬 낫다는 것이다. 뭐가 됐든, 영상을 본다면 디인테레이스된 영상을 볼 것이다.
버츄얼덥을 통한 화질개선의 업스케일링외에, 계단현상의 문제가 있는 영상들은 사냐인코더등을 통해서 일단 이렇게 눈으로 볼때, 화질자체의 개선은 별로 없지만, 눈으로 볼때 지극히 거슬리는 계단 현상을 제거할수 있으니, 실질적으로 뛰어난 효과가 있는 업스케일링을 해볼수 있는 것이다.
참고가 되길 바라며 연구노트를 마친다.
