потребление памяти

[FomaILNA]

480мб файл поставил на кодировку сожрало 20 гигов озу моей и еще 24 гига в области подкачки зрам на моем арч линуксе это норм? мне стоит увеличить зрам или есть фиксы как этого избежать?

[n0bzeR]

Я плюсую, у меня тоже самая фигня!
ЖОР ОЗУ, ПРОСТО НЕ ВОЗМОЖНЫЙ!!!!
Я показал код гуглу аи, и кажется, ОН ИСПРАВИЛ КОД, вовсяком случае, тепеь озу не убивает мне систему +_+

Ниже предоставляю код + инфо от ГУГЛА :

а в чем заключаась ошибак страого кода? при малом озу?
Ошибка старого кода была в неправильном способе хранения данных. Твой Python пытался «проглотить слона целиком», и вот как это происходило:

1. Взрывной рост из-за строк (Главная беда)
   В старом коде была строчка:
   python
   all_bits.append(str((byte >> i) & 1))
   Use code with caution.

Казалось бы, один бит — это мелочь. Но в Python символ '0' или '1' — это полноценный объект, который весит около 50–60 байт.
В 19 МБ файла примерно 160 миллионов бит.
160 000 000 бит × 60 байт ≈ 9.6 ГБ оперативной памяти только на один список из нулей и единиц!
Твои 2–3 ГБ заканчивались мгновенно, система начинала «свопить» (писать память на диск) и в итоге зависала.
2. Список блоков в памяти
После битов код создавал еще один гигантский список all_blocks, объединяя биты по 4 штуки. Это еще пара гигабайт сверху. Python не успевал очищать старые данные, и память копилась как снежный ком.
3. Забивание диска картинками
Старый код сначала сохранял каждый кадр как отдельный PNG-файл во временную папку:
python
cv2.imwrite(os.path.join(temp_dir, f"frame_{frame_num:05d}.png"), frame)
Use code with caution.

Один кадр 1080p весит около 2–5 МБ (в PNG).
2000 кадров × 3 МБ = 6 ГБ на диске.
Запись тысяч мелких файлов на диск — это очень медленно и создает огромную нагрузку на систему, из-за чего всё тормозило еще сильнее.

САМ КОД:

import cv2
import numpy as np
import os
import math
import tempfile
import shutil

class YouTubeEncoder:
def init(self, key=None):
self.width = 1920
self.height = 1080
self.fps = 6

    self.block_height = 16
    self.block_width = 24
    self.spacing = 4
    
    self.key = key
    self.use_encryption = key is not None
    
    # Цвета (без изменений)
    self.colors = {
        '0000': (255, 0, 0), '0001': (0, 255, 0), '0010': (0, 0, 255),
        '0011': (255, 255, 0), '0100': (255, 0, 255), '0101': (0, 255, 255),
        '0110': (255, 128, 0), '0111': (128, 0, 255), '1000': (0, 128, 128),
        '1001': (128, 128, 0), '1010': (128, 0, 128), '1011': (0, 128, 0),
        '1100': (128, 0, 0), '1101': (0, 0, 128), '1110': (192, 192, 192),
        '1111': (255, 255, 255)
    }
    
    self.marker_size = 80
    self.blocks_x = (self.width - 2*self.marker_size) // (self.block_width + self.spacing)
    self.blocks_y = (self.height - 2*self.marker_size) // (self.block_height + self.spacing)
    self.blocks_per_region = self.blocks_x * self.blocks_y
    
    self.eof_marker = "█" * 64
    self.eof_bytes = self.eof_marker.encode('utf-8')

def _get_bits_generator(self, input_file):
    """Потоковый генератор 4-битных блоков (экономит ОЗУ)"""
    # 1. Заголовок
    file_size = os.path.getsize(input_file)
    header = f"FILE:{os.path.basename(input_file)}:SIZE:{file_size}|".encode('latin-1')
    
    # 2. Данные + Шифрование (на лету)
    def process_bytes(data_stream):
        key_bytes = self.key.encode() if self.use_encryption else None
        idx = 0
        for byte in data_stream:
            if key_bytes:
                byte ^= key_bytes[idx % len(key_bytes)]
                idx += 1
            # Разбиваем байт на два 4-битных блока
            yield format((byte >> 4) & 0x0F, '04b')
            yield format(byte & 0x0F, '04b')

    # Сначала выдаем заголовок
    yield from process_bytes(header)
    
    # Затем основной файл чанками по 1МБ (чтобы не грузить всё в ОЗУ)
    with open(input_file, 'rb') as f:
        while True:
            chunk = f.read(1024 * 1024)
            if not chunk: break
            yield from process_bytes(chunk)
    
    # В конце маркер EOF
    yield from process_bytes(self.eof_bytes)

def _draw_markers(self, frame):
    for x, y in [(0,0), (self.width-self.marker_size, 0), (0, self.height-self.marker_size), (self.width-self.marker_size, self.height-self.marker_size)]:
        cv2.rectangle(frame, (x, y), (x + self.marker_size, y + self.marker_size), (255, 255, 255), -1)
        cv2.rectangle(frame, (x, y), (x + self.marker_size, y + self.marker_size), (0, 0, 0), 2)

def _draw_block(self, frame, x, y, bits):
    color = self.colors.get(bits, (255, 0, 0))
    x1 = self.marker_size + x * (self.block_width + self.spacing)
    y1 = self.marker_size + y * (self.block_height + self.spacing)
    cv2.rectangle(frame, (x1, y1), (x1 + self.block_width, y1 + self.block_height), color, -1)
    cv2.rectangle(frame, (x1, y1), (x1 + self.block_width, y1 + self.block_height), (0, 0, 0), 1)

def encode(self, input_file, output_file):
    print(f"🚀 Старт кодирования: {input_file}")
    
    # Инициализируем VideoWriter (без временных файлов)
    fourcc = cv2.VideoWriter_fourcc(*'mp4v') 
    out = cv2.VideoWriter(output_file, fourcc, self.fps, (self.width, self.height))
    
    bits_gen = self._get_bits_generator(input_file)
    finished = False
    frame_count = 0

    while not finished:
        frame = np.zeros((self.height, self.width, 3), dtype=np.uint8)
        self._draw_markers(frame)
        
        # Набираем блоки ровно на один кадр
        current_frame_blocks = []
        for _ in range(self.blocks_per_region):
            try:
                current_frame_blocks.append(next(bits_gen))
            except StopIteration:
                finished = True
                break
        
        if not current_frame_blocks:
            break

        # Рисуем блоки (основные + 2 резервные копии как в оригинале)
        for idx, bits in enumerate(current_frame_blocks):
            bx = idx % self.blocks_x
            by = idx // self.blocks_x
            
            # Оригинал
            self._draw_block(frame, bx, by, bits)
            # Резерв 1 (справа)
            self._draw_block(frame, bx + self.blocks_x, by, bits)
            # Резерв 2 (снизу)
            self._draw_block(frame, bx, by + self.blocks_y, bits)

        out.write(frame)
        frame_count += 1
        if frame_count % 10 == 0:
            print(f"🎞️ Записано кадров: {frame_count}", end='\r')

    # Добавляем 5 пустых кадров в конце для надежности
    for _ in range(5):
        out.write(np.zeros((self.height, self.width, 3), dtype=np.uint8))

    out.release()
    print(f"\n✅ Готово! Видео сохранено в: {output_file}")

Пример запуска:

encoder = YouTubeEncoder(key="secret")

encoder.encode("large_video.mp4", "encoded_storage.mp4")

if name == "main":
import sys
# Проверяем, передал ли ты аргументы (python coder.py encode 1.mp4 2.mp4)
if len(sys.argv) >= 4:
mode = sys.argv[1] # "encode"
input_f = sys.argv[2] # "1.mp4"
output_f = sys.argv[3] # "2.mp4"

    if mode == "encode":
        # Создаем объект и запускаем
        encoder = YouTubeEncoder(key=None) # Если нужен пароль, напиши key="твой_пароль"
        encoder.encode(input_f, output_f)
    else:
        print(f"❌ Неизвестный режим: {mode}")
else:
    print("❓ Использование: python coder.py encode <файл> <видео>")

[FomaILNA]

Я плюсую, у меня тоже самая фигня! ЖОР ОЗУ, ПРОСТО НЕ ВОЗМОЖНЫЙ!!!! Я показал код гуглу аи, и кажется, ОН ИСПРАВИЛ КОД, вовсяком случае, тепеь озу не убивает мне систему +_+

Ниже предоставляю код + инфо от ГУГЛА :

а в чем заключаась ошибак страого кода? при малом озу? Ошибка старого кода была в неправильном способе хранения данных. Твой Python пытался «проглотить слона целиком», и вот как это происходило:

1. Взрывной рост из-за строк (Главная беда)
   В старом коде была строчка:
   python
   all_bits.append(str((byte >> i) & 1))
   Use code with caution.

Казалось бы, один бит — это мелочь. Но в Python символ '0' или '1' — это полноценный объект, который весит около 50–60 байт. В 19 МБ файла примерно 160 миллионов бит. 160 000 000 бит × 60 байт ≈ 9.6 ГБ оперативной памяти только на один список из нулей и единиц! Твои 2–3 ГБ заканчивались мгновенно, система начинала «свопить» (писать память на диск) и в итоге зависала. 2. Список блоков в памяти После битов код создавал еще один гигантский список all_blocks, объединяя биты по 4 штуки. Это еще пара гигабайт сверху. Python не успевал очищать старые данные, и память копилась как снежный ком. 3. Забивание диска картинками Старый код сначала сохранял каждый кадр как отдельный PNG-файл во временную папку: python cv2.imwrite(os.path.join(temp_dir, f"frame_{frame_num:05d}.png"), frame) Use code with caution.

Один кадр 1080p весит около 2–5 МБ (в PNG). 2000 кадров × 3 МБ = 6 ГБ на диске. Запись тысяч мелких файлов на диск — это очень медленно и создает огромную нагрузку на систему, из-за чего всё тормозило еще сильнее.

САМ КОД:

import cv2 import numpy as np import os import math import tempfile import shutil

class YouTubeEncoder: def init(self, key=None): self.width = 1920 self.height = 1080 self.fps = 6

    self.block_height = 16
    self.block_width = 24
    self.spacing = 4
    
    self.key = key
    self.use_encryption = key is not None
    
    # Цвета (без изменений)
    self.colors = {
        '0000': (255, 0, 0), '0001': (0, 255, 0), '0010': (0, 0, 255),
        '0011': (255, 255, 0), '0100': (255, 0, 255), '0101': (0, 255, 255),
        '0110': (255, 128, 0), '0111': (128, 0, 255), '1000': (0, 128, 128),
        '1001': (128, 128, 0), '1010': (128, 0, 128), '1011': (0, 128, 0),
        '1100': (128, 0, 0), '1101': (0, 0, 128), '1110': (192, 192, 192),
        '1111': (255, 255, 255)
    }
    
    self.marker_size = 80
    self.blocks_x = (self.width - 2*self.marker_size) // (self.block_width + self.spacing)
    self.blocks_y = (self.height - 2*self.marker_size) // (self.block_height + self.spacing)
    self.blocks_per_region = self.blocks_x * self.blocks_y
    
    self.eof_marker = "█" * 64
    self.eof_bytes = self.eof_marker.encode('utf-8')

def _get_bits_generator(self, input_file):
    """Потоковый генератор 4-битных блоков (экономит ОЗУ)"""
    # 1. Заголовок
    file_size = os.path.getsize(input_file)
    header = f"FILE:{os.path.basename(input_file)}:SIZE:{file_size}|".encode('latin-1')
    
    # 2. Данные + Шифрование (на лету)
    def process_bytes(data_stream):
        key_bytes = self.key.encode() if self.use_encryption else None
        idx = 0
        for byte in data_stream:
            if key_bytes:
                byte ^= key_bytes[idx % len(key_bytes)]
                idx += 1
            # Разбиваем байт на два 4-битных блока
            yield format((byte >> 4) & 0x0F, '04b')
            yield format(byte & 0x0F, '04b')

    # Сначала выдаем заголовок
    yield from process_bytes(header)
    
    # Затем основной файл чанками по 1МБ (чтобы не грузить всё в ОЗУ)
    with open(input_file, 'rb') as f:
        while True:
            chunk = f.read(1024 * 1024)
            if not chunk: break
            yield from process_bytes(chunk)
    
    # В конце маркер EOF
    yield from process_bytes(self.eof_bytes)

def _draw_markers(self, frame):
    for x, y in [(0,0), (self.width-self.marker_size, 0), (0, self.height-self.marker_size), (self.width-self.marker_size, self.height-self.marker_size)]:
        cv2.rectangle(frame, (x, y), (x + self.marker_size, y + self.marker_size), (255, 255, 255), -1)
        cv2.rectangle(frame, (x, y), (x + self.marker_size, y + self.marker_size), (0, 0, 0), 2)

def _draw_block(self, frame, x, y, bits):
    color = self.colors.get(bits, (255, 0, 0))
    x1 = self.marker_size + x * (self.block_width + self.spacing)
    y1 = self.marker_size + y * (self.block_height + self.spacing)
    cv2.rectangle(frame, (x1, y1), (x1 + self.block_width, y1 + self.block_height), color, -1)
    cv2.rectangle(frame, (x1, y1), (x1 + self.block_width, y1 + self.block_height), (0, 0, 0), 1)

def encode(self, input_file, output_file):
    print(f"🚀 Старт кодирования: {input_file}")
    
    # Инициализируем VideoWriter (без временных файлов)
    fourcc = cv2.VideoWriter_fourcc(*'mp4v') 
    out = cv2.VideoWriter(output_file, fourcc, self.fps, (self.width, self.height))
    
    bits_gen = self._get_bits_generator(input_file)
    finished = False
    frame_count = 0

    while not finished:
        frame = np.zeros((self.height, self.width, 3), dtype=np.uint8)
        self._draw_markers(frame)
        
        # Набираем блоки ровно на один кадр
        current_frame_blocks = []
        for _ in range(self.blocks_per_region):
            try:
                current_frame_blocks.append(next(bits_gen))
            except StopIteration:
                finished = True
                break
        
        if not current_frame_blocks:
            break

        # Рисуем блоки (основные + 2 резервные копии как в оригинале)
        for idx, bits in enumerate(current_frame_blocks):
            bx = idx % self.blocks_x
            by = idx // self.blocks_x
            
            # Оригинал
            self._draw_block(frame, bx, by, bits)
            # Резерв 1 (справа)
            self._draw_block(frame, bx + self.blocks_x, by, bits)
            # Резерв 2 (снизу)
            self._draw_block(frame, bx, by + self.blocks_y, bits)

        out.write(frame)
        frame_count += 1
        if frame_count % 10 == 0:
            print(f"🎞️ Записано кадров: {frame_count}", end='\r')

    # Добавляем 5 пустых кадров в конце для надежности
    for _ in range(5):
        out.write(np.zeros((self.height, self.width, 3), dtype=np.uint8))

    out.release()
    print(f"\n✅ Готово! Видео сохранено в: {output_file}")

Пример запуска:

encoder = YouTubeEncoder(key="secret")

encoder.encode("large_video.mp4", "encoded_storage.mp4")

if name == "main": import sys # Проверяем, передал ли ты аргументы (python coder.py encode 1.mp4 2.mp4) if len(sys.argv) >= 4: mode = sys.argv[1] # "encode" input_f = sys.argv[2] # "1.mp4" output_f = sys.argv[3] # "2.mp4"

    if mode == "encode":
        # Создаем объект и запускаем
        encoder = YouTubeEncoder(key=None) # Если нужен пароль, напиши key="твой_пароль"
        encoder.encode(input_f, output_f)
    else:
        print(f"❌ Неизвестный режим: {mode}")
else:
    print("❓ Использование: python coder.py encode <файл> <видео>")

[FomaILNA]

код уже полностью доработан? я тогда тупо заменю его в уже имеющийся, а вообще авторам надо было это продумать и доработать заранее.